W dynamicznym świecie sztucznej inteligencji (AI) przejście od researchu do produkcji jest kluczowym etapem, w którym QA odgrywa niezwykle istotną rolę, m.in. w zapewnieniu płynnej adaptacji modeli AI do rzeczywistych zastosowań. W poniższym artykule przeanalizuję wyzwania związane z tym przejściem w kontekście zapewnienia wysokiej jakości działania modeli AI na produkcji. Wszystko to oparte będzie na moich własnych doświadczeniach oraz anegdotach ze świata sztucznej inteligencji, ze szczególnym uwzględnieniem działań w branży finansowej.
Zrozumienie luki pomiędzy researchem a produkcją
Przejście od kontrolowanego środowiska badawczego do praktycznych zastosowań stanowi ogromną zmianę. Podczas badań modele sztucznej inteligencji są szczegółowo dopracowywane w ramach określonych parametrów. W fazie produkcji wystawiane są na nieprzewidywalne scenariusze, które wymagają od nas ponownej oceny ich skuteczności i elastyczności.
Radzenie sobie z ryzykiem związanym z wdrażaniem modeli wymaga przede wszystkim skutecznego procesu QA. Proces ten powinien zapewniać ciągłe monitorowanie, regularne aktualizacje oraz zgodność z przepisami dotyczącymi prywatności. Wszystko po to, by móc sprostać wyzwaniom związanym z dostosowaniem modeli sztucznej inteligencji do rzeczywistych zastosowań. Poniżej przedstawię cztery obszary w sektorze finansowym, w których QA powinien odgrywać kluczową rolę przy wykorzystywaniu modeli AI.
1. Przewidywanie nieściągalnego długu przy ograniczonej ilości danych treningowych
Brak odpowiedniej ilości danych stanowi poważne wyzwanie w przewidywaniu działań, czego świetnym przykładem może być analiza nieściągalnych długów. Brak odpowiedniej ilości danych musi być zaadresowany odpowiednią strategią deploymentu produkcyjnego modeli AI.
Zdarzyło mi się to, gdy budowałem multimodalną sieć neuronową do przewidywania nieściągalnych długów. W pewnym momencie stanęliśmy przed sporym wyzwaniem – firma miała bardzo mało danych, co oznaczało, iż choćby jeżeli model osiągnął lepsze wyniki na historycznych danych testowych niż poprzedni, nie mogliśmy od razu wdrożyć go do produkcji. Jego skuteczność i dostosowanie do nowych sytuacji budziło nasze wątpliwości.
Zamiast tego uruchomiliśmy model w shadow mode, w którym predykcja oceny ryzyka dokonana przez model była wysyłana do człowieka. Ten dokonywał manualnej oceny ryzyka i porównywał ją z modelem, dając mu feedback. To podejście pozwoliło nam przetestować wydajność modelu w warunkach produkcyjnych i zidentyfikować wszelkie problemy, zanim pozwoliliśmy mu podejmować autonomiczne decyzje. Co więcej, otrzymaliśmy również sporo informacji o tym, jakie zabezpieczenia należy wdrożyć i zrozumieliśmy, w jakich sytuacjach model nigdy nie powinien samodzielnie podejmować decyzji.
2. Wykrywanie oszustw
Modele do wykrywania oszustw są niezbędne do ochrony firm i konsumentów, ale ich wdrożenie stanowi wyzwanie ze względu na zdolność oszustów do adaptacji. Pewność, iż model jest w stanie rozróżnić transakcje autentyczne od fałszywych, ma najważniejsze znaczenie. Dodatkowo należy zwrócić uwagę na względy etyczne wymagające dokładnego procesu QA, aby zapobiec stronniczości wpływającej na określone dane demograficzne.
Ciekawym przykładem jest historia banku, który używał systemu AI do wykrywania oszustw. Model, który początkowo okrzyknięty został wielkim sukcesem, przy dokładniejszej inspekcji okazał się zawierać krytyczne niedopatrzenia. Jego zadaniem było wykrywanie anomalii w sekwencjach transakcji i oznaczanie podejrzanych transakcji do manualnego przeglądu. Jak się jednak okazało, wysoka dokładność modelu na danych historycznych wynikała z faktu, iż „następna transakcja”, którą przewidywał, była już obecna w jego danych wejściowych. Zasadniczo model był więc trenowany z odpowiedziami w ręku.
Sytuacja ta podkreśla najważniejsze znaczenie integralności danych i precyzyjnej oceny modeli. Podejście do testowania i weryfikacji modeli AI powinno być priorytetem, szczególnie jeżeli mówimy o tak wrażliwych obszarach, jak wykrywanie oszustw. Dobrą strategią na uniknięcie takich sytuacji jest przekazywanie oceny skuteczności modelu do osobnej jednostki. W dobie rewolucji AI, narracja ta powinna służyć jako przypomnienie, iż sukces zależy nie tylko od budowania modeli, ale od ich jakości, przeglądu danych i procesów zapewniających integralność i niezawodność systemów.
3. Przewidywanie cen akcji
Kolejnym działaniem, przy którym sztuczna inteligencja może mieć najważniejsze znaczenie, jest przewidywanie cen akcji. Pomimo rygorystycznych testów poprzedzających wdrożenie, w realnych scenariuszach modele przewidujące ceny akcji napotykają wiele wyzwań. Proces QA w tym przypadku obejmuje ocenę wydajności modelu w różnych warunkach rynkowych, stress-testy w odniesieniu do danych historycznych oraz regularne aktualizacje o najnowsze informacje rynkowe.
Kiedy pracowałem w funduszu hedgingowym, byłem odpowiedzialny za zbudowanie modelu sieci neuronowej zdolnego do podejmowania autonomicznych decyzji handlowych. Obrót akcjami stanowi wyjątkowe wyzwanie dla modeli sztucznej inteligencji, ponieważ nieodłączna losowość rynku i liczne anomalie sprawiają, iż testowanie rozwiązań przed wdrożeniem ich do produkcji jest wyjątkowo trudne dla standardowych metod ewaluacji. Po około roku testów opracowaliśmy sieć neuronową, która konsekwentnie osiągała lepsze wyniki na danych historycznych niż rynek, ale ze względu na ograniczenia zasobów w fazie badawczej nie mogliśmy przeprowadzić szczegółowego procesu QA.
W związku z tym zdecydowaliśmy się wprowadzić zbudowany model do produkcji w trybie paper tradingu, co miało być ostatecznym potwierdzeniem jego jakości. Model działał wyjątkowo dobrze przez około sześć miesięcy, dostarczając silnych argumentów na to, iż był dobrze wytrenowany i posiadał odpowiedni poziom generalizacji. Zaczął on jednak alokować fundusze do spółek, których ceny akcji gwałtownie spadały, ponieważ znajdowały się na skraju bankructwa. Okazało się, iż przyczyną tego problemu był klasyczny błąd przeżywalności (survivorship bias). Pomimo świadomości zespołu researchowego na temat tego typu błędu i wdrożenia wielu zabezpieczeń, które uniemożliwiały jego występowanie podczas fazy treningowej, okazało się, iż błąd pojawia się wcześniej, na etapie transformacji danych.
Prawidłowy proces QA przeprowadzony przez oddzielny zespół, niezależny od grupy researchowej, pozwoliłby wykryć ten problem przed uruchomieniem produkcji. Powyżej opisana sytuacja podkreśla znaczenie kompleksowych procesów zapewniania jakości, zwłaszcza w złożonych i dynamicznych środowiskach, takich jak rynki finansowe.
4. Zgodność z przepisami i zarządzanie ryzykiem
W sektorze finansowym modele podejmujące decyzje kredytowe muszą być wytłumaczalne. Pomimo zaawansowania sztucznej inteligencji, niezdolność do zapewnienia jasnych objaśnień może prowadzić do komplikacji wynikających z przepisów. Procesy QA powinny zatem obejmować regularne audyty w celu zagwarantowania, iż wdrożone modele są zgodne z najnowszymi regulacjami prawnymi. Co więcej, modele zarządzania ryzykiem muszą być testowane pod kątem odporności na skrajne scenariusze i nieprzewidywalne okoliczności.
Współpraca z ekspertami prawnymi i specjalistami ds. zgodności jest świetnym rozwiązaniem, gdyż zapewnia dostosowanie modeli do panujących przepisów. Praca w zakresie kontroli jakości powinna zawsze obejmować dokładną dokumentację decyzji dotyczących modeli i przestrzegania wskazań etycznych w celu ograniczenia potencjalnego ryzyka – nie tylko prawnego, ale też wizerunkowego.
Podsumowanie: QA na straży rzetelności AI
Przejście od researchu nad sztuczną inteligencją do fazy produkcji na rynkach finansowych podkreśla, jak ważna jest rola kontroli jakości, będąca w pewnym sensie strażnikiem rzetelności AI. Ciągłe i adaptacyjne procesy QA mają najważniejsze znaczenie, a konkretne przypadki podkreślają wagę dedykowanego zespołu kontroli jakości, nadzoru nad wdrażaniem modeli i ich przejrzystości w celu zapewnienia zgodności z prawem. Cykl nie polega tylko na przejściu od rozwoju do wdrożenia. Jest to ciągła ewolucja, w której kontrola jakości ma najważniejsze znaczenie dla sukcesu sztucznej inteligencji, czego świetnym przykładem jest branża finansowa.
Zdjęcie główne artykułu pochodzi z envato.com.
