O włos od międzynarodowego kryzysu. Amerykanie szykowali akcję przeciw chińskiemu statkowi na podstawie informacji zmyślonych przez chatbota.
Przez ostatnie dwa lata słowo „halucynacja” zrobiło zawrotną karierę w świecie sztucznej inteligencji. Najczęściej oznaczało ono zabawne wpadki ChatGPT, Groka czy Gemini. Raz model wymyślił nieistniejącą książkę, innym razem podał błędny przepis albo stworzył fikcyjne źródła do pracy naukowej. Problem w tym, iż gdy podobny błąd trafia do wojskowego systemu decyzyjnego, to przestaje być ciekawostką z Internetu.
Z najnowszych doniesień CNN wynika, iż amerykańskie wojsko było o krok od przeprowadzenia operacji przeciwko chińskiemu statkowi na podstawie raportu wywiadowczego, który okazał się błędny, ponieważ powstał przy wykorzystaniu sztucznej inteligencji. Według jednego ze źródeł cytowanych przez stację sytuacja „niemal doprowadziła do wojny”.
Chiński statek, podejrzany ładunek i alarm w amerykańskim wojsku
Historia wydarzyła się wiosną br., w okresie napiętej sytuacji związanej z konfliktem wokół Iranu. Do amerykańskich struktur wojskowych trafił raport sugerujący, iż chiński statek operujący na Bliskim Wschodzie przewozi elementy związane z programem broni nuklearnej. Informacje wywołały natychmiastową reakcję. Według CNN rozpoczęto przygotowania do przechwycenia jednostki, a żołnierze mieli już szykować się do wejścia na pokład. W powietrze wysłano również samoloty wojskowe.
Dopiero na bardzo późnym etapie ktoś dokładniej przyjrzał się źródłu informacji. Wtedy wyszło na jaw, iż najważniejsze ustalenia raportu nie pochodziły z tradycyjnej analizy wywiadowczej, ale zostały wygenerowane przy pomocy chatbota AI, który błędnie zinterpretował manifest przewożonego ładunku. Źródła CNN twierdzą, iż raport był całkowicie fałszywy.
Najbardziej niepokojące jest jednak to, jak blisko realizacji była sama operacja. Według relacji cytowanych przez media działania wojskowe były już aktywnie przygotowywane, zanim zorientowano się, iż fundament całej sprawy może być wadliwy.
Typowa halucynacja AI, tylko iż w mundurze
Samo źródło błędu brzmi znajomo dla wszystkich, kto choć raz korzystał z dużego modelu językowego. Analityk miał wykorzystać chatbota do przeanalizowania danych dotyczących przewożonego przez statek ładunku. Narzędzie połączyło informacje pochodzące ze źródeł otwartych z danymi wywiadowczymi znajdującymi się w systemach rządowych i wysnuło błędny wniosek, iż transport dotyczy elementów programu nuklearnego. Następnie AI została wykorzystana ponownie do przygotowania gotowego raportu wywiadowczego, który trafił do dalszej dystrybucji.
Każdy, kto na co dzień pracuje z ChatGPT, Claude’em czy Gemini prawdopodobnie od razu rozpozna znajomą sytuację. Model nie kłamie w ludzkim rozumieniu tego słowa. Po prostu generuje najbardziej prawdopodobną odpowiedź na podstawie dostępnych danych i wzorców. Problem polega na tym, iż czasem „najbardziej prawdopodobna odpowiedź” nie ma nic wspólnego z rzeczywistością.
W przypadku tworzenia posta na LinkedInie może skończyć się to kompromitacją autora. W przypadku operacji wojskowej skutki mogłyby być znacznie poważniejsze.
Pentagon przyspiesza wdrażanie AI. Być może zbyt szybko
Departament Obrony od miesięcy promuje szerokie wykorzystanie sztucznej inteligencji w analizie danych wywiadowczych, planowaniu operacji, logistyce oraz procesach administracyjnych. W styczniu opublikowano strategię przyspieszenia wykorzystania AI, której celem jest udostępnienie odpowiednich narzędzi milionom pracowników cywilnych i wojskowych.
W ostatnich miesiącach Pentagon rozwijał również platformę GenAI.mil, opartą na modelach generatywnej sztucznej inteligencji. Rozwiązanie korzysta między innymi z technologii Google Gemini for Government, a później rozszerzono je także o inne modele. AI coraz częściej staje się normalnym elementem infrastruktury państwowej. I właśnie dlatego pojedyncza pomyłka budzi tak duże emocje.
Problem nie tkwi w AI. Problem tkwi w ludziach
Najłatwiej byłoby uznać, iż winna jest sztuczna inteligencja. To jednak zbyt proste wyjaśnienie. Od dawna wiadomo, iż modele językowe potrafią halucynować. Wiedzą o tym firmy technologiczne, badacze, dziennikarze. Wiedzą również wojskowi. Dlaczego raport wygenerowany przy pomocy AI osiągnął tak wysoki poziom wiarygodności, iż uruchomił przygotowania operacyjne?
To problem dobrze znany z wielu branż. Kiedy człowiek patrzy na elegancko sformatowany raport, tabelę czy analizę napisaną pewnym językiem to bardzo łatwo przypisuje dokumentowi większą wiarygodność, niż faktycznie posiada. W psychologii zjawisko to bywa określane mianem automatyzacyjnego uprzedzenia. Im bardziej zaawansowany wydaje się system, tym chętniej wierzymy, iż wie, co robi. Sztuczna inteligencja nie musiała więc nikogo oszukać. Wystarczyło, iż wygenerowała przekonująco brzmiącą historię.
To może być zapowiedź większego problemu
Wydarzenie opisane przez CNN ma znaczenie znacznie wykraczające poza jeden incydent na morzu. Od lat eksperci ostrzegają, iż największym zagrożeniem związanym z AI nie jest bunt maszyn rodem z filmu science fiction. Znacznie bardziej prawdopodobny jest scenariusz, w którym ludzie zbyt mocno zaufają błędnym rekomendacjom systemów automatycznych.
W sektorze konsumenckim skutki bywają irytujące. AI podpowiada złą trasę, błędnie streszcza dokument albo wymyśla nieistniejące źródła. W sektorze wojskowym błędna rekomendacja może prowadzić do uruchomienia samolotów bojowych, postawienia wojsk w stan gotowości lub rozpoczęcia operacji przeciwko obcemu państwu.
Przez ostatnie miesiące branża technologiczna przekonywała świat, iż sztuczna inteligencja pomoże podejmować lepsze decyzje szybciej niż kiedykolwiek wcześniej. Problem w tym, iż szybkość i skuteczność nie zawsze idą w parze. jeżeli człowiek nie ma czasu lub procedur pozwalających zweryfikować odpowiedź modelu to AI może zamienić się z narzędzia wspomagającego w generator bardzo kosztownych pomyłek.
Według relacji osób znających kulisy sprawy było naprawdę blisko sytuacji, w której błędna odpowiedź chatbota mogłaby wpłynąć na relacje między dwoma największymi mocarstwami świata. A to przypomnienie, iż choćby w epoce sztucznej inteligencji najcenniejszym elementem całego systemu przez cały czas pozostaje zwykły ludzki sceptycyzm.
*Ilustracja otwierająca wygenerowana dzięki AI
