Deloitte, jedna z największych i najbardziej znanych firm konsultingowych, zalicza poważną wpadkę. Firma była zmuszona zaoferować rządowi Australii obniżoną cenę za zamówiony raport po tym, jak okazało się, iż zawiera on odnośniki do nieistniejących artykułów naukowych, a choćby zmyślony cytat z wyroku sądu federalnego. Rabat raczej firmy nie zrujnował, ale reputacja istotnie ucierpiała.
Duże modele językowe halucynują — to prawda znana od ładnych paru lat. Jest to, jak już pisałem, w jakimś sensie ich inherentna cecha. jeżeli zapytamy model o informację, której po prostu nie posiada, to nam taką informację zmyśli — po prostu stworzy ją sobie.
Czytaj też: OpenAI ma problem z RODO. Nie umie poprawić halucynacji
Halucynacje biją w prestiż i po kieszeni
Spektakularne przykłady przyszły dość wcześnie. Już na początku 2023 roku Bard (poprzednik Gemini) zmyślił, iż teleskop JWST był pierwszym, który zrobił zdjęcia planet poza układem słonecznym, podczas gdy takie zdjęcia zostały zrobione 16 lat przed uruchomieniem rzeczonego teleskopu. Było to kłopotliwe dla Google’a zwłaszcza ze względu na fakt, iż wydarzyło się podczas… pierwszej publicznej prezentacji Barda.
Ta wpadka była wyłącznie wizerunkowa. Bardziej boleśnie odczuła to pewna firma prawnicza w USA, która w dokumencie wysłanym do sądu powoływała się na nieistniejące precedensy zmyślone przez ChatGPT. Tym razem koszty były również finansowe — kancelaria została ukarana przez sędziego grzywną na 5 tysięcy dolarów.
No ale przecież nic takiego nie mogłoby się przydarzyć Deloitte’owi! Firmie, która od lat pomaga innym wdrażać AI i która już niemal dwa lata temu pisała, iż jeden z jej raportów wskazuje „na potrzebę dalszej edukacji w zakresie ryzyk związanych z wykorzystaniem treści tworzonych przez AI, w tym m.in. w związku z halucynowaniem”. Prawda?
Nie przegap najważniejszych trendów w technologiach!
Zarejestruj się, by otrzymywać nasz newsletter!
Deloitte zalicza wpadkę — wina AI czy człowieka?
Jak się okazuje, w przygotowanym dla rządu australijskiego raporcie, który miał dostarczyć oceny jednego z programów dotyczących rynku pracy, Deloitte zawarł odnośniki do nieistniejących artykułów naukowych oraz zmyślił cytat z wyroku sądu federalnego. Błędy te znalazł Christopher Rudge, naukowiec z University of Sidney.
Po tym jak błędy wyszły na jaw, Deloitte przygotował nową wersję raportu, już bez błędów. Ponadto zapowiedział zwrot rządowi ostatniej raty za raport, który pierwotnie był wyceniany na 440 tysięcy dolarów australijskich.
Oczywiście trudno tu mówić o jakimś szczególnym zaskoczeniu błędem AI — te po prostu się zdarzają. Mamy tu przede wszystkim do czynienia z błędem ludzkim. Sprawdzanie dostarczanych przez AI informacji to abecadło korzystania z AI. Trudno powiedzieć, czy było to lenistwo, czy niekompetencja, czy „optymalizacja” kosztów, ale nie ulega wątpliwościom, iż Deloitte zawiódł. Przez błąd ludzki, nie maszyny.
Pojawia się również pytania, jak to jest, iż firma, która doradza klientom jak implementować AI w ich firmach nie ma systemu (lub go nie stosuje) – również AI, czemu nie – który sprawdzałby wiarygodność treści generowanych przez AI.
Kolejną kwestią, jaka przychodzi mi do głowy, w związku ze wpadką Deloitte’a, jest to, jak powstają takie raporty. Czy jest to analiza faktów i źródeł? Chyba niekoniecznie, sądząc po tym, iż źródła były nieistniejące. Czy przypadkiem nie jest tak, iż takie raporty pisane są „pod tezę”? A źródła się do nich po prostu dokleja, żeby wyglądały bardziej wiarygodnie?
I tezy te niekoniecznie muszą pochodzić od autorów raportu — nieraz politycy (a czasem również firmy) nie proszą firmy konsultingowej czy kancelarii prawnej o analizę rzeczywistości, a o udowodnienie wygodnej dla nich tezy. I firmy biorą takie zlecenia. Cóż, pecunia non olet, a kolejka po lukratywne kontrakty, zwłaszcza rządowe, jest długa.
Źródło zdjęcia: Oleg Zarevennyi/Unsplash
