Nawet Deloitte padł ofiarą halucynacji AI. Oto, czego możemy się z tego nauczyć

Deloitte publikuje raport z halucynacjami AI. Gdy jedna z najbardziej prestiżowych firm konsultingowych świata wpada w pułapkę sztucznej inteligencji, warto zatrzymać się i zadać pytanie: o ile halucynacje są tak powszechne, to może warto zwracać większą uwagę na wyniki treści od AI?

Raport za 440 000 USD z wydumanymi cytatami

Deloitte Australia znalazło się w centrum skandalu po tym, jak dostarczyło rządowi raport wartości 440 000 USD, (niektóre źródła mówią o 290 000 USD) który (delikatnie mówiąc) miał pewne problemy z prawdziwością

Zadaniem dokumentu, byłą pomoc australijskiemu rządowi w walce z nadużyciami w systemie opieki społecznej. Zamiast tego raport stał się ilustrującym przypadkiem, jak niebezpieczne może być nadmierne poleganie na generatywnej AI.

Co poszło nie tak? Raport zawierał sfabrykowane odniesienia do nieistniejących prac naukowych, zmyślony cytat przypisany sędziemu federalnemu oraz odniesienia do raportów, których po prostu nigdy nie napisano. To nie drobne potknięcia, ale fundamentalne błędy, które podważają wiarygodność całego dokumentu.

Sprawę wykrył Chris Rudge, badacz prawa zdrowotnego i socjalnego z Uniwersytetu w Sydney. Jak sam przyznał, moment olśnienia przyszedł, gdy natknął się na fragment wskazujący, iż profesor Lisa Burton Crawford (ekspertka od prawa publicznego i konstytucyjnego) miała napisać książkę o tematyce kompletnie obcej jej specjalizacji.

Natychmiast wiedziałem, iż to albo halucynacja AI, albo najlepiej strzeżony sekret na świecie, bo nigdy nie słyszałem o tej książce, a brzmiała absurdalnie

– powiedział Rudge agencji Associated Press.

Miliardowe inwestycje w AI i podstawowe błędy

Ironia całej sytuacji jest tym bardziej dotkliwa, gdy uświadomimy sobie skalę inwestycji Deloitte w sztuczną inteligencję. We wrześniu firma ogłosiła, iż przeznaczy 3 mld USD na rozwój generatywnej AI do roku fiskalnego 2030. Dzień przed publikacją poprawionej wersji raportu, Anthropic (twórca modelu Claude) ogłosił partnerstwo z Deloitte, które ma udostępnić asystenta AI ponad 470 tysiącom pracowników firmy.

To pokazuje fundamentalny problem: duże organizacje inwestują gigantyczne sumy w technologię, której jeszcze nie nauczyły się adekwatnie kontrolować. Deloitte nie jest tu wyjątkiem. Cała Wielka Czwórka firm konsultingowych oraz globalni giganci jak McKinsey wydają setki milionów dolarów na inicjatywy AI, często stawiając na zwiększenie efektywności kosztem należytej staranności.

W czerwcu Rada ds. Sprawozdawczości Finansowej w Wielkiej Brytanii ostrzegała, iż firmy z Wielkiej Czwórki nie monitorują należycie wpływu AI i technologii automatycznych na jakość swoich audytów. Australijski przypadek pokazuje, iż te obawy były jak najbardziej uzasadnione.

Ciche poprawki i niezbyt przekonujące tłumaczenia

Pierwotna wersja raportu została opublikowana w lipcu na stronie australijskiego Departamentu Zatrudnienia i Relacji w Miejscu Pracy. Poprawiona wersja pojawiła się po cichu w piątek – dopiero po tym, jak sprawa wyszła na jaw.

Co ciekawe, zaktualizowana wersja zawiera teraz ujawnienie, iż w jej tworzeniu wykorzystano Azure od OpenAI (usługa zapewniająca dostęp do API zaawansowanych modeli od OpenAI). Oryginalny raport takiej informacji nie zawierał. Usunięto też sfabrykowane cytaty i nieistniejące odniesienia.

Deloitte w sekcji „Aktualizacja raportu” zapewnia, iż zmiany „w żaden sposób nie wpływają na merytoryczną treść, ustalenia i rekomendacje zawarte w raporcie”. To stwierdzenie brzmi jednak dość śmiało, gdy weźmiemy pod uwagę, iż raport miał służyć jako podstawa do podejmowania decyzji o polityce publicznej, zaś a jego fundamentem miały być… nieistniejące badania.

Co istotne, to nie pierwszy przypadek, w którym halucynacje AI pogrążają raport, firmę, prawnika, czy projekt. Warto jednak zauważyć, iż w każdym z tych przypadku (także tym od Deloitte) najsłabszym ogniwem jest… człowiek. Dlaczego? Ponieważ to on nie wykonuje odpowiedniego fact-checkingu przed publikacją/zatwierdzeniem/uploadem.

Lekcja kosztująca (tylko częściowo) zwrócone pieniądze

Deloitte zobowiązało się zwrócić rządowi ostatnią ratę płatności, choć senator Barbara Pocock z australijskiej partii Zielonych argumentuje, iż firma powinna zwrócić całe 440 000 USD.

Deloitte niewłaściwie użyło AI i zrobiło to w bardzo nieodpowiedni sposób: błędnie zacytowało sędziego, użyło nieistniejących źródeł. To rodzaj rzeczy, za które student pierwszego roku miałby poważne kłopoty”

– powiedziała Pocock dla Australian Broadcasting Corp.

Ma rację. Gdyby student złożył pracę z wymyślonymi źródłami, zostałby najprawdopodobniej oskarżony o oszustwo akademickie. Gdy robi to jedna z najpotężniejszych firm konsultingowych świata, otrzymuje… częściowy zwrot kosztów?

Czego możemy się nauczyć?

Ten przypadek to nie tylko wpadka jednej firmy, ale zimny kubeł i ostrzeżenie dla wszystkich osób korzystających w swojej pracy z generatywnej sztucznej inteligencji. Oto najważniejsze wnioski:

• Człowiek musi pozostać w centrum. Generatywna AI może być potężnym narzędziem do przyspieszenia pracy, ale nie może zastąpić ludzkiej weryfikacji. Każde źródło, każdy cytat, każde odniesienie wymaga manualnej kontroli. To nie kwestia braku zaufania do technologii – to kwestia zrozumienia jej ograniczeń.
  
• Transparentność jest kluczowa. Fakt, iż oryginalna wersja raportu nie ujawniała użycia AI, to poważny błąd. Klienci (a szczególnie instytucje publiczne) mają prawo wiedzieć, jakie narzędzia zostały wykorzystane do przygotowania materiałów, za które płacą.
  
• Inwestycje w AI bez odpowiednich procedur to recepta na katastrofę. Można wydać miliardy na najnowszą technologię, ale bez solidnych protokołów weryfikacji i kontroli jakości, ryzyko błędów jest ogromne. Najbardziej ironiczny jest fakt, iż taka kontrola nie wymaga wiele – wystarczy trzeźwy umysł i fact-checking każdej daty i faktu, który pojawia się w treściach wygenerowanych przez AI.
  
• Reputacja to kwestia konsekwencji. Dla firm konsultingowych wiarygodność to wszystko. Jeden raport z halucynacjami AI może zniweczyć lata budowania zaufania. Deloitte wyszło z tej sytuacji z częściowym zwrotem kosztów i oficjalnym oświadczeniem, iż „sprawa została rozwiązana bezpośrednio z klientem”. Ale czy naprawdę?

Co by było gdyby? Czy AI doprowadzi do katastrofy?

Najbardziej niepokojące jest to, iż Rudge odkrył te błędy przypadkiem, podczas rutynowej lektury. Ile innych raportów, analiz i dokumentów (nie tylko od Deloitte) zawiera podobne halucynacje, które po prostu jeszcze nikt nie zauważył? A co jeżeli jest to np. projekt architektoniczny lub raport wpływający na decyzję dotyczące choćby systemu zdrowia?

Sztuczna inteligencja może być niezwykłym narzędziem. Ale jak pokazuje przypadek Deloitte, choćby najwięksi gracze na rynku mogą stać się ofiarami własnej pewności siebie i pośpiechu w adopcji technologii. W erze AI człowiek z krytycznym myśleniem – taki jak Chris Rudge – jest cenniejszy niż kiedykolwiek.

Bo AI potrafi wiele. Ale w fact-checkingu to człowiek przez cały czas jest na górze łańcucha ewolucji