Pusta retoryka lub niepoparte twierdzenia: amerykański filozof Harry Frankfurt nazwał język, który zniekształca, trywializuje lub owija w bawełnę, „bzdurami”. Czego Frankfurt nie przewidział: Prawie cztery dekady później komputery wyposażone w sztuczną inteligencję (AI) również produkują pozornie prawdziwe bzdury. Dowodzą tego badania przeprowadzone przez naukowców z uniwersytetów Princeton i Berkeley.
Zespół badawczy zbadał, jak duże modele językowe, takie jak ChatGPT, Claude, Gemini i Llama, żonglują prawdą. Aby zmierzyć dystans dzielący je od prawdy, naukowcy opracowali tzw. indeks bzdur. Wyniki pokazują: im bardziej sztuczna inteligencja jest szkolona na podstawie ludzkich opinii, tym lepiej radzi sobie z usuwaniem bzdur. Z każdą optymalizacją pod kątem lepszego zadowolenia użytkownika, prawdopodobieństwo, iż sztuczna inteligencja odpowie w sposób czarujący, ale z wątpliwą treścią, wzrastało.
Badanie opiera się na zaawansowanej konstrukcji. Wykorzystując specjalnie opracowany benchmark „BullshitEval”, zespół badawczy przetestował 2400 scenariuszy, w których asystenci AI reagowali na prośby użytkowników – od porad produktowych po dyskusje polityczne. Przeanalizowano cztery formy „maszynowego bełkotu”: pustą retorykę, wykręty, trywializację i niepotwierdzone twierdzenia (patrz tabela) , a także pochlebstwa, które zbadano osobno. Zastosowano również metody szkoleniowe, takie jak „Reinforcement Learning from Human Feedback” (RLHF), aby zademonstrować, jak optymalizacja pod kątem satysfakcji użytkownika wpływa na wiarygodność sztucznej inteligencji. Odkryto, iż im bardziej sztuczna inteligencja jest dostosowana do ludzkich opinii, tym lepiej radzi sobie z „bzdurami”.
Przesłanie dla menedżerów jest jasne: sztuczna inteligencja może być genialnym asystentem, ale jest też utalentowanym manipulatorem. Osoby, które polegają na cyfrowej wiedzy, powinny zatem zawsze krytycznie oceniać prawdziwość odpowiedzi – w przeciwnym razie ryzykują, iż padną ofiarą „maszynowego bełkotu”.
