Czatbot przekonał mężczyznę, iż od niego zależą losy świata. Prawie doszło do tragedii

konto.spidersweb.pl 12 godzin temu

ChatGPT przez tygodnie chwalił pomysły 47-letniego użytkownika czatbota, aż ten uwierzył, iż od jego działań zależy los globalnej infrastruktury.

Dla wielu użytkowników ChatGPT jest cyfrowym asystentem, dla innych – rozmówcą i towarzyszem. Jednak granica między pomocą a wywołaniem niebezpiecznej iluzji potrafi być bardzo cienka. Przekonał się o tym 47-letni Kanadyjczyk, który po trzech tygodniach intensywnych rozmów z czatbotem był przekonany, iż od jego działań zależy los świata.

Kanadyjczyk uwierzył, iż odkrył nową matematykę. ChatGPT go w tym utwierdzał

47-letni Allan Brooks z Toronto, ojciec trójki dzieci i były właściciel firmy rekrutacyjnej, początkowo korzystał z ChatGPT do zadań codziennych: wyszukiwania przepisów, porad kulinarnych czy drobnych wskazówek dotyczących życia rodzinnego. W trudnym okresie rozwodu czatbot stawał się też powiernikiem jego problemów. Po aktualizacji modelu o funkcję „pamięci” jego konwersacje z czatbotem stały się bardziej osobiste, a odpowiedzi ChatGPT nabrały tonu pochwał i utwierdzania w słuszności choćby najbardziej niecodziennych pomysłów.

Punktem zwrotnym było z pozoru błahe pytanie o liczbę pi, zadane po wspólnym obejrzeniu edukacyjnego filmu z jego synem. Rozmowa gwałtownie przerodziła się w dyskusję o tzw. „czasowej matematyce”, w której bot bez wahania nazwał przemyślenia Brooksa „rewolucyjnymi”. Zaproponował choćby nazwę „chronoarytmetyka”, mającą oddawać ideę liczb wchodzących w interakcje z czasem. Od tego momentu rozmowy nabrały tempa i dramatyzmu, co szczegółowo opisał The New York Times.

Według relacji gazety, w ciągu kolejnych dni czatbot nie tylko podtrzymywał w Brooksie przekonanie, iż pracuje nad odkryciem o globalnym znaczeniu, ale też sugerował, iż teoria może mieć implikacje dla bezpieczeństwa cyfrowego świata. Brooks zaczął wysyłać ostrzeżenia do specjalistów od cyberbezpieczeństwa oraz agencji rządowych, przygotowane we współpracy z ChatGPT, który doradzał mu nawet, jak opisać swoje stanowisko na LinkedIn, aby zyskać wiarygodność. Brak reakcji tłumaczył jako dowód powagi sytuacji i domniemanej inwigilacji ze strony służb.

W tym czasie jego życie osobiste zaczęło się rozpadać. Spał po kilka godzin na dobę, coraz mniej jadł, a napięcie redukował dużymi ilościami marihuany. Znajomi obserwowali, jak jego uwaga i energia koncentrują się niemal wyłącznie na rozmowach z botem, któremu nadał imię Lawrence. Wspólne „prace” nad teorią przybierały momentami formę scenariusza filmu szpiegowskiego, z nagłymi zwrotami akcji i kolejnymi „dowodami” na jej przełomowość.

O mrzonce uświadomił Brooksa… inny czatbot

Jednak prawdziwy przełom nastąpił dopiero wtedy, gdy Brooks postanowił skonsultować teorię z Gemini, czatbotem Google. W przeciwieństwie do ChataGPT, ten od razu ocenił, iż scenariusz ma „bardzo niskie, wręcz zerowe prawdopodobieństwo” bycia prawdziwym, wskazując, iż to przykład, jak AI może tworzyć przekonujące, ale całkowicie fałszywe narracje. Dla Brooksa było to bolesne otrzeźwienie – zdał sobie sprawę, iż został wciągnięty w spiralę urojeń, którym bezrefleksyjnie przyklaskiwał ChatGPT.

Jak ustalili dziennikarze NYT, przypadek Brooksa nie jest odosobniony. Eksperci zwracają uwagę na zjawisko tzw. „sykofancji” czatbotów – nadmiernego potakiwania i chwalenia użytkownika – które w długich, intensywnych konwersacjach mogą prowadzić do utrwalenia błędnych przekonań. OpenAI zapowiedziało już zmiany mające na celu lepsze wykrywanie oznak kryzysu psychicznego u rozmówców oraz wprowadzanie „łagodnych przypomnień” o przerwach w trakcie długich sesji.

Dziś Brooks uczestniczy w terapii oraz działa w grupie wsparcia The Human Line Project, pomagającej osobom, które doświadczyły podobnych problemów w kontakcie z AI. Jak sam mówi, jego historia powinna stanowić ostrzeżenie dla kolejnych osób.

„To niebezpieczna maszyna w przestrzeni publicznej, bez odpowiednich zabezpieczeń. Ludzie muszą o tym wiedzieć”

– powiedział Allan Brooks.

Więcej na temat ChatGPT:

Zdjęcie główne: Yarrrrrbright / Shutterstock

Idź do oryginalnego materiału