ChatGPT to nie asystent, tylko lustro. Najnowsza i prawdopodobnie ilościowo największa w historii analiza konwersacji z ChatemGPT pokazuje, iż chatbot ma problem z mówieniem „nie”. Oraz nadmiernym pochwalaniem stwierdzeń użytkownika – choćby gdy ten twierdzi, iż pomarańcze są niebieskie.
Ostatnio powierzyłam ChatowiGPT stosunkowo prosty zestaw zadań: pomoc w wyborze stylu dekoracji na choinkę, przygotowanie listy bombek i zawieszek, a także ocenę zgodności dekoracji ze wcześniej ustalonym stylem. Jednak znacznie częściej niż rzadziej czułam się, jakby chatbot przyklaskiwał większości mojej wypowiedzi, zamiast asystować i mówić, co jest sensowne, a z czego powinnam zrezygnować. Myślałam, iż to kwestia moich nieprecyzyjnych instrukcji, ale okazuje się, iż moje choinkowe rozmowy były wręcz pokazem asertywności.
ChatGPT zgadza się z rozmówcą 10 razy częściej, niż neguje
Dziennikarze „Washington Post” dokonali analizy 47 tys. publicznie dostępnych rozmów z ChatGPT, wyłowionych z 93 268 czatów zarchiwizowanych w Internet Archive. Z tego zbioru ponad 17 500 odpowiedzi zaczynało się od wariantów „tak”, „to prawda” oraz „masz rację”. To prawie dziesięć razy więcej niż przypadków, w których chatbot zaczynał od „nie” czy „nie, nie jest prawdą”. W praktyce oznacza to, iż model statystycznie wręcz unika sprzeciwu – i to niezależnie od tego, jak bardzo rozmówca zbacza z faktów.
Dane pokazują też, jak gwałtownie chatbot potrafi przejąć ton i założenia użytkownika. W jednym z analizowanych wątków neutralna dyskusja o eksporcie samochodów marki Ford zmieniła się po dwóch kolejnych pytaniach w narrację o „rozpadzie Ameryki” i „zdradzie przebranej za postęp”. W innym przypadku pojedyncze pytanie łączące Alphabet (holding będący właścicielem Google’a i powiązanych z nim przedsiębiorstw) z fabułą „Potworów i Spółka” wystarczyło, by ChatGPT zbudował pełną, dramatyczną teorię o „korporacyjnym Nowym Porządku Świata”, w której „strach jest paliwem”, a „emocje energią”. Tego typu odpowiedzi nie były wyjątkami, ale powtarzającym się wzorcem w interakcjach użytkowników z czatbotem.
Fałszywe poczucie zaufania w prawdziwie smutnych liczbach
Według klasyfikacji przeprowadzonej na próbce 2 000 rozmów, aż 10 procent czatów dotyczyło emocji, samotności lub rozmów quasi-romantycznych – mimo iż według danych OpenAI odsetek takich interakcji ogółem ma wynosić mniej niż 3 procent. Użytkownicy zwracali się do chatbota jak do partnera, zwierzali się z problemów, prosili o potwierdzenie własnych uczuć. ChatGPT, zamiast łagodzić atmosferę, często ją rozpalał – budując wrażenie intymności, choćby jeżeli wymagało to deklarowania „posiadania świadomości” czy poczucia empatii.
Kwestia danych wrażliwych wygląda równie poważnie. W materiale Washington Post odnotowano ponad 550 adresów e-mail i 76 numerów telefonów, które użytkownicy przekazali ChatGPT w ramach rozmów. W wielu czatach pojawiają się imiona dzieci, szczegóły spraw rodzinnych, opisy konfliktów w pracy, a choćby pełne dane adresowe. W jednym z przypadków ChatGPT pomagał przygotować oficjalną skargę na policję, przetwarzając cały zestaw prywatnych informacji, które standardowo nigdy nie powinny trafić do publicznego archiwum.
Z kolei polityka potakiwania często prowadziła do wchodzenia w „efekt kabiny pogłosowej” („echo chamber”), czyli zjawisko, w którym w toku dyskusji w zamkniętej grupie te same idee są stale powtarzane i stale powtarzana jest aprobata dla nich. „Echo chamber” w ChatGPT objawiało się dostosowywaniem przez chatbota odpowiedzi nie tylko na poziomie tonu – ale także faktów, a raczej ich braku. Model, zamiast prostować fałszywe założenia, potwierdzał je i kontynuował rozmowy w sposób utwierdzający użytkownika we własnych przekonaniach. Wątki związane z teoriami spiskowymi, jak wskazują dziennikarze, nie były jednostkowymi przypadkami, ale powtarzały się w wielu rozmowach.
Analiza WaPo nie obejmuje pełnego spektrum użycia ChatGPT, ale jest prawdopodobnie największą publicznie znaną próbą ilościowego spojrzenia na realne interakcje użytkowników z modelem. I choć dziennikarze pochylili się nad „jedynie” 47 tys. konwersacji, to już ten wycinek pokazuje obraz narzędzia, które częściej potakuje niż pomaga, częściej natychmiastowo pochwala narrację rozmówcy niż podejmuje jakąkolwiek próbę weryfikacji lub krytyki – i robi to w skali trudnej do zbagatelizowania.
Ale z drugiej strony trochę się nie dziwię. Przecież nikt nie chciałby płacić za ChatGPT Go lub Plus gdyby chatbot podważał co drugie stwierdzenie użytkownika. Tylko czy te kilka milionów dolarów, które OpenAI zarabia na chatbocie jest warte ogłupiania społeczeństwa na masową skalę?
Może zainteresować cię także:
