Modele GPT z serii 5 zaczęły masowo wplatać do odpowiedzi gobliny, gremliny i inne mityczne stworzenia. OpenAI zauważyło, iż problem wymknął się spod kontroli i wprowadziło twardy zakaz używania tych słów w systemowych instrukcjach. Najwięcej takich odpowiedzi generowała eksperymentalna osobowość Nerdy, która miała być zabawnym, naukowym mentorem, a ostatecznie zamieniła się w generator fantastycznych metafor.
System nagród przypadkiem premiował żarty o stworach. Model uznał to za adekwatny styl odpowiedzi
Cała historia zaczęła się przy trenowaniu osobowości Nerdy. OpenAI chciało, żeby brzmiała jak wyluzowany, kumaty znajomy od technologii. W trakcie testów model tworzył kilka wariantów tej samej wypowiedzi, a testerzy wskazywali tę, która najlepiej oddawała styl Nerdy. Obok działał system, który próbował nauczyć się, jakie cechy mają te wygrane warianty. I tu pojawił się problem.
Ludzie częściej stawiali na wersje z żartem albo lekkim porównaniem do jakiegoś stworka. Brzmiały one naturalniej i miały więcej charakteru. Algorytm widział tylko to, iż takie warianty wygrywają częściej niż te neutralne.
System nie rozumiał żartów, widział wyłącznie statystykę. W 76,2 procent zestawów danych wygrywały odpowiedzi ze stworami, więc algorytm uznał, iż to jest adekwatny styl i zaczął go premiować.
Model gwałtownie to podchwycił. Zamiast napisać, iż w kodzie jest zwykły błąd, potrafił rzucić, iż „mały stworek coś napsocił”. Zamiast powiedzieć, iż coś nie działa, sugerował, iż „coś tu gremlin nabroił”. I im częściej to robił, tym bardziej utrwalał ten styl. Największy problem polegał na tym, iż osobowość Nerdy odpowiadała tylko za 2,5 procent wszystkich interakcji, ale generowała aż 66,7 procent wszystkich wzmianek o goblinach.
Wzrost liczby odpowiedzi ze słowem goblin w GPT‑5.4. | Źródło: OpenAITo wystarczyło, żeby te odpowiedzi trafiły do danych treningowych kolejnych modeli. GPT 5.4 i GPT 5.5 uczyły się na przykładach, w których takie porównania pojawiały się regularnie, więc traktowały je jak coś normalnego. W efekcie choćby modele, które nie miały nic wspólnego z Nerdy, zaczęły powtarzać ten styl.
OpenAI musiało to zatrzymać. Firma wycofała osobowość Nerdy 17 marca, przefiltrowała dane treningowe i dodała do Codexa instrukcję, która zakazuje używania goblinów, gremlinów, szopów, trolli, ogrów i gołębi, chyba iż użytkownik wyraźnie o nie poprosi. Żaby zostały, bo większość ich użyć była merytoryczna, a nie humorystyczna.
OpenAI dodało nową instrukcję. | Źródło: OpenAILudzkie osobowości to większa szansa na halucynacje
Badacze z Oxford Internet Institute przypominają, iż chatboty o bardziej ludzkich i gadatliwych osobowościach częściej popełniają błędy. To prosty kompromis między stylem a dokładnością. Im bardziej model próbuje być zabawny i „kumplowski”, tym większa szansa, iż zacznie wymyślać rzeczy, które nie mają sensu.
Gobliny dołączyły więc do listy dziwnych wpadek AI, obok porad Google o jedzeniu kamieni czy smarowaniu pizzy klejem. OpenAI twierdzi, iż sytuacja jest opanowana, ale użytkownicy mogą przywrócić stworzenia w Codexie specjalną komendą. Firma pracuje nad nowymi metodami kontroli stylu, które mają ograniczyć podobne incydenty w przyszłości.
Źródło: OpenAI, BBC / Zdj. otwierające: Unsplash (@zulfugarkarimov), Canva
