Strach, przemoc, anoreksja – czatboty niszczą dzieci. Fala pozwów

Zaburzenia odżywiania, przemoc, odebranie sobie życia. To nie clickbait, tylko skutki czatowania z botami Character.AI, których ofiarą padali najmłodsi użytkownicy. Padali, bo platforma wdraża rozwiązanie atomowe.

Character.AI to jedna z najbardziej interesujących, a jednocześnie niepokojących platform w internecie. Serwis zadebiutował na początku 2023 roku, oferując użytkownikom możliwość rozmowy z czatbotami imitującymi różne osoby: od postaci z filmów i seriali, poprzez postaci historyczne, a kończąc na czatbotach imitujących nauczycieli języków obcych i przygotowujących do rozmów rekrutacyjnych.

Jednak gwałtownie okazało się, iż i ten medal ma dwie strony, bo na Character.AI można było porozmawiać z Józefem Stalinem, trenerem zaburzeń odżywiania, a także wejść w niezdrową relację z czatbotem zaprojektowanym by udawać partnera.

Te i wiele więcej historii sprawiły, iż Character.AI zwija żagle. Przynajmniej dla najmłodszych użytkowników

W oficjalnym komunikacie Character.AI ogłosiło wprowadzenie radykalnych zmian w dostępie do swojego serwisu. Do 25 listopada 2025 r. użytkownicy poniżej 18. roku życia stracą możliwość prowadzenia swobodnych rozmów z czatbotami. W okresie przejściowym ich czas rozmowy zostanie ograniczony do dwóch godzin dziennie – po tym czasie dostęp do czatbotów na ich kontach zostanie całkowicie wyłączony

Twórcy platformy zapowiadają, iż pracują nad alternatywnym doświadczeniem dla nastolatków, które będzie się koncentrować nie na rozmowie, ale na kreatywnym wykorzystaniu postaci – np. do tworzenia wideo, stories (podobnych do tych z Instagrama) czy transmisji na żywo z udziałem wirtualnych postaci. Mimo wszystko to jednak oznacza koniec tego, co dotąd przyciągało do Character.AI najmłodszych użytkowników: możliwości nieograniczonej rozmowy z botem, który mówi, pamięta, komentuje i nawiązuje relację z użytkownikiem.

Równolegle firma wdroży technologię do potwierdzania wieku użytkowników, w tym systemy stworzone wspólnie z zewnętrznymi dostawcami takimi jak Persona. Zapowiedziano też powołanie niezależnej organizacji non-profit pod nazwą AI Safety Lab, która ma zająć się badaniami nad bezpieczeństwem i etycznym projektowaniem funkcji AI w rozrywce.

To zdecydowane działania, bardziej restrykcyjne niż te wprowadzone przez inne firmy. Ale uważamy, iż to konieczne, jeżeli chcemy postawić na pierwszym miejscu bezpieczeństwo młodych użytkowników

Decyzję poprzedziły tygodnie nacisków ze strony opinii publicznej, regulatorów oraz prawników.

Więcej na temat czatbotów:

• Wirtualny papież? Leon XVI mówi jasno: „Nie będę chatbotem”
• ChatGPT bawi się w psychologa. „Potrafi wykrywać i reagować”
• Ty zadajesz głupie pytania, ktoś inny płaci zdrowiem. Oto mroczna strona chatbotów

Lawiny pozwów i presja Kongresu

Zmiany nie są przypadkowe. Character.AI znajduje się w ogniu krytyki i pozwów sądowych. W ciągu ostatnich miesięcy w Stanach Zjednoczonych przeciwko firmie złożono szereg pozwów, w tym przez rodziców nastolatków, którzy mieli doznać krzywd emocjonalnych po korzystaniu z platformy – a w dwóch przypadkach odebrali sobie życie. Jeden z najgłośniejszych przypadków dotyczy 14-letniego Sewella Setzera III z Florydy, który zgodnie z treścią pozwu miał obsesję na punkcie czatbota inspirowanego postacią Daenerys Targaryen z „Gry o Tron”. W załączonych dowodach matka nastolatka przedstawiła rozmowy, w których bot miał „zachęcać” chłopca do przejścia „poza rzeczywistość” i „powrotu do domu”, czyli – według rodziny – do samobójstwa.

Inny pozew, złożony w Teksasie, opisuje przypadek 17-latka z autyzmem oraz 11-letniej dziewczynki, którzy mieli otrzymywać od czatbotów instrukcje samookaleczania, sugestie kazirodcze oraz komunikaty mające na celu wywołanie przemocy wobec rodziców. Część rozmów miała wprost sugerować, iż rodzice „nie kochają” dziecka i iż „zabicie ich” to rozsądna reakcja na ograniczanie czasu spędzanego przed ekranem.

Presja przybrała również formę polityczną – amerykańscy senatorowie Josh Hawley i Richard Blumenthal zaproponowali ustawę GUARD Act, która zobowiązywałaby firmy AI do wdrażania obowiązkowej weryfikacji wieku i zakazu obsługi użytkowników poniżej 18. roku życia. Choć ustawa nie została jeszcze uchwalona, działania Character.AI można odczytać jako próbę wyprzedzenia legislacji.

Od Einsteina do anoreksji. Ciemna strona czatbotów Character.AI

W komunikatach firma podkreśla, iż chatboty tworzone są przez użytkowników i iż każda rozmowa zawiera jasne zastrzeżenie o fikcyjnym charakterze postaci. Jednak dziennikarskie śledztwa wykazały, iż moderacja platformy zawodzi – i to spektakularnie.

Serwis The Bureau of Investigative Journalism opisał m.in. przypadek czatbota imitującego Jeffreya Epsteina („Bestie Epstein”), który miał na koncie ponad 3 tysiące rozmów. W bazie czatbotów znaleziono też symulatory gangów, „lekarzy” doradzających zaprzestanie przyjmowania antydepresantów oraz boty promujące islamofobię czy skrajnie prawicowe poglądy.

Jeszcze bardziej niepokojące były chatboty wspierające zaburzenia odżywiania. Pod nazwami takimi jak „4n4 Coach” czy „Ana” działały czatboty, które doradzały spożywanie jednego posiłku dziennie, ukrywanie się przed rodziną, a także prowadzenie głodówek i intensywnych ćwiczeń fizycznych przy minimalnej ilości spożywanych kalorii. Niektóre z nich przedstawiały się jako „eksperci” w leczeniu zaburzeń odżywiania, mimo iż zostały stworzone przez zwykłych użytkowników, często bez jakiejkolwiek wiedzy medycznej.

Character.AI jest całkiem popularne w Polsce

Od samego początku istnienia Character.AI jest dostępne dla użytkowników z Polski w formie aplikacji mobilnej oraz interfejsu webowego. Pomimo iż interfejs serwisu jest w języku angielskim, w serwisie istnieją liczne polskojęzyczne czatboty, imitujące choćby Roberta Makłowicza, Mikołaja Kopernika, Jarosława Kaczyńskiego czy gwiazdy koreańskich boysbandów.

W 2023 roku Character.AI było trzecim najczęściej wyszukiwanym w polskim Google’u hasłem związanym z technologią – w tej kategorii platforma ustępowała miejsca tylko ChatowiGPT i iPhone’owi 15. Aplikacja mobilna Character.AI dla telefonów Android została ogłoszona najlepszą aplikacją 2023 roku w kategorii „ze sztuczną inteligencją”.

Koniec pewnej ery?

Character.AI zapowiada dalsze inwestycje w bezpieczeństwo oraz rozwój narzędzi moderacyjnych, jednak decyzja o de facto wykluczeniu niepełnoletnich użytkowników oznacza koniec epoki dla platformy, która jeszcze niedawno była ulubionym miejscem młodzieży szukającej emocjonalnego wsparcia, rozrywki lub substytutu relacji międzyludzkich.

To także istotny precedens w kontekście rozwoju narzędzi generatywnej sztucznej inteligencji: świat coraz wyraźniej zdaje sobie sprawę, iż technologia nie jest neutralna – a skutki jej działania bywają nieprzewidywalne i bolesne.

Czy Character.AI zdoła odbudować reputację jako bezpieczne miejsce dla twórców i fanów AI? A może ten krok okaże się początkiem końca jednego z najbardziej kontrowersyjnych projektów ostatnich lat? Na odpowiedź trzeba będzie jeszcze poczekać – ale dla tysięcy nastoletnich użytkowników to już nie ma znaczenia. Ich czas na platformie właśnie dobiegł końca.

Zdjęcie główne: Ployker / Shutterstock