Przebadali 1222 osoby. Już 10 minut korzystania z AI obniżało skuteczność i wytrwałość podczas samodzielnego rozwiązywania zadań.
Wystarczy około 10 minut korzystania z ChataGPT, żeby po jego wyłączeniu trudniej było samodzielnie rozwiązywać zadania. Naukowcy sprawdzili to w eksperymentach obejmujących 1222 osoby. Wyniki pokazały nie tylko spadek skuteczności, ale także większą skłonność do poddawania się. Najbardziej niepokojące jest to, iż problem pojawiał się niemal natychmiast. Uczestnicy przyzwyczajeni do gotowych odpowiedzi znacznie częściej rezygnowali z zadania, kiedy musieli poradzić sobie bez cyfrowego pomocnika. Wiele zależało jednak od tego, w jaki sposób wcześniej korzystali z AI.
Najpierw ChatGPT rozwiązywał zadania, potem nagle zniknął
Badacze z Carnegie Mellon University, Uniwersytetu Kalifornijskiego w Berkeley, MIT, Oksfordu i UCLA przygotowali serię trzech eksperymentów, w których sprawdzali, jak krótka kooperacja z AI wpływa na późniejsze samodzielne wykonywanie zadań.
W pierwszym uczestniczyły 354 osoby. Każda otrzymała zestaw 15 zadań matematycznych dotyczących ułamków. Jedna grupa musiała od początku radzić sobie samodzielnie, natomiast druga dostała dostęp do ChataGPT, który mógł podpowiadać rozwiązania lub po prostu podawać gotowe odpowiedzi.
Początkowo wszystko wyglądało znakomicie. Osoby korzystające z AI znacznie częściej rozwiązywały zadania poprawnie. Trudno się dziwić, skoro wystarczyło wpisać krótkie pytanie, żeby model przedstawił wynik wraz z rozwiązaniem.
Po 12 zadaniach naukowcy niespodziewanie wyłączyli jednak chatbota. Pozostałe 3 przykłady obie grupy musiały rozwiązać już bez pomocy. Wtedy nastąpiło odwrócenie sytuacji. Uczestnicy przyzwyczajeni do AI zaczęli popełniać więcej błędów, podczas gdy osoby pracujące samodzielnie radziły sobie wyraźnie lepiej.
W opublikowanym badaniu autorzy przedstawili wyniki weryfikujące tę różnicę. Po uwzględnieniu kryteriów jakości danych odsetek poprawnych odpowiedzi wyniósł 57 proc. w grupie korzystającej wcześniej z AI i 73 proc. w grupie kontrolnej. Co ciekawe, samo obniżenie skuteczności nie było jeszcze największym problemem.
Bez AI częściej choćby nie próbowali
Uczestnicy mieli możliwość pominięcia dowolnego zadania. Nie otrzymywali premii za poprawne odpowiedzi ani kar za błędy, więc decyzja o rezygnacji była dodatkową informacją o ich gotowości do podejmowania wysiłku. Po odebraniu ChataGPT osoby wcześniej korzystające z jego pomocy pomijały średnio 20 proc. zadań. W grupie kontrolnej było to 11 proc.
Różnica sugerowała, iż wpływ AI nie ogranicza się do tego, jak dobrze człowiek radzi sobie z matematyką. Zmieniała się również gotowość do samodzielnego poszukiwania rozwiązania, gdy odpowiedź nie pojawiała się natychmiast.
Naukowcy postanowili powtórzyć doświadczenie na większej grupie. Tym razem zrekrutowano 667 osób, a procedurę uzupełniono o wstępne sprawdzenie umiejętności, żeby wykluczyć możliwość, iż jedna grupa od początku radziła sobie gorzej.
Wyniki przez cały czas przemawiały na niekorzyść osób korzystających z AI. Po wyłączeniu chatbota poprawnie rozwiązywały one 71 proc. zadań, wobec 77 proc. w grupie kontrolnej. W tym drugim eksperymencie różnica w częstości rezygnowania z zadań nie była już statystycznie istotna dla całych grup. Pojawiła się jednak ważna wskazówka, która pozwala lepiej zrozumieć obserwowany mechanizm.
Najgorzej wypadli ci, którzy chcieli gotowych odpowiedzi
Nie wszyscy uczestnicy korzystali jednak z AI w identyczny sposób. Jedni prosili chatbota o konkretne wyniki, inni używali go do uzyskiwania wskazówek i wyjaśnień. Były też osoby, które miały dostęp do narzędzia, ale praktycznie z niego nie korzystały.
W drugim eksperymencie 61 proc. osób z dostępem do AI deklarowało, iż wykorzystywało ją głównie do uzyskiwania gotowych odpowiedzi. Kolejne 27 proc. prosiło przede wszystkim o podpowiedzi.
Właśnie między tymi grupami pojawiły się wyraźne różnice. Osoby odbierające od chatbota gotowe rozwiązania uzyskiwały później średnio 65 proc. poprawnych odpowiedzi. Uczestnicy wykorzystujący AI do otrzymywania wskazówek osiągali 76 proc., czyli wynik bardzo zbliżony do 77 proc. uzyskanych przez grupę kontrolną.
Co więcej, osoby proszące o gotowe rozwiązania częściej pomijały zadania niż te, które wykorzystywały AI do zrozumienia problemu. To szalenie istotny szczegół, choć trzeba pamiętać, iż uczestnicy sami decydowali, w jaki sposób korzystać z chatbota. Porównanie tych podgrup nie pozwala więc z taką samą pewnością przypisać różnic wyłącznie sposobowi używania AI.
Wcześniej opisywaliśmy już badania pokazujące, iż sztuczna inteligencja może pomagać w nauce albo stopniowo zastępować ćwiczenie własnych umiejętności. Najnowszy eksperyment dostarcza kolejnych, bardziej bezpośrednich dowodów na znaczenie tego rozróżnienia.
Problem nie dotyczył tylko matematyki
Pozostawało jednak pytanie, czy obserwowany efekt wynikał ze specyfiki zadań matematycznych. Rozwiązywanie ułamków wymaga znajomości określonych reguł, które można łatwo zapomnieć albo których ktoś mógł nigdy dobrze nie opanować.
Dlatego trzeci eksperyment dotyczył czytania ze zrozumieniem. Wzięło w nim udział 201 osób, które otrzymały zadania podobne do tych wykorzystywanych na amerykańskich egzaminach SAT.
Scenariusz był zbliżony do wcześniejszych doświadczeń. Jedna grupa korzystała przez krótki czas z pomocy AI, druga pracowała samodzielnie. Następnie wszyscy musieli odpowiedzieć na kolejne pytania bez chatbota.
Rezultat ponownie okazał się podobny. Wśród uczestników uwzględnionych w końcowej analizie grupa korzystająca wcześniej z AI osiągnęła 76 proc. poprawnych odpowiedzi, podczas gdy osoby samodzielne uzyskały 89 proc. Wskaźnik pomijanych zadań wyniósł odpowiednio 8 proc. i 1 proc.
Eksperymenty pokazały więc podobny efekt w dwóch odmiennych dziedzinach. Badacze nie obserwowali wyłącznie pogorszenia wyników po utracie kalkulatora do ułamków. Również podczas analizy tekstów wcześniejszy dostęp do gotowych odpowiedzi wiązał się z mniejszą skutecznością i wytrwałością.
Mózg oczywiście nie staje się głupszy w kilka minut
To wszystko nie oznacza oczywiście, iż krótka rozmowa z chatbotem powoduje trwałe osłabienie naszej inteligencji albo uszkodzenie mózgu. Naukowcy nie wykonywali pomiarów aktywności mózgowej ani nie sprawdzali, czy uczestnicy stracili zdolności poznawcze na dłużej. Badali zachowanie bezpośrednio po odebraniu dostępu do AI, a cały eksperyment trwał zaledwie kilkanaście minut.
Nie wiadomo więc, czy zaobserwowany efekt utrzymałby się przez kilka godzin, dni albo tygodni. Nie można również na tej podstawie stwierdzić, iż wieloletnie korzystanie z ChataGPT prowadzi do trwałego pogorszenia pamięci czy zdolności rozumowania. Badanie pokazuje jednak, iż choćby krótki okres otrzymywania natychmiastowych odpowiedzi może zmienić sposób, w jaki ludzie podchodzą do kolejnego trudnego zadania.
Autorzy wskazują na dwa możliwe wyjaśnienia. Pierwsze dotyczy oczekiwań. o ile przez kilka minut rozwiązania pojawiają się niemal natychmiast, samodzielna praca zaczyna wydawać się nieproporcjonalnie trudna i czasochłonna. Drugie związane jest z utratą okazji do ćwiczenia. Kiedy AI wykonuje wszystkie najważniejsze czynności, człowiek nie przechodzi przez proces prób, błędów i samodzielnego poprawiania rozwiązania.
Oba mechanizmy są jednak na razie jedynie interpretacjami wyników, a nie osobno potwierdzonymi przyczynami zaobserwowanego spadku wytrwałości.
*Źródło zdjęcia wprowadzającego: Karola G, Pexels / Canva Pro
