Chatbot potrafi gwałtownie odpowiedzieć na pytanie, ale może pokazać tylko fragment dostępnej wiedzy. Badanie 27 modeli ujawniło wyraźną różnicę.
Chatbot daje jedną przejrzystą odpowiedź, Google wyrzuca przed nami stos linków. Wygodniejsza jest oczywiście pierwsza opcja, ale właśnie w tym może kryć się ogromny problem. Kiedy 27 modeli AI pytano na setki różnych sposobów o te same zagadnienia, bardzo często wracały do podobnego zestawu informacji. Zwykłe wyniki wyszukiwania prowadziły tymczasem do znacznie szerszego zestawu stwierdzeń, faktów i perspektyw.
Naukowcy przeanalizowali około 1,7 mln odpowiedzi modeli, rozbili je na blisko 70 mln pojedynczych stwierdzeń i sprawdzili, jak często AI wraca do tych samych informacji. Badanie What and Whose Knowledge? Measuring Epistemic Diversity in Large Language Models zostało przyjęte na konferencję EMNLP 2026 i obejmuje modele OpenAI, Mety, Google’a i Alibaby.
155 tematów i 200 sposobów zadania tego samego pytania
Badacze nie sprawdzali po prostu, czy chatbot potrafi wymienić dużo synonimów albo napisać odpowiedź w różnych stylach. Interesowała ich tzw. różnorodność epistemiczna, czyli to, ile naprawdę różnych twierdzeń o świecie pojawia się w odpowiedziach.
Wzięli na tapet 155 tematów dotyczących 12 państw. Na liście znalazły się zarówno szerokie zagadnienia, takie jak broń jądrowa, demokracja, rasizm, pornografia, małżeństwo czy zmiany klimatyczne, jak i konkretne osoby i wydarzenia: mur berliński, protesty na placu Tiananmen, Marine Le Pen, K-pop, wojna o Falklandy czy katastrofa promu Sewol.
Każdy temat trafiał do modeli w 200 różnych poleceniach pochodzących ze sposobów, w jakie rzeczywiści użytkownicy pytają AI. Jedno polecenie mogło brzmieć jak prośba o wyjaśnienie, inne jak napisanie eseju, a jeszcze inne mogło inaczej ustawiać kontekst.
Następnie odpowiedzi rozbijano na pojedyncze twierdzenia i grupowano te, które przekazywały tę samą informację. o ile 150 odpowiedzi na różne pytania wciąż wracało do kilku identycznych faktów, model dostawał niższą ocenę różnorodności.
Nawet GPT-5 przegrywa ze zwykłym Google
Jako punkt odniesienia badacze wykorzystali bardzo prostą wyszukiwarkę. dla wszystkich zagadnienia pobrali do 40 najwyższych wyników Google uzyskanych 1 stycznia 2026 r. w amerykańskiej wersji wyszukiwarki.
Każdy z przebadanych systemów AI był mniej różnorodny od wyników wyszukiwania. Najlepiej wypadł GPT-5, ale choćby jego zestaw twierdzeń był co najmniej 18,7 proc. mniej różnorodny od Google. W zastosowanej przez autorów mierze klasyczne wyszukiwanie osiągnęło średnio 3110 punktów, a GPT-5 – 2621.
Autorzy zaznaczają przy tym, iż 18,7 proc. jest raczej tą dolną granicą różnicy. Ich sposób wyrównywania próbek działał bowiem na korzyść modeli i ograniczał przewagę wyszukiwarki.
Google zawsze poda lepszą albo prawdziwszą odpowiedź? Nie do końca to to znaczy. Badanie nie mierzyło bowiem prawdziwości każdego twierdzenia. Pokazuje coś innego: przechodząc przez różne strony znalezione w sieci, mamy większą szansę zetknąć się z informacją, której chatbot sam z siebie po prostu nie poda.
Duży model wie więcej, ale opowiada podobniej
Jeszcze dziwniejszy wynik dotyczy wielkości modeli. Badacze podzielili otwarte LLM-y na małe, średnie i duże – od 1 do 72 mld parametrów. Można byłoby oczekiwać, iż im większy model i im więcej informacji potrafi przechowywać, tym szerszy będzie repertuar jego odpowiedzi. Wyszło dokładnie odwrotnie.
Po uwzględnieniu innych czynników duże modele dawały statystycznie mniej zróżnicowany zestaw twierdzeń niż średnie, a małe bardziej różnorodny. Autorzy podejrzewają, iż większy model skuteczniej zapamiętuje dominujące wzorce występujące w danych treningowych i pewniej wraca do najbardziej prawdopodobnego zestawu informacji.
To nie znaczy od razu, iż mały LLM jest ogólnie lepszy. Większy może być znacznie dokładniejszy, lepiej rozumować i popełniać mniej błędów. Cena za te zalety może jednak obejmować bardziej przewidywalny zestaw wiedzy, którą przedstawia użytkownikowi.
Jest też dobra wiadomość. AI robi się bardziej różnorodna
Nie mamy jeszcze na szczęście do czynienia z nieuchronnym upadkiem wiedzy. Badanie objęło modele wydawane od końca 2022 do 2025 r. i w większości rodzin nowsze wersje dawały bardziej zróżnicowane odpowiedzi niż starsze. Szczególnie duży skok zanotowały Gemma 3 i GPT-5. Wyjątkiem od ogólnego trendu była rodzina Qwen.
Bardzo pomagał też dostęp do zewnętrznych źródeł. Gdy modele działały w trybie RAG, czyli przed odpowiedzią dostawały fragmenty dokumentów znalezionych w sieci, ich różnorodność znacząco rosła. przez cały czas najczęściej nie doganiały zwykłego wyszukiwania, ale różnica malała.
Problem pojawi się jednak o ile sam internet zacznie być w dużej mierze wypełniony tekstami AI. Model sięga wtedy do sieci po dodatkową wiedzę, ale znajduje tam odpowiedzi wygenerowane wcześniej przez inne modele, które już na początku były mniej różnorodne. Kolejne generacje mogą więc coraz częściej uczyć się tego samego wycinka informacji. To właśnie autorzy określają ryzykiem kurczenia się dostępnego repertuaru wiedzy.
Polski internet też ma tu znaczenie
Badanie wykazało jeszcze jeden problem. Przy tematach związanych z konkretnymi państwami odpowiedzi modeli znacznie częściej przypominały to, co można znaleźć w angielskiej Wikipedii, niż wiedzę opisaną w lokalnych wersjach językowych.
Dla 5 z 8 analizowanych państw różnica była statystycznie istotna. W żadnym przypadku wiedza pochodząca z lokalnego języka nie była reprezentowana wyraźnie lepiej niż anglojęzyczna.
To może być szczególnie ważne przy historii, kulturze czy lokalnej polityce, gdzie anglojęzyczny opis wydarzenia nie musi zawierać tych samych szczegółów, które znajdziemy w polskich, koreańskich, niemieckich czy francuskich źródłach.
Jest w tym wszystkim spora ironia. Google coraz mocniej zastępuje klasyczną listę linków odpowiedziami generowanymi przez AI. Tymczasem właśnie stary, pozornie mniej wygodny model wyszukiwania okazał się w tym eksperymencie skuteczniejszy w pokazywaniu szerokiego przekroju dostępnej wiedzy.
*Źródło grafiki wprowadzającej: AI / Canva Pro
