Na podstawie testy przeprowadzone przez badaczy z Tow Center for Digital Journalism w Columbiinarzędzie wyszukiwania ChatGPT OpenAI ma pewne problemy, jeżeli chodzi o odpowiadanie prawdą.
OpenAI uruchomił narzędzie dla abonentów w październiku, twierdząc, iż może dawać „szybkie i aktualne odpowiedzi z linkami do odpowiednich źródeł internetowych”. Zamiast, Futuryzm podkreśla To badacze stwierdzili, iż wyszukiwanie ChatGPT miało problemy prawidłowe identyfikowanie cytatów z artykułów, choćby jeżeli pochodzą od wydawców, którzy mają uzgodnienia dotyczące udostępniania danych OpenAI.
Autorzy poprosili ChatGPT o wskazanie źródła „dwustu cytatów z dwudziestu publikacji”. Czterdzieści z tych cytatów pochodziło od wydawców, którzy uniemożliwili robotowi wyszukiwania OpenAI dostęp do ich witryny. Jednak chatbot i tak pewnie odpowiedział, podając fałszywe informacje, rzadko przyznając, iż nie jest pewien podawanych szczegółów:
W sumie ChatGPT zwrócił częściowo lub całkowicie nieprawidłowe odpowiedzi sto pięćdziesiąt trzy razy, chociaż przyznał się do niemożności udzielenia dokładnej odpowiedzi na zapytanie tylko siedem razy. Tylko w tych siedmiu wynikach chatbot użył kwalifikujących słów i wyrażeń, takich jak „wydaje się”, „jest to możliwe” lub „może” lub stwierdzeń typu „Nie mogłem zlokalizować dokładnego artykułu”.
/cdn.vox-cdn.com/uploads/chorus_asset/file/25771393/image_4.jpg?w=696&ssl=1)
Obraz: Przegląd dziennikarstwa ColumbiaChatGPT w pełni lub częściowo bardziej się mylił niż miał rację, ale prawie zawsze był to pewny fakt.
Autorzy testu Tow Center udokumentowali wyniki wyszukiwania ChatGPT, w których błędnie przypisano cytat z listu do redaktora z Orlando Sentinel do opowiadania opublikowanego w Czas. W innym przykładzie, gdy zostaniesz poproszony o podanie źródła cytatu z pliku New York Timesa artykuł o zagrożonych wielorybach, zwrócił link do innej strony internetowej, która w całości splagiatowała tę historię.
„Trudno zająć się błędnym przypisaniem bez danych i metodologii, które zataiło Centrum Tow”, powiedział OpenAI Przegląd dziennikarstwa Columbia„a badanie stanowi nietypowy test naszego produktu.” Następnie firma obiecała „stale ulepszać wyniki wyszukiwania”.
