Wykrywanie treści napisanych przez ChatGPT lub inne AI. Co wiemy o detektorach AI? W dzisiejszych czasach, gdy technologia AI (sztucznej inteligencji) coraz częściej wkracza w nasze życie codzienne, pojawia się potrzeba rozróżnienia treści generowanej przez ludzi od tej tworzonej przez ChatGTP lub inne narzędzia AI. Detektory treści AI, takie jak GPTZero, ZeroGPT, czy klasyfikator tekstów OpenAI (obecnie niedostępny, gdyż OpenAI stwierdziło, iż nie będzie robić sobie wstydu), mają za zadanie wykrywać, czy dany tekst został napisany przez człowieka, czy przez model języka AI, takiego jak ChatGPT. Jednak, jak pokazuje świetny artykuł opublikowany na łamach Ars Technica, te narzędzia dalekie są od doskonałości, generując odpowiedzi fałszywie pozytywne, co rodzi poważne pytanie o ich wiarygodność.
Dlaczego otrzymujemy odpowiedzi fałszywie pozytywne?
Podstawowym wyzwaniem w działaniu detektorów AI jest różnorodność i złożoność ludzkiego języka. AI, takie jak ChatGPT, są trenowane na ogromnych zbiorach danych, które obejmują miliony przykładów tekstów, zarówno pisanych przez ludzi, jak i generowanych przez maszyny. W teorii, modele te korzystają z metryk takich jak „perplexity” (miara, jak bardzo tekst odbiega od tego, czego model się nauczył) i „burstiness” (zmienność długości i struktury zdań), aby ocenić, czy tekst jest bardziej prawdopodobnie napisany przez człowieka czy generowany przez AI.
Jednak ludzka twórczość pisemna bywa równie przewidywalna lub formalna, co może prowadzić do niskich wyników perpleksji (perplexity), sugerując błędnie, iż tekst jest generowany przez AI. Takie sytuacje miały miejsce na przykład, gdy detektory oznaczały Konstytucję USA czy fragmenty Biblii jako generowane przez AI, co jasno wskazuje na ograniczenia tych narzędzi.
Konstytucja USA – wynik z ZeroGPTOgraniczenia i wyzwania detektorów AI
Detektory AI opierają się na założeniach, które nie zawsze odpowiadają rzeczywistości. Ludzie mogą pisać w sposób formalny i używać powszechnych zwrotów, co sprawia, iż ich teksty są podobne do tych generowanych przez AI. Dodatkowo, jak pokazują badania, AI coraz lepiej naśladuje ludzką zmienność i kreatywność w pisaniu, co jeszcze bardziej utrudnia ich rozróżnienie.
Oprócz wyników fałszywie pozytywnych istnieje również problem z różnicami kulturowymi i językowymi. Badania wykazały, iż detektory AI mogą być uprzedzone wobec tekstów pisanych przez osoby, dla których angielski nie jest językiem ojczystym, generując wysokie wskaźniki fałszywych pozytywów. Przy okazji języka polskiego widać to aż zbyt dobitnie. Większość polskiej konstytucji jest uznawana przez ZeroGPT za napisaną przez AI.
Wykrywanie treści napisanych przez ChatGPT lub AI – Polska konstytucjaPrzyszłość detektorów treści AI
Jakże znamienny jest fakt, iż OpenAI usunęło swój wykrywacz treści napisanych przez ChatGPT, gdyż był tak kiepski, iż nie potrafił poprawnie wykryć treści napisanych przez ten system. W obliczu tych wyzwań, niektórzy edukatorzy, jak Profesor Ethan Mollick, proponują akceptację narzędzi AI i po prostu wykorzystanie ich do wspierania nauki, zamiast polegania na detektorach AI, które są obarczone wysokim ryzykiem błędu. Edukacja i zrozumienie stopnia zaangażowania AI w proces edukacyjny mogą być najważniejsze dla skutecznego wykorzystania tych narzędzi w przyszłości.
Wykrywanie treści napisanych przez ChatGPT lub inne AI – Podsumowanie
Choć idea detektorów treści AI wydaje się obiecująca, praktyka pokazuje, iż narzędzia te są dalekie od niezawodności. Powiedzmy to sobie wprost. Jedyny sposób, aby wykryć treści stworzone przez AI to czujne oko. Nie ma w tej chwili innej, automatycznej, drogi.
Fałszywe pozytywy, ograniczenia metod detekcji, a także uprzedzenia kulturowe i językowe stanowią poważne wyzwania. W erze rosnącej obecności AI w edukacji i twórczości, najważniejsze staje się zrozumienie i akceptacja ograniczeń tych technologii, a także promowanie odpowiedzialnego i świadomego ich wykorzystania. O detektorach na razie możemy zapomnieć.
