Jak wykryć błędy w LLM’ie? OpenAI ma na to sposób

Zdjęcie: Sztuczna inteligencja. robot, praca, AI

OpenAI wprowadza innowacyjny model językowy, który obiecuje rewolucjonizować sposób, w jaki ludzcy trenerzy AI identyfikują i korygują błędy. Nowy model, nazwany CriticGPT, oparty na technologii GPT-4, ma za zadanie wspierać procesy szkolenia modeli językowych, takich jak popularny ChatGPT, w wykrywaniu nietrafnych odpowiedzi.

Modele językowe, takie jak GPT-4, zyskują na zdolnościach, które w wielu przypadkach przewyższają możliwości ludzkiego umysłu, co utrudnia trenerom AI precyzyjne ocenianie generowanych przez nie odpowiedzi. CriticGPT został stworzony jako odpowiedź na tę wyzwanie, oferując wsparcie w identyfikacji błędów oraz poprawie jakości odpowiedzi generowanych przez AI.

Według przedstawicieli OpenAI, CriticGPT przeszedł pomyślnie testy, które pokazały znaczną poprawę skuteczności oceny kodu ChatGPT. “Odkryliśmy, iż osoby korzystające z pomocy CriticGPT w ocenianiu kodu osiągają choćby o 60 procent lepsze rezultaty niż te, które polegają tylko na ludzkiej ocenie” – podkreśla zespół badawczy.

Proces szkolenia CriticGPT opiera się na metodzie Reinforcement Learning from Human Feedback (RLHF), gdzie ludzcy trenerzy interaktywnie współpracują z modelem, aby wskazać preferowane odpowiedzi na różnorodne pytania. Ten dialog pozwala CriticGPT na ciągłe doskonalenie umiejętności w identyfikacji poprawnych i niepoprawnych odpowiedzi.

Superlab OpenAI, przy wsparciu technologicznym Microsoftu, szczegółowo opisał metodologię działania CriticGPT w artykule opublikowanym w czwartek, zatytułowanym “LLM Critics Help Catch LLM Bugs”. Artykuł analizuje skuteczność modelu w wykrywaniu błędów oraz jego zdolność do minimalizowania zjawiska halucynacji, czyli generowania nieprawdziwych informacji.

Jednakże, jak zauważają eksperci, przez cały czas istnieje wyzwanie w znalezieniu optymalnego balansu między minimalizacją halucynacji a skutecznym wykrywaniem błędów w systemie RLHF. “Nie pozostało jasne, jak osiągnąć najlepszy kompromis pomiędzy tymi czynnikami dla ogólnego systemu, który wykorzystuje krytykę w celu ulepszenia działania modeli językowych” – przyznano w artykule.

OpenAI pozostaje na czele innowacji w dziedzinie sztucznej inteligencji, nieustannie poszukując rozwiązań, które mogą polepszyć zarówno efektywność, jak i wiarygodność generowanych przez AI treści. Wprowadzenie CriticGPT stanowi kolejny krok w kierunku stworzenia bardziej zaawansowanych i precyzyjnych modeli językowych, które mogą służyć jako nieocenione narzędzie w różnorodnych zastosowaniach technologicznych.