ChatGPT dla wielu stał się synonimem sztucznej inteligencji (Artificial intelligence — AI). Nie ma się temu co dziwić — wraz ze swoją premierą, która miała miejsce 30 listopada 2022, ChatGPT na trwałe zmienił codzienną pracę w wielu obszarach, przebudowując gruntownie nasze podejście do AI.
Czym jednak jest ChatGPT i dlaczego nie jest to sztuczna inteligencja? Co kryje się za przyjaznym dla użytkownika interfejsem? Na te pytania odpowiemy w niniejszym artykule.
Czym jest ChatGPT?
Zacznijmy od samej definicji. Jak już napisałem, ChatGPT dla wielu z nas stanowi wcielenie sztucznej inteligencji. Nie jest to jednak poprawna definicja. ChaGPT to czatbot, czyli interfejs, który pozwala nam na prowadzenie rozmowy z dużym modelem językowym (Large Language Model — LLM), będącym w tym przypadku czymś, co określamy mianem „sztucznej inteligencji”.
ChatGPT został stworzony przez amerykańską firmę OpenAI. W oparciu o architekturę Transformer firma opracowała własny model językowy GPT (Generative Pretrained Transformer — GPT), który w wersjach GPT-3.5 oraz GPT-4 zasila produkt znany pod nazwą ChatGPT.
Modele językowe to narzędzia wykorzystywane w technologii przetwarzania języka naturalnego (NLP — Natural Language Processing). Z ich pomocą umożliwiamy użytkownikom korzystanie z aplikacji, które posiadają pewien poziom zrozumienia, interpretacji i generowania języka ludzkiego.
Duże modele językowe, takie jak GPT, są trenowane na ogromnych zbiorach danych tekstowych nazywanych korpusami językowymi. Dane takie są pozyskiwane np. ze stron internetowych, książek lub napisów filmowych. W procesie trenowania model uczy się rozpoznawać wzorce, konteksty i zależności między słowami, frazami i zdaniami na zasadzie prawdopodobieństwa. To pozwala na generowanie tekstu, który jest zrozumiały, spójny i w miarę możliwości dopasowany do kontekstu.
Dlaczego mówimy: „duże” modele językowe?. Ponieważ te modele mają ogromną liczbę parametrów (na przykład, GPT-3 ma 175 miliardów parametrów), które są dostosowywane w trakcie procesu trenowania. Co za tym idzie, skala danych, na których te modele są trenowane, jest ogromna — mówimy tutaj o terabajtach tekstu.
Jak działa ChatGPT?
Komunikacja z ChatGPT przypomina rozmowę. Wpisujemy prompty, czyli proste polecenia mające formę tekstową. Mogą one przybrać formę pytań, instrukcji, bądź innych wytycznych. ChatGPT działa starając się zrozumieć nasze prompty, i generować ciągi słów, które, jak przewiduje, najlepiej zaspokoją naszą intencję. Wszystko to oparte jest na danych, na których wcześniej został wytrenowany. Można to porównać do gry „dokończ zdanie”.
Na przykład, poprosiłem ChatGPT (w wersji GPT-4) o dokończenie zdania „Portal justgeek, to…”.
Otrzymałem następującą odpowiedź: „Portal JustGeek, to miejsce spotkań dla pasjonatów technologii, gier wideo i popkultury, gdzie użytkownicy mogą dzielić się swoją pasją, uczestniczyć w dyskusjach, a także zdobywać najnowsze informacje na temat swoich ulubionych tematów. Bogata zawartość, obejmująca recenzje, artykuły, przewodniki, a choćby ekskluzywne wywiady, sprawia, iż JustGeek jest cennym źródłem wiedzy dla wszystkich geeka.”.
Proces szkolenia dużego modelu językowego, takiego jak GPT-4, polega na sformułowaniu zadania treningowego, a następnie podaniu ogromnej ilości danych do przetworzenia w celu optymalizacji parametrów modelu. Dane są „tokenizowane”, co oznacza, iż są dzielone na mniejsze jednostki (kawałki słów), które model językowy może łatwiej analizować. Model językowy mapuje krótkie, często występujące słowa na pojedyncze tokeny, natomiast dłuższe lub bardziej złożone słowa często dzielą się na kilka tokenów. W przeciętnym przypadku tokeny mają około czterech znaków długości [1].
Ten ogromny zestaw danych był używany do stworzenia głębokiej sieci neuronowej, skomplikowanego, wielowarstwowego algorytmu zainspirowanego działaniem ludzkiego mózgu. Dzięki dużej ilości parametrów i mnóstwie danych treningowych GPT ma możliwość nauczenia się wzorców i zależności w danych tekstowych i zdobycia zdolności generowania tekstu do złudzenia przypominającego tekst napisany przez człowieka.
Aby dalej doskonalić zdolność ChatGPT i zapewnić mu wygodny interfejs, jak najbardziej zbliżony do realnej konwersacji z drugą osobą, uczymy go reagowania na różne prompty dzięki techniki zwanej wzmocnieniem uczenia z ludzką opinią (Reinforcement Learning with Human Feedback — RLHF). W praktyce ludzie stworzyli model nagród z danymi porównawczymi, dzięki czemu model mógł nauczyć się, która odpowiedź była najlepsza.
Sieć neuronowa GPT-3 posiada 175 miliardów parametrów lub zmiennych, które pozwalają mu na przyjęcie wejścia — naszego promptu — a następnie, na podstawie wartości i wag, które przypisuje różnym parametrom (oraz niewielkiej ilości losowości), wygenerowanie odpowiedzi, która jego zdaniem najlepiej pasuje do naszego żądania. OpenAI nie ujawniła, ile parametrów ma GPT-4, ale możemy przypuszczać, iż jest ich więcej niż 175 miliardów.
Więcej parametrów nie oznacza jednak automatycznie lepszej jakości. Niektóre z dodatkowych możliwości GPT-4 prawdopodobnie wynikają z posiadania większej liczby parametrów niż GPT-3, ale wiele z nich być może jest wynikiem usprawnień w sposobie, w jaki został wytrenowany.
Wady ChatGPT
ChatGPT, jak wszystko, ma swoje wady. Do najpoważniejszych z nich należy halucynowanie. Na czym to polega?
Pojęcie halucynacji odnosi się do sytuacji, w której model generuje informacje, które wydają się być na pierwszy rzut oka prawdziwe, ale które w rzeczywistości takie nie są. Czyli, mówiąc wprost: halucynacja występuje wtedy, kiedy ChatGPT nas okłamuje.
GPT-4 nie posiada świadomości ani rzeczywistej wiedzy o świecie. Ponadto ze względu na specyfikę procesu treningu modelu językowego, bardzo ciężko jest mu wskazać, czym różni się tak bardzo doceniana przez użytkowników kreatywność w udzielaniu odpowiedzi od podawania informacji błędnych i halucynowania. Wszystko, co model „wie”, pochodzi z danych, na których został wytrenowany na zasadzie prawdopodobieństwa, a te sięgają do września 2021.
Halucynacje modeli językowych mogą dodatkowo występować z różnych przyczyn, w tym z powodu błędów w procesie trenowania lub błędów w danych, na których model został wytrenowany.
Dlatego ekstremalnie ważne jest, aby weryfikować informacje, jakie podaje nam ChatGPT.
Podsumowanie
Czy ChatGPT zostanie przez nas zapamiętany jako ta aplikacja, która zapoczątkowała rewolucję AI? A może, wraz z gwałtownym wzrostem konkurencji, za kilka lat zapomnimy o nim, niczym o „Naszej Klasie” wśród mediów społecznościowych? To się dopiero okaże. Dziś jest on z całą pewnością narzędziem, z którym warto zapoznać się, zwłaszcza z jego płatną wersją rozbudowaną o pluginy.
Zdjęcie główne pochodzi z Unsplash.com.
