Pojawił się mały model językowy od OpenAI. GPT-4o mini jest mniejszym bratem udostępnionego niedawno modelu GPT-4o i choć umie nieco mniej, to ma dwie podstawowe zalety. Jest dużo szybszy i dużo tańszy. A więc doskonale nada się do systemów, które przetwarzają znaczne ilości danych wejściowych. Na przykład agentów.
Jak dobry jest GPT-4o mini? Jak widać na poniższym wykresie, gorszy od swojego większego krewniaka, choć w niektórych kategoriach przegrywa o włos. Ma za to przewagę nad małymi modelami konkurencji: Google Gemini Flash i Claude Haiku od firmy Anthropic.
Model GPT-4o mini zastąpi w ChatGPT starszy model GPT-3.5, nie będzie to więc zmiana istotnie odczuwalna dla użytkowników, zwłaszcza tych korzystających z usługi OpenAI za darmo. GPT-3.5 był modelem włączanym wyłącznie wtedy, gdy infrastruktura obsługująca GPT-4o, podstawowy model ChatGPT, była przeciążona.
Jakie zastosowania ma GPT-4o mini?
O wiele bardziej interesujące są zastosowania nowego modelu do budowania systemów sztucznej inteligencji, zwłaszcza tych autonomicznych czy półautonomicznych, czyli tak zwanych agentów. W systemach takich zwykle odpowiedź na jeden prompt staje się automatycznie częścią kolejnego promptu, więc systemy takie operują na dużych ilościach tekstu, zwłaszcza wejściowego.
Chodzi o to, żeby chatbot pamiętał całą dotychczasową rozmowę z użytkownikiem, a nie traktował każde zapytanie jako osobny, pozbawiony kontekstu prompt. Dzięki takiemu podejściu można poprosić ChatGPT: „rozwiń pomysł, który opisałeś w punkcie drugim”, a on będzie w stanie odpowiedzieć.
I tu ujawnia się przewaga modelu GPT-4o mini – dane wejściowe (w przeliczeniu na tak zwane tokeny) są przeszło 30x tańsze, a dane wyjściowe 25x tańsze niż dla GPT-4o. Wygląda więc na to, iż OpenAI, dostrzegając potencjał – również biznesowy – agentów, postanowił powalczyć ceną o serca rozwijających tę technologię deweloperów.
Kolejną zaletą nowego małego modelu od OpenAI jest to, iż jest o wiele szybszy od modeli wcześniejszych, co znacznie przyspieszy działanie opartych na nim agentów.
O systemach opartych na agentach pisaliśmy już w kontekście nowego produktu oferowanego przez startup Bartka Pucka.
Należy pamiętać, iż systemy takie są często wysoce wyspecjalizowane, więc nie potrzebują wiedzy całego internetu ze wszystkich dziedzin. Nie potrzebna jest im wiedza zgromadzona w GPT-4o, wystarczy im umiejętność rozumowania oferowana przez mniejszy model.
A firmom AI udaje się budować coraz lepsze małe modele, trenowane na wysokiej jakości danych syntetycznych, a więc generowanych przez większe modele. Jak żartobliwie odnotował Andrej Karpathy, jeden z guru generatywnej AI, wyścig na wielkość modeli zmienił teraz kierunek – idziemy ku jak najmniejszym.
Źródło grafiki: Sztuczna inteligencja, model Dall-E 3
.png?locale=en)
