Świat wielkimi krokami odchodzi od użycia zwykłych „asystentów AI” w stronę bardziej złożonych systemów „agentów AI”. Teraz tego rodzaju systemy będą mogły tworzyć polskie firmy na polskich modelach AI. Bo nowe Bieliki, polskie modele językowe, to nowe możliwości tworzenia sztucznej inteligencji mówiącej po polsku.
Jak przewiduje IBM, w ciągu kilku lat będziemy mieli miliard aplikacji AI. Skąd tak wielka liczba? Stąd, iż nacisk przesunie się z chatbotów ogólnego przeznaczenia, takich jak ChatGPT, Gemini czy Claude, na specjalizowane narzędzia AI, które będą nam ułatwiały życie w raczej wąskich obszarach.
Te narzędzia, jeżeli wierzyć ostatnim trendom i niedawnemu raportowi Accenture, będą w dużej mierze oparte na systemach agentów AI. W tych systemach sztuczna inteligencja może używać zewnętrznych programów. Jeden agent może wykorzystywać efekty pracy uprzednio uruchomionego narzędzia.
Nowe Bieliki to nowe możliwości…
Jak dotąd polskie modele językowe, choć bardzo chwalone nie tylko za ich umiejętności posługiwania się językiem polskim, ale i za dobre osiągi, jeżeli chodzi o merytoryczną jakość ich odpowiedzi, nie za bardzo nadawały się do systemów agentowych. Dlaczego? Bo nie posiadały możliwości używania zewnętrznych narzędzi. Nie byłyby więc na przykład w stanie uruchomić zewnętrznego skryptu i skorzystać z danych wyjściowych tego skryptu.
Teraz to się zmienia. Twórcy Bielika zaprezentowali trzy nowe modele. To dwa zupełnie nowe „maluchy” – modele językowe o liczbie parametrów 1,5 miliarda i 4,5 miliardy, oraz ulepszona wersja znanego już Bielika z 11 mld parametrów. Te trzy modele mają teraz umiejętność korzystania z zewnętrznych narzędzi.
Tym razem twórcy Bielika postanowili sięgnąć po architekturę chińskich modeli. Bielik 1.5B 3.0 jest oparty na architekturze Qwena 2.5 1.5B a Bielik 4.5B 3.0 jest powiększoną poprzez depth-upscaling wersją Qwena 2.5 3B.
Jak tłumaczyli twórcy Bielika na wideokonferencji, mniejsze dwa modele są przeznaczone do wąskich zastosowań. Ze względu na rozmiar, nie mają one dużej wiedzy o świecie. Można je za to dostosować do potrzeb planowanego przez użytkowników systemu AI na przykład przez dotrenowanie (fine-tuning) na własnych danych. Albo też przy wykorzystaniu danych zewnętrznych przez tak zwanego RAG-a – efektywny system dodawania kontekstu do zapytania (promptu).
Lepsze odpowiedzi
Kolejną obok użycia narzędzi cechą nowych modeli, która sprawia, iż dobrze nadają się do systemów agentowych jest to, iż potrafią zwracać odpowiedzi w bardziej ustrukturyzowany sposób. Zwłaszcza w postaci plików JSON, formatu powszechnie w tej chwili używanego do wymiany informacji w internecie, zwłaszcza przez interfejsy programistyczne, czyli tak zwane API. Ta lepsza obsługa JSON-a jest szczególnie istotna w systemach agentów, w których odpowiedź jednego modelu (agenta) staje się zestawem danych wejściowych dla drugiego. Im lepiej ustrukturyzowane są takie dane, tym większa pewność, iż zostaną adekwatnie przetworzone.
Te dwa małe modele wyposażono w polski tokenizer – a więc narzędzie do zamiany ciągów znaków w reprezentację cyfrową użyteczną dla modeli językowych. To istotnie poprawia efektywność tych modeli. Ma to jednak swoją cenę – istotnie pogarsza to korzystanie z innych języków, dlatego też polskiego tokenizera nie znajdziemy w większych modelach, które co do zasady mają obsługiwać też inne języki, zwłaszcza europejskie.
… a mały może taniej
Podstawową zaletą dwóch maluchów jest przede wszystkim to, iż są… małe. Małe, a więc nie mające dużych wymagań sprzętowych. Najmniejszy z modeli uruchomimy bez trudu na dowolnej karcie graficznej Nvidii z 4 GB RAM. Większy z małych modeli na karcie z 12 GB RAM – i to w wersji pełnej, bez kwantyzacji, która co prawda zmniejsza wymagania modelu co do pamięci, ale nieco pogarsza jakość jego odpowiedzi.
Tego rodzaju wymagania sprzętowe nie są barierą dla praktycznie żadnej firmy. Na przykład dla firmy z internetową stroną firmową, na której klienci mogą zostawiać komentarze. Taka firma chciałaby monitorować, czy nie wpada za dużo komentarzy negatywnych, świadczących o tym, iż coś złego się dzieje w relacjach firmy z klientami. Stworzenie systemu opartego na małym Bieliku nie powinno być większym problemem. To tańsze i pewniejsze rozwiązanie, niż oddelegowanie do tego jednego z pracowników.
A jeżeli firma będzie jeszcze ambitniejsza i postanowi stworzyć system agentowy do automatyzacji niektórych czynności? Nowe Bieliki sprawią, iż będzie mogła sobie taki system postawić na własnej infrastrukturze, bez patrzenia z niepokojem na licznik kosztów na profilu firmy na stronie OpenAI…
Korzystanie z tak małych modeli ma oczywiście swoją cenę. Umiejętności posługiwania się językiem polskim są istotnie gorsze niż w przypadku większego Bielika czy też średniej wielkości modele zagraniczne. Jednak wśród modeli o porównywalnej wielkości są bezkonkurencyjne. Większy z nich również nieźle wypada w przypadku uruchamiania narzędzi zewnętrznych.
Maluchy Bielika są dostępne w serwisie Hugging Face.
Większy Bielik – rozumujący i z narzędziami
Dostaliśmy też większy model, ulepszoną wersję Bielika 11B. Nowy model, oznaczony jako wersja 2.5, jest kontynuatorem serii 2, ale z dwoma istotnymi ulepszeniami. Po pierwsze, tak jak maluchy z serii 3, potrafi wykorzystywać narzędzia, a po drugie – można w nim uruchomić tryb „rozumujący”.
Jak wskazywał Remigiusz Kinas, jeden z technologicznych „mózgów” stojących za Bielikiem, tryb rozumujący działa bardzo dobrze, na przykład w matematyce, a być może nawet… myśli za dużo. Zespół będzie więc musiał trochę popracować nad równowagą między jakością rozumowania i długością jego trwania.
Dodatkowo, podobnie jak „maluchy” w wersji 3.0, większy Bielik 2.5 uzyskał możliwość używania narzędzi zewnętrznych. prawdopodobnie znajdzie zastosowanie wszędzie tam, gdzie w systemie agentowym potrzebna jest szersza wiedza ogólna.
W przypadku większych Bielików ważna jest też znajomość języków obcych, szczególne europejskich. Twórcy modelu sygnalizowali ambicję, by nasz model AI podbijał rynki poza Polską, zwłaszcza te ościenne. Jak pokazuje raport techniczny dla tych modeli, model świetnie radzi sobie z językiem polskim i bardzo dobrze z niemieckim. Przyzwoicie jest też w pozostałych językach germańskich, zwłaszcza angielskim, w czeskim i w hiszpańskim.
Jak poinformowali twórcy Bielika, z nowego modelu już teraz możemy skorzystać w chatbocie Bielik.ai. Niestety, nie widać tam opcji, żeby skorzystać z trybu rozumującego.
Ci, którzy chcieliby wypróbować Bielika 11B 2.5 na własnym sprzęcie muszą się uzbroić w cierpliwość. Karta modelu w serwisie Hugging Face wskazuje, iż ukaże się on dopiero 6 czerwca.
Jakie będą kolejne Bieliki?
Twórcy Bielików planują już kolejne modele. Mamy dostać wersję 3 flagowego modelu 11B i kolejny model. Tym razem ma być multimodalny, a więc potrafiący obsługiwać nie tylko tekst, ale i na przykład obrazy. Jak duży będzie to model? Jak sugerowano podczas wtorkowej konferencji, będzie on istotnie większy niż 11 miliardów parametrów, ale mniejszy niż 400B – co wyklucza, iż byłby oparty na Llamie 405B.
Nowe modele powinny się ukazać, jak sugerował Sebastian Kondracki – spiritus movens Bielika, albo tuż przed wakacjami, albo po wakacjach, we wrześniu.
Zapraszamy do komentowania naszych artykułów. Zwłaszcza – w tak gorącym temacie, jak polski model językowy LLM.
Źródło grafiki: Bielik.ai
