Nowy PLLuM został udostępniony – konsorcjum HIVE PL opublikowało najnowszą wersję polskiego rządowego dużego modelu językowego. Czego możemy się po niej spodziewać? Przede wszystkim jeszcze większej sprawności urzędniczej, bo dotrenowano go na Biuletynie Informacji Publicznej. Na szczęście to niejedyne ulepszenie – choć prawdopodobnie ważne w związku z planami wdrożenia PLLuM-a w aplikacji mObywatel.
Swego czasu – nieco ponad 1,5 roku temu – PLLuM był na ustach całej polskiej społeczności AI. Wydawało się, iż pomysł połączenia sił kilku polskich ośrodków naukowych daje szansę na stworzenie sztucznej inteligencji mówiącej dobrze po polsku i dostępnej dla wszystkich – państwa, obywateli i firm.
Z tymi marzeniami chyba się pożegnaliśmy – Ministerstwo Cyfryzacji, będące właścicielem modeli nie za bardzo spieszyło się z ich publikacją (i w międzyczasie ukazało się kilka wersji konkurencyjnego Bielika). Kiedy w końcu zostały upublicznione i udostępnione przez chatbota PLLuM, to cóż – ich polszczyzna nie zachwyciła, przynajmniej mnie. Co więcej, okazało się, iż modele wytrenowane na większej ilości danych – a więc z założenia lepsze – są dostępne tylko dla użytku niekomercyjnego. Stało się jasne, iż pierwszym wyborem dla polskich firm stanie się Bielik.
Nowy PLLuM udostępniony. Ale nie trafi do firm
Sytuacji nie zmienia nowy model PLLuM-12B-nc-250715. Podobno lepszy nie tylko w zadaniach urzędniczych, ale również lepiej formatujący odpowiedzi, odpowiadający precyzyjniej i lepiej rozumiejący polski kontekst kulturowy. Dodatkowo, lepiej zabezpieczony przez atakami typu prompt injection. To takie formułowanie zapytań (promptów), by skłonić model do obejścia nałożonych na niego ograniczeń – na przykład generowania szkodliwych lub nielegalnych treści.
Dla firm najważniejsze są jednak literki „nc” w nazwie modelu. Oznaczają one tyle, iż model nie może być używany do celów komercyjnych. To wynika z ograniczeń narzucanych przez prawo autorskie na użyte w trenowaniu modelu dane.
Na szczęście te ograniczenia nie dotyczą instytucji naukowych i one będą mogły skorzystać z nowego modelu. Dla nich plusem jest fakt, iż nowy model został dotrenowany na danych z Biblioteki Nauki.
Przede wszystkim jednak nowy model ma być modelem „urzędniczym”. Stąd to dotrenowanie na BIP-ie i zachwalanie przez NASK, lidera projektu HIVE AI, który przejął modele PLLuM, iż nowy model umie tworzyć oficjalne e-maile czy wnioski.
Ta urzędnicza fiksacja jest zrozumiała – PLLuM ma działać w wielu urzędach, w tym – w dużych polskich miastach. Bodaj najważniejszym jednak wdrożeniem będzie wprowadzenie PLLuM do mObywatela, gdzie będzie odpowiadał na pytania obywateli dotyczące załatwiania spraw urzędowych. Już teraz w jakimś zakresie pełni tę rolę chatbot PLLuM-a. jeżeli na niego wejdziecie, to pojawiają się propozycje promptów – na przykład „Ile wynosi czas zasiłku chorobowego?” czy o to ile kosztuje pozwolenie na budowę studni.
Jak zapewnia NASK, nowy model jest dostępny właśnie przez chatbota PLLuM. Mamy tam do wyboru nowszy model 12B albo starszy PLLuM 8x7B. Nowe modele dostępne są też – po wypełnieniu odpowiedniego formularza – na Hugging Face. Pamiętajmy jednak, iż niedozwolone jest użycie komercyjne. Plus do jego uruchomienia z sensowną prędkością będziemy prawdopodobnie potrzebować co najmniej karty Geforce RTX 5090. Przynajmniej do chwili, kiedy (jeśli?) ukażą się skwantyzowane wersje modelu.
PLLuM dla urzędu, Bielik dla reszty z nas?
Czy PLLuM ma jeszcze szansę na wyjście poza domenę urzędniczą? Jest już przecież wdrażany przez Comarch jako model podstawowy w systemie ChatERP. Zastosowanie „urzędniczego” modelu w systemie klasy ERP specjalnie nie dziwi. Użytkownikami takich systemów są zwykle osoby na dość „urzędniczych” stanowiskach w firmie: księgowi, kadrowe, pracownicy działu zamówień itp., a więc osoby dość dobrze obyte z urzędniczym słownictwem.
Jednak wielu podobnych wdrożeń prawdopodobnie się nie doczekamy. Komercyjne wersje PLLuM-a, jak pisałem powyżej, zostały wytrenowane na sporo mniejszych zbiorach danych, co pogarsza ich jakość. Konkurent PLLuM-a Bielik oferuje o wiele więcej elastyczności. Został on wydany na dość liberalnej licencji Apache 2.0 i ma kilka wersji, w tym takie, dzięki którym można na przykład zbudować systemy agentowe. A niedługo ma się ukazać „rozumująca” wersja Bielika.
Więc podziękujmy Fundacji Speakleash za Bielika. Bo wygląda na to, iż PLLuM – przynajmniej poza domeną urzędniczą i być może naukową – raczej nie spełni pokładanych w nim niegdyś nadziei.
Źródło zdjęcia: Joanna Kosinska/Unsplash
