Firma Alibaba opracowała przełomową metodę trenowania modeli językowych, która pozwala im symulować proces wyszukiwania informacji bez potrzeby korzystania z rzeczywistych wyszukiwarek. Technologia ZeroSearch nie tylko znacząco obniża koszty, ale także zwiększa kontrolę nad jakością procesu uczenia się AI.
Symulowane wyszukiwanie zamiast tysięcy zapytań
Zespół badawczy Alibaba Group przedstawił innowacyjne podejście do trenowania dużych modeli językowych (LLM), które może diametralnie zmienić sposób, w jaki AI uczy się przeszukiwać internet. Zamiast opierać się na rzeczywistych wyszukiwarkach i ponosić wysokie koszty API – często idące w dziesiątki tysięcy dolarów – nowa metoda pozwala modelom samodzielnie generować dokumenty odpowiadające zapytaniom użytkownika.
Technologia nosi nazwę ZeroSearch i bazuje na podejściu reinforcement learning, które wcześniej wymagało wielokrotnych zapytań do zewnętrznych wyszukiwarek. Jak wyjaśniają autorzy publikacji na platformie arXiv, „ZeroSearch motywuje modele do rozwijania zdolności wyszukiwania bez interakcji z rzeczywistymi wyszukiwarkami”.
Oszczędność i jakość – bez kompromisów
Kluczowym elementem ZeroSearch jest wstępna faza fine-tuningu, w której model uczy się generować zarówno trafne, jak i nieadekwatne dokumenty na podstawie zapytania. Następnie w trakcie uczenia przez wzmocnienie zastosowano tzw. curriculum-based rollout strategy, stopniowo obniżającą jakość dokumentów, by lepiej odwzorować różnorodność wyników prawdziwych wyszukiwarek.
Co istotne, wyniki testów przeprowadzonych na siedmiu zestawach danych pokazują, iż systemy trenowane z wykorzystaniem ZeroSearch osiągają efektywność równą lub wyższą od modeli uczonych z użyciem Google Search. Przykładowo, moduł oparty na 7 miliardach parametrów dorównał wyszukiwarce Google, a wariant 14-miliardowy ją przewyższył.
Różnice w kosztach są równie imponujące. Według szacunków zespołu, przetworzenie 64 tys. zapytań za pośrednictwem SerpAPI Google kosztowałoby 586,70 dolarów, podczas gdy symulacja na czterech GPU Nvidia A100 – zaledwie 70,80 dolarów. To oszczędność rzędu 88%.
Zmiana paradygmatu w trenowaniu AI
Nowe podejście może mieć długofalowe konsekwencje dla branży sztucznej inteligencji. Dzięki symulacji wyszukiwania, firmy nie są już zależne od zewnętrznych dostawców usług, co ograniczało nie tylko skalę, ale i kontrolę nad jakością danych trafiających do modeli.
ZeroSearch może szczególnie pomóc mniejszym firmom i startupom, które do tej pory nie mogły sobie pozwolić na setki tysięcy zapytań API. Teraz za ułamek tej ceny zyskują dostęp do technologii, która dorównuje produktom gigantów rynku.
Warto zaznaczyć, iż rozwiązanie Alibaba jest kompatybilne z wieloma rodzinami modeli, w tym Qwen-2.5 oraz LLaMA-3.2, zarówno w wersjach podstawowych, jak i dostrojonych do instrukcji. Kody źródłowe, zestawy danych i modele pretrenowane udostępniono społeczności na GitHubie oraz Hugging Face.
W stronę niezależnej sztucznej inteligencji
Z punktu widzenia architektury systemów AI, ZeroSearch to krok w stronę większej autonomii modeli językowych. Tradycyjnie modele były „ślepe” bez dostępu do zewnętrznych źródeł – teraz uczą się generować kontekst samodzielnie.
W obliczu rosnących kosztów, presji na prywatność i zależności od infrastruktury technologicznej największych graczy, symulowane wyszukiwanie może okazać się kluczowym elementem nowej generacji AI – bardziej dostępnej, przystępnej kosztowo i niezależnej.
Jak ironicznie zauważają komentatorzy branżowi, ucząc AI wyszukiwać bez wyszukiwarek, Alibaba mogła stworzyć technologię, która sprawi, iż tradycyjne wyszukiwarki staną się zbędne – przynajmniej w procesie trenowania przyszłych systemów sztucznej inteligencji.
