Thinking Machines Lab – firma założona przez byłą dyrektor technologiczną OpenAI Mirę Murati – opublikowała pierwsze wyniki badań nad eliminacją nieprzewidywalności w dużych modelach językowych. Startup, który w lipcu zamknął rekordową rundę seed o wartości 2 mld dolarów przy wycenie 12 mld dolarów, ogłosił przełom w kwestii powtarzalności odpowiedzi AI.
W artykule badawczym „Defeating Nondeterminism in LLM Inference” autor Horace He wyjaśnia, iż źródłem losowości w odpowiedziach modeli nie jest sam algorytm, ale sposób, w jaki procesory graficzne NVIDIA wykonują obliczenia. Równoległa orkiestracja tysięcy mikroskopijnych operacji na GPU prowadzi do subtelnych różnic numerycznych – a te mogą skutkować różnymi odpowiedziami na identyczny prompt.
Czym jest losowość, powtarzalność i spójność?
- Losowość w tym kontekście oznacza, iż model może udzielić różnych odpowiedzi na to samo pytanie, mimo iż dane wejściowe są identyczne.
- Powtarzalność to możliwość uzyskania dokładnie tej samej odpowiedzi przy wielokrotnym powtarzaniu tego samego zapytania.
- Spójność odnosi się do logicznej zgodności i wewnętrznej poprawności odpowiedzi w kontekście zadanej instrukcji lub wcześniejszych danych.
Badacze podali przykład: tysiąckrotne powtórzenie tego samego zapytania w ChatGPT bez kontroli nad obliczeniami dało aż 80 różnych wariantów odpowiedzi. Nowa metoda, nazwana „batch-invariant operations”, eliminuje ten efekt poprzez uporządkowanie kolejności operacji matematycznych. W efekcie wszystkie tysiąc uruchomień dało identyczny wynik. Ceną za przewidywalność jest spadek wydajności o 20–50%, co – zdaniem zespołu – pozostaje akceptowalne w zastosowaniach biznesowych i badawczych.
Konsekwencje mogą być znaczące. Dla przedsiębiorstw oznacza to możliwość wdrażania AI w procesach wymagających stabilnych rezultatów, np. w finansach czy medycynie. W świecie nauki pozwala to na pełną reprodukowalność eksperymentów, co może przyspieszyć tempo badań. Szczególne znaczenie rozwiązanie może mieć w uczeniu przez wzmacnianie (RL), gdzie niestabilność modeli często zakłócała sygnały nagród i utrudniała trening.
Murati zapowiada, iż technologia zostanie wykorzystana w pierwszym komercyjnym produkcie Thinking Machines, skierowanym do badaczy i startupów. Jednocześnie firma uruchomiła blog badawczy „Connectionism”, gdzie planuje publikować kolejne wyniki i otwarty kod, podkreślając misję budowania bardziej niezawodnej i przejrzystej sztucznej inteligencji.
