Jaka jest nasza AI? Coraz potężniejsza, używająca coraz większych modeli, a jednocześnie coraz tańsza. Są i wady – AI staje się coraz bardziej znaczącym konsumentem energii. I, niestety, jest coraz mniej europejska, bo naszemu kontynentowi ucieka już nie tylko Ameryka, ale i goniące ją Chiny. Takie są wnioski z corocznego raportu AI Index przygotowywanego przez Instytut Humanocentrycznej AI (HAI) Uniwersytetu Stanforda.
Ostatni rok był fascynującym czasem w rozwoju AI. Spójrzmy na kilka trendów widocznych w obszernym 450-stronicowym raporcie AI Index.
AI Index — jesteśmy coraz bliżej ludzkiej inteligencji
Rok 2024 przyniósł olbrzymie postępy w umiejętnościach modeli generatywnej AI. W przypadku wielu benchmarków sztuczna inteligencja dogoniła, a czasem choćby przegoniła ludzką.
Już rok temu sztuczna inteligencja osiągała wyniki porównywalne z ludzkimi w wielu benchmarkach. w tej chwili spośród tych najczęściej używanych tylko benchmark MMMU mierzący wielomodalne (a więc obejmujące oprócz tekstu na przykład grafikę, wideo czy dźwięk) zrozumienie i rozumowanie wciąż pokazuje przewagę człowieka. A konkretniej: przeciętnego człowieka.
To jednak nie mówi nam pełnej prawdy o umiejętnościach (lub ich braku) sztucznej inteligencji. Istnieje klasa problemów bardzo prostych dla ludzi, ale wciąż skomplikowanych dla modeli AI – zostały one zebrane w benchmarku ARC AGI. Tu choćby najlepsze modele rozumujące są gorsze od człowieka. I dużo droższe.
Dodatkowo istotnym problemem jest to, iż modele AI wciąż nie są najlepsze w zadaniach wymagających szczególnie złożonego rozumowania. Jak piszą autorzy raportu, choćby najnowsze modele „rozumujące” przez cały czas „nie potrafią wiarygodnie rozwiązywać problemów, dla których można znaleźć poprawne rozwiązania przy użyciu rozumowania logicznego takich jak arytmetyka i planowanie, zwłaszcza w przypadku instancji większych niż te, na których były trenowane”.
Nie przegap najważniejszych trendów w technologiach!
Zarejestruj się, by otrzymywać nasz newsletter!
Duży może więcej, mały może taniej
O ile najlepsze osiągi w benchmarkach uzyskują duże modele (których liczba parametrów liczy się w setkach miliardów czy wręcz powyżej biliona) to bodaj czy nie większe postępy odnotowaliśmy w umiejętnościach małych modeli (po kilka, kilkanaście miliardów parametrów)?
Jak pisze HAI, jeszcze w 2022 roku najmniejszym modelem, który mógł się pochwalić wynikiem powyżej 60% w benchmarku MMLU (zrozumienia języka), był liczący 540 mln parametrów PaLM od Google’a. w tej chwili taki sam wynik uzyskuje Phi-3-mini liczący raptem 3,8 mld parametrów „maluch” od Microsoftu.
Mniejsze rozmiary oznaczają mniejsze koszty używania modelu. Jak widać z wykresu, koszt generowania treści na porównywalnym poziomie spadł w przypadku niektórych umiejętności o dwa rzędy wielkości w ciągu około dwóch lat i o przeszło jeden rząd wielkości w ciągu niecałego roku w przypadku innych.
Czy małe modele sztucznej inteligencji są przyszłością AI?
Skąd ta niezwykła efektywność małych modeli językowych? To proste – te największe modele zwykle są trenowane w dużej mierze na danych pobranych z internetu. O – iż to tak określę – „internetowej” jakości, czasem niezłej, ale często tragicznej. Te mniejsze, bardziej efektywne modele trenuje się inaczej – „destylując” wiedzę z większych modeli. W ten sposób uzyskuje się zestawy danych o wiele wyższej jakości, co pozwala uzyskać satysfakcjonujące rezultaty choćby w przypadku mniejszych modeli trenowanych na mniejszych zestawach danych.
Te sukcesy małych modeli kontrastują z kłopotami tych największych. Już w 2024 dostawaliśmy sygnały, iż zaczynają zawodzić „prawa skalowania” (ang. scaling laws), czyli zasada, iż wystarczy zbudować większy model i wytrenować go na większej ilości danych, by uzyskać jeszcze inteligentniejszą AI. Ze strony firm AI pojawiały się sugestie, iż te największe modele nie spełniają pokładanych w nich nadziei.
Do dziś nie doczekaliśmy się nowych wersji Gemini Ultra i Claude Opus. Z największych labów AI doczekaliśmy się jedynie Oriona od OpenAI, czyli GPT-4.5, który został ogłoszony bez fanfar i, jak się wydaje, nie będzie miał długiego życia w ekosystemie firmy. Paradygmat „większy model, więcej danych” się skończył, gwałtownie zastąpiony przez modele „rozumujące” i systemy agentowe.
Raport AI Index sugeruje, iż z danymi może być kłopot
To, iż systemy „rozumujące” i agentowe zastępują coraz większe tradycyjne LLM-y, karmione coraz większą ilością danych, niekoniecznie jest złą wiadomością. Już od pewnego czasu dostawaliśmy sygnały, iż pomalutku zaczyna brakować nowych danych do trenowania coraz to większych modeli. Firmy usiłowały się posiłkować – z różnymi efektami – danymi syntetycznymi, a więc wytworzonymi przez już istniejące modele AI.
Teraz pojawia się nowy problem – zasób stron dostępnych do trenowania AI kurczy się w szybkim tempie, bo właściciele stron zabraniają wykorzystywania swoich treści przez AI. Wśród domen internetowych objętych bazą danych C4 proporcja treści objętych pełnymi restrykcjami dla trenowania AI ujętymi w plikach robots.txt wzrosła z 12% w 2022 do 48% dwa lata później.
Jak odnotowuje HAI, ten spadek ilości dostępnych treści „ma konsekwencje dla różnorodności danych, dopasowania modeli i skalowalności, a także może prowadzić do nowych podejść do uczenia się z ograniczeniami danych”.
Europejska sztuczna inteligencja coraz bardziej w tyle
Kolejnym widocznym trendem w rozwoju AI jest słabość Europy — nie tylko wobec przodujących Stanów Zjednoczonych, ale również stopniowo redukujących swój dystans do USA Chin.
W 2024 roku liczba „znaczących” modeli AI stworzonych w Europie spadła do raptem 3, a więc najniższego poziomu od 2011 roku. W zeszłym roku w Stanach Zjednoczonych powstało 40 – to mniej niż rok wcześniej, ale 13 razy więcej niż w Europie. choćby Chiny, pomimo ograniczonego dostępu do akceleratorów AI, stworzyły 15 takich modeli.
Skąd ta słabość Europy? Powodów jest wiele – Europa tak naprawdę nie ma jednolitego rynku finansowego, a słabość tę widać szczególnie w przypadku finansowania venture capital, które jest najczęstszym źródłem kapitału dla amerykańskich startupów AI. Poza tym Europa to niemal 30 reżimów podatkowych i regulacyjnych, co bardzo utrudnia europejskim startupom osiągnięcie skali.
Jeśli do tego dodamy rozległe regulacje – zarówno w zakresie samego AI, jak i danych, które są potrzebne dla zbudowania modeli sztucznej inteligencji – to zaczynamy rozumieć, dlaczego niektórzy twórcy europejskich startupów zachęcają swoich naśladowców do… przeprowadzki za Atlantyk.
Rozwój sztucznej inteligencji w Europie i na świecie
Skutki tego są widoczne. O ile najlepsze modele chińskie z wolna doganiają amerykańskie – średni wynik najlepszych modeli amerykańskich na LMSYS Chatbot Arenie w wysokości 1385 punktów jest tylko o 23 punkty wyższy niż dla najlepszych modeli chińskich, to najlepszy model europejski Mistral Large zajmuje w rankingu 55. miejsce z 1251 punktami – a więc taką liczbą, jaką modele amerykańskie miały rok temu, a chińskie ponad pół roku temu.
Oczywiście rozwój sztucznej inteligencji to nie tylko topowe modele, ale i bogactwo ekosystemu. I tu Stany Zjednoczone biją Europę na głowę. W 2024 roku w Stanach Zjednoczonych założono 1073 startupy AI. Gospodarka amerykańska jest około 5-6 razy większa od największej gospodarki europejskiej, czyli Niemiec. jeżeli więc liczba nowych startupów miałaby być proporcjonalna do wielkości gospodarki, to w Niemczech powinno powstać około 200 startupów AI. Według raportu AI Index powstało trzykrotnie mniej, bo 67.
Europa chce rozwoju sztucznej inteligencji
Europa ma teraz ambicje nadgonienia dystansu, twierdząc, iż wyścig się dopiero zaczyna. Można mieć jednak wątpliwości, czy nasz kontynent jest dobrze wyposażony do tego wyścigu. choćby jeżeli powstaną planowane fabryki i gigafabryki AI, jeżeli Europa nauczy się korzystać ze swoich olbrzymich zasobów danych, to powstaje pytanie, czy obecny reżim regulacyjny nie jest nadmiernie restrykcyjny i czy pojawi się wola polityczna, by go zmienić.
Na pewno warunkiem niezbędnym jest, by UE uważnie czytała raport Draghiego i wdrażała jak najwięcej z jego zaleceń. Europa potrzebuje silnych rynków finansowych, które sfinansują rozwój startupów AI – na świecie to właśnie przede wszystkim firmy prywatne budują najważniejsze modele.
