Używanie AGI będzie kosztować majątek? Testy na o3 na to wskazują

Czy używanie AGI będzie kosztować majątek? jeżeli drogą na osiągnięcie inteligencji równej ludzkiej będą modele „rozumujące”, takie jak o1 czy zapowiedziany przez OpenAI o3, to odpowiedź prawdopodobnie jest twierdząca. Bo choć modele te biją na głowę tradycyjne duże modele językowe, to postęp ten kosztuje. I to bardzo dużo.

Skąd takie wnioski? Model o3 przetestowano na benchmarku ARC-AGI, stworzonym po to, by badać, jak modele AI sobie radzą z problemami, które są łatwe dla ludzi, ale trudne dla systemów AI. Benchmark ten stworzył François Chollet, twórca Kerasa, szeroko znanej biblioteki do deep learning.

Testy na o3. Olbrzymi postęp

Do niedawna systemom AI było bardzo trudno rozwiązać choćby pojedyncze zadania z testów Cholleta. Wynik GPT3.5 – zero. Wynik GPT-4 – kilka lepiej. Dopiero GPT-4o osiągnęła wynik istotnie różny od zera. Ale i dla tego dość niedawno przecież udostępnionego modelu wynik wyniósł mało imponujące 5%.

Szybszy postęp pojawił się wraz z „rozumiejącymi” modelami, a w szczególności o1. choćby mały model o1-mini osiągnął 7,8%, a więc sporo więcej niż GPT-4o. Jego więksi bracia byli jeszcze lepsi – ostateczna wersja o1 uzyskała 25-32%, w zależności od tego, ile mocy obliczeniowych wykorzystywały, a więc – jak „głęboko” myślały.

Jeszcze lepiej poszło modelom o3, których OpenAI jeszcze nie udostępniła, ale ma to zrobić w najbliższych tygodniach. Najwyraźniej są one w tak zaawansowanej fazie rozwoju, iż startup Sama Altmana postanowił je przetestować na benchmarku Cholleta.

I wyniki są świetne. Standardowy o3 uzyskał niemal 76% a jego jeszcze „głębiej myślący” brat aż 88%. Ale cena była wysoka.

Używanie AGI będzie kosztować majątek?

No właśnie, o ile postęp w rozwiązywaniu testów był imponujący, to koszt rozwiązania jednego zadania, zwłaszcza dla modelu zużywającego więcej mocy obliczeniowych, jest wręcz porażający. Koszt rozwiązania jednego zadania to około 20 dolarów dla zwykłego modelu o3 i ponad 1000 dolarów dla modelu używającego dużych mocy obliczeniowych.

Przypomnijmy – za 20 dolarów GPT-4o wygeneruje nam jakieś 3000 stron tekstu. Tu tyle zapłacimy za rozwiązanie jednego zadania – i to tylko w tańszej opcji modelu.

Osiągi modeli w ARC – AGI w stosunku do kosztu rozwiązania jednego zadania. Źródło: ARC Prize

A przecież o3 nie jest AGI – inteligencją równą ludzkiej. Jak wyjaśnia Chollet, najnowszemu modelowi od OpenAI przecież nie udało się rozwiązać sporej części zadań trywialnych dla w miarę inteligentnego człowieka. Co więcej, autor Kerasa pracuje nad nowszą wersją swojego benchmarku, w której choćby najpotężniejsza wersja o3 nie osiągnie 30%.

Jak tłumaczy Chollet, „będziesz wiedzieć, iż nadeszła AGI, kiedy tworzenie zadań łatwych dla zwykłych ludzi a trudnych dla AI stanie się po prostu niemożliwe”.

Tylko ile będzie kosztować używanie takiej AI?