Meta Platforms, właściciel Facebooka i Instagrama, planuje wydać w tym roku na infrastrukturę dla sztucznej inteligencji 60-65 mld dolarów. Jej główny naukowiec sugeruje, iż Meta już teraz szuka nowej AI — bo duże modele językowe bynajmniej nie są przyszłością sztucznej inteligencji.
Meta może wydać choćby 65 mld dolarów w rok
Jakie są plany Mety? Przede wszystkim potężny wydatek inwestycyjny. jeżeli firma „dowiezie” inwestycje na poziomie 65 mld dolarów, to będzie to skok wydatków kapitałowych o około 70% w stosunku do roku ubiegłego i przeszło dwukrotnie więcej niż w roku 2023.
Na co pójdą te olbrzymie pieniądze? Przede wszystkim na nowe centra danych AI. W roku bieżącym firma uruchomi 1 GW mocy obliczeniowych — to dość nietypowa miara, ale pokazuje, jak potężnym konsumentem energii elektrycznej jest sztuczna inteligencja. Dość powiedzieć, iż zapotrzebowanie na moc w Polsce w godzinach szczytowych — przynajmniej w styczniu — to około 25 GW. Tak więc ten 1 GW to mniej więcej tyle ile w szczycie zużywałoby 1,5 miliona Polaków.
I to prawdopodobnie nie koniec planów inwestycyjnych, bo centrum danych, którego zbudowanie Meta ogłosiła w zeszłym miesiącu, ma mieć w sumie ponad 2 GW mocy obliczeniowych.
Meta oczekuje, iż w wyniku tych inwestycji będzie miała do dyspozycji w grudniu 1,3 miliona kart GPU do obliczeń AI. To cztery rzędy wielkości więcej niż infrastruktura, którą dysponował projekt budowy polskiego modelu językowego PLLuM, który miał być trenowany na klastrze z 300 kartami Nvidii.
Pojawia się pytanie — po co firmie aż tak potężne moce obliczeniowe?
Meta AI dla mas, nowa Llama
Jeśli spojrzymy na wydatki inwestycyjne innych Big Techów, to te 65 mld dolarów mogą nie wydawać się aż tak wielką kwotą. W końcu Microsoft planuje wydać na inwestycje w centra danych aż 80 mld dolarów w roku finansowym kończącym się w czerwcu. Przy tej kwocie plany Zuckerberga wydają się niemal skromne.
Tyle tylko, iż między Microsoftem a Metą jest zasadnicza różnica. Microsoft to drugi największy na świecie dostawca rozwiązań chmurowych, z którego infrastruktury korzysta niemal pół miliona firm. Tymczasem Meta, jeżeli chodzi o chmurę, jest swoim jedynym klientem. A wydatki na infrastrukturę są tego samego rzędu wielkości.
Po części te wydatki są zrozumiałe, zwłaszcza biorąc pod uwagę ambicje Zuckerberga. Szef firmy chce by Meta AI stała się „przodującym” asystentem AI, z ponad 1 mld użytkowników. Swoją drogą to ciekawe, czy to możliwe bez wprowadzenia asystenta do Europy, którą dotąd omijał.
Dostaniemy również nowe modele Llama, tym razem z cyferką 4 – ponownie oczekiwanie Zuckerberga jest takie, iż będzie to model „przodujący” na świecie.
Meta szuka nowej AI?
Czy te wszystkie plany są wystarczającym usprawiedliwieniem dla planów inwestycyjnych Mety? Na pewno wejście Meta AI na duże rynki — na przykład rynek europejski — wymagałoby nowej infrastruktury. Ale nie wiem, czy aż tak potężnej.
Istnieje jeszcze jedna możliwość — Meta przygotowuje infrastrukturę pod prawdziwy przełom. Zresztą sam Zuckerberg zapowiada, iż rok 2025 będzie rokiem przełomowym dla sztucznej inteligencji.
Być może jakąś wskazówką są słowa innego „celebryty” Mety, jej głównego naukowca Yanna LeCuna.
Według LeCuna, w ciągu trzech do pięciu lat zobaczymy zupełnie nowy rodzaj sztucznej inteligencji, który zupełnie zastąpi duże modele językowe.
Jak wyjaśnia naukowiec Mety, obecne modele mają cztery podstawowe wady: nie rozumieją świata fizycznego, nie mają trwałej pamięci, nie rozumują i brakuje im umiejętności zaawansowanego planowania. Tak więc, by pójść ze sztuczną inteligencją znacząco do przodu, będziemy potrzebowali kolejnej rewolucji — i LeCun spodziewa się jej w następnych paru latach.
Jeszcze jakiś czas temu naukowiec Mety mówił, ze tego rodzaju rozwiązania mogą się pojawić za 10 lat. To, iż teraz mówi choćby o 3 latach, może sugerować, iż już pierwsze kroki zostały poczynione. I być może na następne kroki w tym kierunku Meta potrzebuje części z tych 65 miliardów dolarów. Być może Meta już teraz szuka nowej sztucznej inteligencji.
Źródło grafiki: Sztuczna inteligencja, model Dall-E 3
