Czy AI będzie tańsza? Takie pytanie można sobie zadać w reakcji na wiadomość, iż Nvidia przejmie technologię tworzenia chipów AI od startupu Groq i zapłaci za to okrągłą sumkę 20 mld dolarów. Czym jest Groq, na czym polegają zalety jego układu LPU i dlaczego Nvidia zainteresowała się Groq? No i w końcu czy wbudowanie efektywnej technologii Groqa w systemy Nvidii uczyni sztuczną inteligencję tańszą? Sprawdzam.
Takich transakcji już było kilka na rynku startupów AI. Duży gracz oferuje mniejszej firmie duże pieniądze za technologię, zatrudnia kluczowych pracowników, pozostawiając inwestorów startupu ze sporymi sumami, ale jednocześnie z firmą będącą już zasadniczo wydmuszką. Zwykle najbardziej poszkodowani są w tego typu transakcjach ci pracownicy, których przejmujący nie zatrudnił – stają oni często w obliczu widma utraty pracy.
Taki model pozwala Big Techom przejąć technologię i kluczowych pracowników startupów bez martwienia się zgodami antymonopolowymi, których uzyskanie zwykle trwa miesiącami, czasem latami.
Tak było na przykład w przypadku przejęcia przez Google Windsurfa, twórcę systemu AI do tworzenia oprogramowania. Tak było też, gdy Microsoft przejmował Inflection AI.
Czytaj także: AI zabierze nam pracę? Poprzednie rewolucje pracę tworzyły, ale…
Nvidia przejmuje technologię Groqa
Podobnie jest teraz. Choć Groq udostępnia swoją technologię LPU Nvidii bez wyłączności, to fakt, iż firma Jensena Huanga zatrudni kluczowych pracowników startupu de facto oznacza, iż technologia ta już w Groqu nie będzie rozwijana. Cały proces badawczo-rozwojowy przesunie się do Nvidii. Groqowi pozostanie tak naprawdę biznes chmurowy oparty na obecnej generacji chipów firmy.
Tylko czemu Nvidia, która, jeżeli wierzyć prezesowi Huangowi jest parę długości przed konkurencją, wydaje ogromną sumę na startup, który miał duże problemy z wprowadzeniem swojej technologii do centrów danych?
Czytaj także: Centra danych na orbicie – startup chwali się sukcesem
Co to jest Groq i jego LPU – gwiazdy wnioskowania
Groq to startup założony niemal dekadę temu przez grupę byłych inżynierów Google pod przewodnictwem Jonathana Rossa. Stworzyli oni akcelerator AI, który nazwali LPU (ang. language processing unit), który szczególnie efektywnie wykonywał wnioskowanie (ang. inference), czyli generowanie treści, kluczową czynność AI.
Dzięki tej specjalizacji we wnioskowaniu, LPU może osiągnąć olbrzymią szybkość generowania treści do jednego zapytania, rzędu setek tokenów na sekundę. To istotnie więcej niż układy konkurencji. Dodatkowo bardzo małe jest opóźnienie (latency) wnioskowania, czyli czas od zadania zapytania do pojawienia się pierwszego tokena odpowiedzi. Wynosi zaledwie ułamek sekundy.
Wymienione cechy sprawiają, iż układy Groqa wydają się wręcz idealne do najnowszych trendów w AI, gdy ciężar obliczeniowy przesuwa się z fazy trening na wnioskowanie. Po pierwsze dlatego, iż lawinowo rośnie liczba użytkowników rozwiązań AI. Po drugie dlatego, iż znaczna część obecnych modeli AI to tak zwane modele rozumujące, a więc takie, w które wbudowano mechanizm analizowania własnych odpowiedzi, tak by uzyskać ich jak najlepszą jakość. Modele takie generują istotnie więcej tokenów na odpowiedź niż ich nierozumujący poprzednicy.
Dodatkowo Groq chwali się efektywnością energetyczną swojego układu w przeliczeniu na token oraz tym, iż jego układy, w odróżnieniu od wielu innych akceleratorów AI mogą być chłodzone powietrzem a nie cieczą.
Czytaj także: Mamy GPT-5.2, odpowiedź OpenAI na Gemini 3 Pro
Jeśli jest tak dobrze z rozwojem sztucznej inteligencji…
Jeśli jest tak dobrze, to czemu LPU nie podbił rynku centrów danych i operuje głównie w infrastrukturze samego Groqa (ma on własne centra danych) oraz saudyjskiego Humaina?
Odpowiedzi jest kilka. Pierwsza jest taka sama, jak w przypadku innych producentów akceleratorów AI, którzy nie są Nvidią. Ta odpowiedź to CUDA, czyli zestaw bibliotek Nvidii do programowania jej chipów GPU. Zestaw używany przez inżynierów od lat i przez nich tak lubiany, iż nie za bardzo chcą przechodzić na rozwiązania konkurencji. Z tym samym problemem borykają się na przykład AMD i Google.
Drugi powód jest taki, iż LPU dysponuje tak naprawdę malutką pamięcią, raptem 230 MB. To sprawia, iż choćby przy relatywnie niewielkim modelu jakim jest Mixtral, do uruchomienia go potrzebny jest system składający się z 576 układów LPU. A jest to model, który z powodzeniem mieści się na pojedynczej karcie H100 Nvidii (poprzedniej generacji), a efektywnie można go uruchomić już na dwóch takich kartach.
A LPU wcale nie jest tanim układem. Za system składający się ze 100 tysięcy układów Groqa Humain zapłacił 1,5 mld dolarów, a więc jakieś 15 tysięcy dolarów od sztuki. prawdopodobnie z osprzętem itd., ale tanio nie jest! To co prawda mniej niż karty Nvidii, ale porównywalnie do GPU od AMD.
Dodatkowo, jak pokazała analiza firmy badawczej SemiAnalysis, przy zastosowaniach wielkoskalowych, gdzie ważniejsze są wolumeny generowania tokenów a nie opóźnienie (ang. latency), układ Nvidii H100 miał istotną przewagę kosztową nad LPU. Wprowadzenie architektury Blackwell prawdopodobnie tą przewagę tylko powiększyło.
Czytaj także: Skuteczny Nano Banana Pro. Jak wycisnąć jak najwięcej z modelu
Nowa technologia AI zmieni wszystko?
Musimy pamiętać o jednym. Obecne LPU Groqa jest dość leciwe, bo powstało w 2019 roku i jest zbudowane o równie leciwą technologię wytwarzania procesorów – tak zwaną litografię 14 nm. Groq już od pewnego czasu planuje przejście na proces technologiczny 4 nm, co prawdopodobnie istotnie poprawiłoby ekonomikę jego układów. A jeszcze nowsza generacja ma się pojawić niedługo później.
Czy to właśnie perspektywa nowych, wydajniejszych układów skłoniła Nvidię do inwestycji? Tak spekuluje Dylan Patel, główny analityk SemiAnalysis, który stwierdził, iż „Nvidia prawdopodobnie zobaczyła w nich coś, co ich przestraszyło„.
Nvidia przy tym wcale nie musiała zobaczyć wydajności kompletnie zostawiającej w tyle jej rozwiązania – wystarczyło, iż technologia Groqa byłaby na tyle efektywna, by… zachęcić do inwestycji konkurentów Nvidii, takich jak AMD, Broadcom, Google czy Amazon. Prawdopodobnie to ich właśnie, nie samego Groqa, Huang obawia się najbardziej.
Czytaj także: Jak Agenci AI zrewolucjonizują ecommerce? AI idzie na zakupy!
Czy sztuczna inteligencja / AI będzie tańsza?
Teraz powróćmy do kluczowego dla nas pytania. Czy dzięki przejęciu Groqa przez Nvidię AI stanie się tańsza? Niekoniecznie mam na myśli, iż tańsza dla nas – wielu z nas korzysta z niej zupełnie darmowa, tak jak doskonała większość użytkowników tej technologii na świecie – ale w tym znaczeniu, iż będzie tańsza dla społeczeństw i przedsiębiorstw.
Jeśli spojrzymy na tłustą, zwykle przekraczającą 70% marżę brutto Nvidii na sprzedaży, to możemy mieć poważne wątpliwości. Firma Jensena Huanga jak dotąd wykorzystywała swoją przewagę technologiczną głównie do budowania marży i zysków. Nie należy raczej sądzić, by kupno technologii od Groqa miało służyć czemukolwiek innemu.
Czytaj także: Sztuczne neurony są jak prawdziwe! Czy nasze mózgi czeka rewolucja technologiczna?
Nvidia czuje presję, Google rozmawia z Meta, a rozwój AI wciąż zaskakuje
Nvidia od pewnego czasu odczuwa coraz poważniejszą presję niż konkurenci. Coraz lepsze akceleratory AI opracowują AMD, Google czy Amazon. Ich technologia być może nie dogoniła, o czym zapewnia każdego chcącego słuchać prezes Huang, rozwiązań Nvidii, ale jest istotnie tańsza.
Nie bez powodu Google rozmawia, na przykład, z Metą na temat sprzedaży swoich TPU do centrów danych firmy Marka Zuckerberga. Dodatkowo, Meta już podobno pomaga Google’owi w integracji TPU z Pytorchem – popularną biblioteką do budowania modeli AI, rozwijaną właśnie przez Metę. A to może zachęcić część inżynierów rozwijających AI do sięgnięcia po układy Google.
Czytaj także: Klienci banków bez entuzjazmu wobec sztucznej inteligencji, AI!
Czy Groq sprawi, iż AI będzie tańsza?
Technologia Groqa oczywiście nie zastąpi układów Nvidii, ale ma pewne zalety – takie jak wspomniane niskie opóźnienie, ważne w systemach działających „w czasie rzeczywistym”, a więc na przykład w chatbotach głosowych, gdzie opóźnienia rzędu kilku sekund nie są zwykle akceptowalne.
Można się więc spodziewać, iż LPU zostaną wbudowane w rozwiązania Nvidii, stając się częścią „fabryk AI”. Taką rolę dla tej technologii zasugerował sam Jensen Huang.
Wartością dodaną dla Nvidii może być to, iż pogłębi to „technologiczną fosę” firmy. Kolejna technologia, którą nie będą dysponować konkurenci tylko zwiększy zależność klientów od firmy. Więc taniej raczej nie będzie (a w każdym razie nie dzięki tej transakcji). Będzie raczej „więcej za więcej”.
Źródło grafiki: Sztuczna inteligencja, model Nano Banana Pro
