Startup AI Etched przedstawia układ ASIC Transformer zapewniający 20-krotne przyspieszenie w porównaniu z NVIDIA H100

Z trybu ukrytego wyłonił się dziś nowy startup, który ma zasilać następną generację generatywnej sztucznej inteligencji. Startup o nazwie Etched to firma produkująca układ scalony dostosowany do konkretnych zastosowań (ASIC) do przetwarzania „Transformatorów”. Transformator to architektura do projektowania modeli głębokiego uczenia się opracowana przez Google i w tej chwili stanowi siłę napędową modeli takich jak GPT-4o OpenAI w ChatGPT, Anthropic Claude, Google Gemini i rodzina Meta’s Llama. Firma Etched chciała stworzyć układ ASIC do przetwarzania wyłącznie modeli transformatorów i stworzyła układ o nazwie Sohu. Chip Sohu twierdzi, iż przewyższa najnowsze i najlepsze procesory NVIDIA o cały rząd wielkości. Podczas gdy konfiguracja serwerów z ośmioma klastrami procesorów graficznych NVIDIA H100 przesyła modele Llama-3 70B z szybkością 25 000 tokenów na sekundę, a najnowszy klaster procesorów graficznych z ośmioma B200 „Blackwell” przesyła 43 000 tokenów na sekundę, osiem klastrów Sohu jest w stanie wygenerować 500 000 tokenów na sekundę.

Dlaczego to jest ważne? Nie tylko przewyższa Hoppera 20x i Blackwell 10x, ale także obsługuje tak wiele tokenów na sekundę, iż umożliwia zupełnie nową flotę aplikacji AI wymagających wyników w czasie rzeczywistym. Architektura Sohu jest tak wydajna, iż ​​można wykorzystać 90% FLOPS, podczas gdy tradycyjne procesory graficzne mogą pochwalić się wskaźnikiem wykorzystania FLOP na poziomie 30-40%. Przekłada się to na nieefektywność i marnowanie energii, co Etched ma nadzieję rozwiązać, budując akcelerator dedykowany transformatorom mocy („T” w GPT) na masową skalę. Biorąc pod uwagę, iż opracowanie modelu pionierskiego kosztuje ponad miliard dolarów amerykańskich, a koszty sprzętu mierzone są w dziesiątkach miliardów dolarów amerykańskich, posiadanie akceleratora dedykowanego do obsługi konkretnej aplikacji może pomóc w szybszym rozwoju sztucznej inteligencji. Badacze sztucznej inteligencji często mówią, iż „wszystko, czego potrzebujesz”, to skala (co przypomina legendarny papier „wystarczy uwaga”) i Etched chce na tym bazować.

Jednakże w przyszłości pojawiają się pewne wątpliwości. Chociaż powszechnie uważa się, iż transformatory są „przyszłością” rozwoju sztucznej inteligencji, posiadanie układu ASIC rozwiązuje problem do czasu zmiany operacji. Przypomina to na przykład szał na temat wydobywania kryptowalut, który przyniósł kilka cykli kopaczy kryptowalut ASIC, którzy są teraz bezwartościowymi kawałkami piasku, tak jak górnicy Ethereum kopali monetę ETH na podstawie dowodu stakingu pracy, a teraz, gdy ETH przeszedł transformację na dowód stawki, górnicze układy ASIC są bezwartościowe.

Niemniej jednak Etched chce, aby przepis na sukces był prosty: uruchamiaj modele oparte na transformatorach na naszym układzie ASIC Sohu z ekosystemem systemu typu open source i skaluj je do ogromnych rozmiarów. Choć szczegółów nie ma zbyt wiele, wiemy, iż układ ASIC działa na 144 GB pamięci HBM3E, a chip jest wytwarzany w procesie technologicznym 4 nm firmy TSMC. Umożliwia tworzenie modeli AI ze 100 bilionami parametrów, czyli 8 razy większymi niż projekt GPT-4 obejmujący 1,8 biliona parametrów.