Firma Red Hat ogłosiła zamiar przejęcia firmy Neural Magic, głównego dewelopera projektu vLLM o otwartym kodzie źródłowym.
Przejęcie jest postrzegane jako sposób dla Red Hat i jego macierzystego IBM na obniżenie bariery wejścia na rynek dla organizacji, które chcą prowadzić uczenie maszynowe obciążeniami bez konieczności wdrażania serwerów wyposażonych w procesory graficzne (GPU). Ta zależność tworzy barierę wejścia na rynek, utrudniając powszechne przyjęcie sztucznej inteligencji (AI) w różnych branżach i ograniczając jej potencjał do zrewolucjonizowania naszego sposobu życia i pracy.
Wpis GitHub dotyczący vLLM opisuje oprogramowanie jako: „Wysokoprzepustowe i oszczędzające pamięć narzędzie do wnioskowania i silnik obsługujący LLM [large language models].”
W dyskusji na blogu w związku z umową prezes i dyrektor generalny Red Hat Matt Hicks powiedział, iż firma Neural Magic opracowała sposób uruchamiania algorytmów uczenia maszynowego (ML) bez konieczności stosowania drogiego i często trudnego do zdobycia sprzętu serwerowego GPU.
Powiedział, iż założyciele Neural Magic chcieli umożliwić każdemu, niezależnie od posiadanych zasobów, wykorzystanie mocy sztucznej inteligencji. „Ich przełomowe podejście polegało na wykorzystaniu technik, takich jak przycinanie i kwantyzacja, w celu optymalizacji modeli uczenia maszynowego, zaczynając od umożliwienia wydajnego działania modeli uczenia maszynowego na łatwo dostępnych procesorach bez utraty wydajności” – napisał.
Hicks mówił o przejściu w stronę mniejszych, bardziej wyspecjalizowanych modeli sztucznej inteligencji, które mogą zapewniać wyjątkową wydajność przy większej wydajności. „Te modele są nie tylko bardziej wydajne w szkoleniu i wdrażaniu, ale oferują także znaczne korzyści w zakresie dostosowywania i możliwości adaptacji” – napisał.
Red Hat forsuje ideę sparsyfikacji, która według Hicksa „strategicznie usuwa niepotrzebne połączenia w modelu”. Podejście to, stwierdził, zmniejsza rozmiar i wymagania obliczeniowe modelu bez poświęcania dokładności i wydajności. Następnie stosuje się kwantyzację, aby jeszcze bardziej zmniejszyć rozmiar modelu, umożliwiając działanie modelu sztucznej inteligencji na platformach o zmniejszonych wymaganiach dotyczących pamięci.
„Wszystko to przekłada się na niższe koszty, szybsze wnioskowanie i możliwość uruchamiania obciążeń AI na szerszej gamie sprzętu” – dodał.
Zamiar Red Hata dotyczący przejęcia Neural Magic wpisuje się w strategię firmy-matki IBM, mającą na celu pomaganie klientom korporacyjnym w korzystaniu z modeli sztucznej inteligencji.
w niedawny wywiad dla Computer WeeklyKareem Yusuf, kierownik ds. zarządzania produktami w portfolio systemu IBM, powiedział, iż dostawca zidentyfikował szansę biznesową w zakresie wspierania klientów, którzy chcą „łatwo łączyć swoje dane w model wielkojęzykowy”. To, powiedział, pozwala im korzystać z dużych modeli językowych w sposób umożliwiający ochronę i kontrolę danych przedsiębiorstwa.
IBM opracował projekt o nazwie InstructLab, który zapewnia narzędzia do tworzenia i scalania zmian w LLM bez konieczności ponownego uczenia modelu od zera. Jest dostępny w społeczności open source wraz z IBM Granite, podstawowym modelem sztucznej inteligencji dla korporacyjnych zbiorów danych.
Dario Gil, starszy wiceprezes i dyrektor ds. badań IBM, powiedział: „W miarę jak nasi klienci chcą skalować sztuczną inteligencję w swoich środowiskach hybrydowych, zwirtualizowane, natywne dla chmury rozwiązania LLM zbudowane na otwartych fundamentach staną się standardem branżowym. Wiodąca pozycja firmy Red Hat w dziedzinie systemu typu open source w połączeniu z wyborem wydajnych modeli typu open source, takich jak oferta IBM Granite i Neural Magic do skalowania sztucznej inteligencji na różnych platformach, zapewnia firmom kontrolę i elastyczność, których potrzebują do wdrażania sztucznej inteligencji w całym przedsiębiorstwie.
