Red Hat zaprezentował AI Inference Server – otwartą platformę, która umożliwia szybkie, wydajne i elastyczne wnioskowanie generatywnej AI na dowolnym modelu i akceleratorze w chmurze hybrydowej.
Podczas Red Hat Summit w Bostonie firma Red Hat ogłosiła premierę Red Hat AI Inference Server – nowego rozwiązania klasy korporacyjnej, które ma zrewolucjonizować wdrażanie generatywnej sztucznej inteligencji w środowiskach chmury hybrydowej. Platforma ta pozwala uruchamiać dowolne modele AI na dowolnych akceleratorach – zarówno w chmurze, jak i w infrastrukturze lokalnej – oferując szybkość, wydajność i niższe koszty operacyjne.
Red Hat AI Inference Server bazuje na projekcie vLLM, rozwijanym przez społeczność open source, oraz technologiach Neural Magic, które umożliwiają kompresję i optymalizację modeli. Dzięki temu rozwiązaniu firmy mogą znacząco przyspieszyć proces wnioskowania AI, ograniczyć zużycie zasobów i swobodnie wybierać środowisko wdrożeniowe. Serwer jest dostępny jako samodzielna usługa lub jako komponent platform Red Hat Enterprise Linux AI (RHEL AI) i Red Hat OpenShift AI, co ułatwia skalowanie wdrożeń AI w środowiskach produkcyjnych.
Wnioskowanie AI, czyli etap generowania odpowiedzi przez wytrenowane modele, staje się coraz większym wyzwaniem w miarę wzrostu skali i złożoności wdrożeń generatywnej AI. Red Hat AI Inference Server odpowiada na te potrzeby, oferując narzędzia do kompresji modeli LLM, zoptymalizowane repozytorium modeli (dostępne przez Hugging Face) oraz wsparcie dla szerokiej gamy modeli, takich jak DeepSeek, Gemma, Llama, Mistral, Phi i innych. Platforma wspiera także środowiska zewnętrzne, umożliwiając wdrożenia nie tylko na Red Hat Linux i Kubernetes, ale również na innych systemach zgodnych z polityką wsparcia firmy.
Red Hat podkreśla, iż przyszłość AI powinna być pozbawiona barier infrastrukturalnych – firmy powinny mieć możliwość wdrażania dowolnych modeli na dowolnych akceleratorach i w dowolnej chmurze, bez ograniczeń narzucanych przez silosy technologiczne. Celem jest stworzenie otwartego standardu dla wnioskowania AI, który – podobnie jak Linux w świecie IT – stanie się fundamentem nowoczesnych rozwiązań generatywnej sztucznej inteligencji.
Nowa platforma Red Hat spotkała się z pozytywnym odbiorem partnerów technologicznych. Przedstawiciele AMD, Cisco, Intela i NVIDIA podkreślili, iż AI Inference Server umożliwia efektywne, skalowalne wdrożenia AI w środowiskach korporacyjnych, zapewniając wysoką wydajność i elastyczność. Dzięki współpracy z liderami branży Red Hat buduje dynamiczny ekosystem wokół vLLM i projektów takich jak llm-d, wspierając rozwój rozproszonych wdrożeń AI na dużą skalę.
