OVHcloud zaprezentowało nowy element swojej strategii AI, ogłaszając wybór SambaNova jako technologicznej podstawy dla ultraszybkich usług inferencyjnych AI Endpoints. Partnerstwo ma zapewnić minimalne opóźnienia, wysoką dostępność i wydajność na poziomie, którego wymagają najbardziej krytyczne zastosowania.
OVHcloud sięga po SambaNova, aby przyspieszyć inferencję AI
OVHcloud poinformowało, iż wybrało SambaNova, firmę specjalizującą się w infrastrukturze nowej generacji, jako fundament rozwoju swojej oferty inferencyjnej. Operator chmurowy podkreśla, iż przedsiębiorstwa pracujące z modelami generatywnymi muszą dziś mierzyć się z rosnącymi ograniczeniami. Kolejne wywołania modeli LLM powodują narastające opóźnienia, aplikacje wymagają natychmiastowych odpowiedzi, a procesy operacyjne muszą radzić sobie z milionami zapytań przy zachowaniu stabilnych parametrów czasowych.
Nowa kooperacja pozwala rozszerzyć portfolio OVHcloud o rozwiązania dla scenariuszy, w których każda milisekunda ma znaczenie. Dotyczy to sektorów takich jak finansowe systemy transakcyjne, cyberbezpieczeństwo, automatyzacja przemysłowa, logistyka czy monitorowanie. Jak zaznacza firma, zbyt wolna inferencja może skutkować utratą okazji biznesowych, brakiem pełnej widoczności w systemach lub pogorszeniem doświadczeń użytkownika.
Na potrzeby tych zastosowań OVHcloud uruchamia AI Endpoints napędzane platformą SambaStack. Rozwiązanie ma zapewnić wydajność produkcyjną, bardzo szybkie przetwarzanie i wysoką efektywność energetyczną. Dodatkowo operator gwarantuje dostępność na poziomie 99,8%, co stawia usługę w segmencie rozwiązań klasy enterprise.
Nowe możliwości dla aplikacji czasu rzeczywistego i operacji masowych
SambaNova dostarczy infrastrukturę inferencyjną dla dwóch klas usług. Pierwsza będzie dedykowana zapytaniom w czasie rzeczywistym z gwarantowaną szybkością odpowiedzi. Druga obejmie tryb batch przeznaczony do obsługi ogromnych wolumenów zapytań wtedy, gdy natychmiastowa odpowiedź nie jest konieczna. Użytkownicy skorzystają na skróconym czasie do pierwszego bajtu oraz czasie generacji poszczególnych tokenów.
Nowe węzły inferencyjne nie zastąpią obecnych sesji GPU w OVHcloud, ale je uzupełnią. Ich wydajność opiera się na reprogramowalnych jednostkach RDU, czyli układach projektowanych specjalnie pod potrzeby AI. Dzięki temu platforma SambaNova osiąga wysoką liczbę generowanych tokenów przy jednoczesnej oszczędności energii i możliwości zagęszczania infrastruktury w centrach danych.
System będzie obsługiwać największe modele open source zoptymalizowane pod wymagające zadania agentowe oraz zastosowania wymagające niskich opóźnień. Dotyczy to m.in. agentów AI, tłumaczeń na żywo, komunikacji agent-agent, jak również trybów asynchronicznych typu crawling, generowanie baz wektorowych czy odświeżanie dużych zbiorów danych.
„Wybór SambaNova był świadomą decyzją, aby dostarczyć naszym klientom niedoścignione możliwości inferencyjne. Ich technologia zapewnia moc i efektywność, jakiej wymagają najbardziej obciążające zadania AI. To partnerstwo umożliwia nam uruchamianie większej liczby modeli na mniejszej przestrzeni, co przekłada się na lepsze wykorzystanie zasobów” – komentuje Octave Klaba, założyciel i CEO OVHcloud.
„Współpraca z OVHcloud pokazuje, w jaki sposób wyznaczamy nowy standard wydajności i efektywności AI w dużej skali. Razem dajemy przedsiębiorstwom narzędzia, aby wdrażać modele szybciej i pewniej niż kiedykolwiek. To otwiera drogę do przełomowych innowacji i realnych efektów biznesowych” – dodaje Rodrigo Liang, CEO SambaNova.
Dostępność i dalsze plany OVHcloud
Usługa inferencyjna oparta na SambaNova będzie dostępna pod koniec roku z regionów we Francji, a kolejne wdrożenia już są planowane. Model rozliczeń będzie oparty o płatność za wykorzystanie z wymaganą deklaracją minimalną. OVHcloud podkreśla, iż SambaNova ma być jednym z filarów strategii budowy kompletnego, wysokowydajnego ekosystemu inferencyjnego dla przedsiębiorstw oraz deweloperów.
