Według niedawnego badania około 70% szaf w przedsiębiorstwach ma moc 20 kW i mniej i wykorzystuje chłodzenie powietrzem. To sprawia, iż procesory graficzne PCIe są niezbędne, ponieważ zapewniają szczegółowość wdrażania węzłów, niezależnie od tego, czy wykorzystuje się jeden, dwa, cztery czy osiem procesorów graficznych – umożliwiając centrom danych pakowanie większej mocy obliczeniowej na mniejszych przestrzeniach. Firmy mogą następnie wykorzystać istniejące szafy i wybrać liczbę procesorów graficznych, która najlepiej odpowiada ich potrzebom. Przedsiębiorstwa mogą używać H200 NVL do przyspieszania aplikacji AI i HPC, jednocześnie poprawiając efektywność energetyczną poprzez zmniejszone zużycie energii. Dzięki 1,5-krotnemu wzrostowi pamięci i 1,2-krotnemu wzrostowi przepustowości w porównaniu z NVIDIA H100 NVL, firmy mogą używać H200 NVL do dostrajania LLM w ciągu kilku godzin i zapewniać do 1,7 razy większą wydajność wnioskowania. W przypadku obciążeń HPC wydajność jest zwiększona do 1,3x w porównaniu z H100 NVL i 2,5x w porównaniu z generacją architektury NVIDIA Ampere.
Uzupełnieniem surowej mocy H200 NVL jest technologia NVIDIA NVLink. Najnowsza generacja NVLink zapewnia komunikację GPU-GPU 7 razy szybszą niż PCIe piątej generacji, zapewniając wyższą wydajność w celu zaspokojenia potrzeb HPC, wnioskowania o modelach wielkojęzykowych i dostrajania.
NVIDIA H200 NVL jest połączona z potężnymi narzędziami programowymi, które umożliwiają przedsiębiorstwom przyspieszanie aplikacji od sztucznej inteligencji do HPC. Do zestawu dołączona jest pięcioletnia subskrypcja NVIDIA AI Enterprise, natywnej platformy systemu działającej w chmurze, służącej do opracowywania i wdrażania produkcyjnej sztucznej inteligencji. NVIDIA AI Enterprise zawiera mikrousługi NVIDIA NIM umożliwiające bezpieczne i niezawodne wdrażanie wysokowydajnego wnioskowania o modelach AI.
Firmy wykorzystujące moc H200 NVL
Dzięki H200 NVL firma NVIDIA zapewnia przedsiębiorstwom kompleksową platformę do opracowywania i wdrażania obciążeń AI i HPC.
Klienci dostrzegają znaczący wpływ na wiele przypadków użycia sztucznej inteligencji i HPC w różnych branżach, takich jak agenci wizualni AI i chatboty do obsługi klienta, algorytmy handlowe dla finansów, obrazowanie medyczne w celu lepszego wykrywania anomalii w opiece zdrowotnej, rozpoznawanie wzorców w produkcji oraz obrazowanie sejsmiczne dla federalnych organizacje naukowe.
Dropbox wykorzystuje akcelerację obliczeniową NVIDIA w swoich usługach i infrastrukturze.
„Dropbox obsługuje duże ilości treści, co wymaga zaawansowanych możliwości sztucznej inteligencji i uczenia maszynowego” – powiedział Ali Zafar, wiceprezes ds. infrastruktury w Dropbox. „Badamy H200 NVL, aby stale ulepszać nasze usługi i zapewniać większą wartość naszym klientom”.
Uniwersytet Nowego Meksyku wykorzystuje akcelerację obliczeniową NVIDIA w różnych zastosowaniach badawczych i akademickich.
„Jako publiczny uniwersytet badawczy nasze zaangażowanie w sztuczną inteligencję pozwala mu znaleźć się w czołówce postępu naukowego i technologicznego” – powiedział prof. Patrick Bridges, dyrektor Centrum Zaawansowanych Badań Obliczeniowych UNM. „Po przejściu na H200 NVL będziemy w stanie przyspieszyć szereg zastosowań, w tym inicjatywy związane z nauką o danych, badania bioinformatyczne i genomiczne, symulacje fizyczne i astronomiczne, modelowanie klimatu i nie tylko”.
H200 NVL dostępny w całym ekosystemie
Oczekuje się, iż Dell Technologies, Hewlett Packard Enterprise, Lenovo i Supermicro dostarczą szeroką gamę konfiguracji obsługujących H200 NVL.
Dodatkowo H200 NVL będzie dostępny na platformach Aivres, ASRock Rack, ASUS, GIGABYTE, Ingrasys, Inventec, MSI, Pegatron, QCT, Wistron i Wiwynn.
Niektóre systemy oparte są na modułowej architekturze NVIDIA MGX, która umożliwia producentom komputerów szybkie i ekonomiczne budowanie szerokiej gamy projektów infrastruktury centrów danych.
Platformy z H200 NVL będą dostępne u globalnych partnerów systemowych NVIDIA od grudnia. Aby uzupełnić dostępność u wiodących światowych partnerów, NVIDIA opracowuje również architekturę referencyjną dla przedsiębiorstw dla systemów H200 NVL.
Architektura referencyjna będzie uwzględniać wiedzę i zasady projektowania firmy NVIDIA, dzięki czemu partnerzy i klienci będą mogli projektować i wdrażać na dużą skalę infrastrukturę AI o wysokiej wydajności opartą na H200 NVL. Obejmuje to zalecenia dotyczące pełnego stosu sprzętu i oprogramowania, wraz ze szczegółowymi wskazówkami dotyczącymi optymalnych konfiguracji serwerów, klastrów i sieci. Sieć jest zoptymalizowana pod kątem najwyższej wydajności dzięki platformie NVIDIA Spectrum-X Ethernet.
