Wiemy, iż najnowsze procesory graficzne NVIDIA „Blackwell” są szybkie, ale o ile są szybsze w porównaniu z poprzednią generacją „Hopper”? Dzięki najnowszym wynikom szkolenia MLPerf Training v4.1 platforma NVIDIA HGX B200 Blackwell wykazała ogromny wzrost wydajności, mierząc choćby 2,2-krotną poprawę na procesor graficzny w porównaniu z HGX H200 Hopper. Najnowsze wyniki, zweryfikowane przez MLCommons, ujawniają imponujące osiągnięcia w szkoleniu z wykorzystaniem dużych modeli językowych (LLM). Architektura Blackwell, obejmująca pamięć HBM3e o dużej przepustowości i technologię połączeń wzajemnych NVLink piątej generacji, osiągnęła dwukrotnie większą wydajność na procesor graficzny w przypadku wstępnego treningu GPT-3 i 2,2-krotne przyspieszenie w przypadku dostrajania Llama 2 70B w porównaniu z poprzednią generacją Hoppera. Każdy system testowy zawierał osiem procesorów graficznych Blackwell działających przy TDP 1000 W, połączonych za pośrednictwem przełącznika NVLink w celu zwiększenia skali.
Infrastruktura sieciowa wykorzystywała karty NVIDIA ConnectX-7 SuperNIC i przełączniki Quantum-2 InfiniBand, umożliwiając szybką komunikację między węzłami w przypadku rozproszonych obciążeń szkoleniowych. Podczas gdy poprzednie systemy oparte na Hopperze wymagały 256 procesorów graficznych do optymalizacji wydajności w teście porównawczym GPT-3 175B, Blackwell wykonał to samo zadanie przy użyciu zaledwie 64 procesorów graficznych, wykorzystując większą pojemność i przepustowość pamięci HBM3e. Jedną z rzeczy, na którą warto zwrócić uwagę, jest nadchodzący system GB200 NVL72, który obiecuje jeszcze większe zyski powyżej 2,2x. Oferuje rozszerzone domeny NVLink, większą przepustowość pamięci i ścisłą integrację z procesorami NVIDIA Grace, uzupełnioną technologiami przełączników ConnectX-8 SuperNIC i Quantum-X800. Dzięki szybszemu przełączaniu i lepszemu przesyłaniu danych dzięki integracji Grace-Blackwell mogliśmy zobaczyć jeszcze większą optymalizację systemu firmy NVIDIA w celu zwiększenia wydajności.
Source link
