AMD wypuszcza ROCm 6.3 z SGLang, kompilatorem Fortran, wielowęzłowym FFT, bibliotekami wizyjnymi i nie tylko

AMD wypuściło nową wersję ROCm 6.3, która wprowadza kilka nowych funkcji i optymalizacji, w tym integrację SGLang w celu przyspieszenia wnioskowania AI, przeprojektowany FlashAttention-2 dla zoptymalizowanego uczenia i wnioskowania AI, wprowadzenie wielowęzłowej szybkiej transformaty Fouriera (FFT) , nowy kompilator Fortran i ulepszone biblioteki wizji komputerowej, takie jak rocDecode, rocJPEG i rocAL.

Według AMD SGLang, środowisko wykonawcze obsługiwane teraz przez ROCm 6.3, zostało stworzone specjalnie z myślą o optymalizacji wnioskowania na modelach takich jak LLM i VLM na procesorach graficznych AMD Instinct i zapewnia 6x wyższą przepustowość i znacznie łatwiejsze użytkowanie dzięki zintegrowanym z Pythonem i wstępnie skonfigurowane kontenery Docker ROCm. Ponadto AMD ROCm 6.3 wprowadza także dalsze optymalizacje transformatorów dzięki FlashAttention-2, co powinno przynieść znaczną poprawę w zakresie przebiegu do przodu i do tyłu w porównaniu z FlashAttention-1, zupełnie nowym kompilatorem AMD Fortran z bezpośrednim odciążaniem procesora graficznego, kompatybilnością wsteczną i integracją z Biblioteki jądra HIP i ROCm, zupełnie nowa obsługa wielowęzłowego FFT w rocFFT, która upraszcza skalowanie wielu węzłów i poprawia skalowalność, a także ulepszony komputer biblioteki Vision, rocDecode, rocJPEG i rocAL, obsługujące kodek AV1, dekodowanie JPEG z akceleracją GPU i lepsze ulepszanie dźwięku.

Firma AMD z euforią zauważyła, iż ​​ROCm 6.3 w dalszym ciągu „dostarcza najnowocześniejsze narzędzia upraszczające programowanie, zapewniając jednocześnie lepszą wydajność i skalowalność obciążeń AI i HPC”, a także przez cały czas opiera się na etosie open source i ewoluuje, aby sprostać potrzebom programistów. Więcej szczegółów można sprawdzić na stronie centrum dokumentacji ROCm Lub blogi AMD ROCm.