Procesory AMD jako pierwsze na świecie pozwalają uruchomić lokalnie nowy model OpenAI. Chodzi o układ AMD Ryzen AI Max+ 395, będący w stanie obsłużyć lokalnie GPT-OSS 120B na komputerze z Windows. Z zadaniem tym radzi sobie też karta graficzna AMD Radeon RX 9070 XT.
AMD Ryzen AI Max+ 395 poradzi sobie z AI – lokalnie
Z modeli sztucznej inteligencji ze względu na ich złożoność i wymaganą olbrzymią moc obliczeniową korzystamy w lwiej części przypadków zdalnie. Coraz większego znaczenia nabiera jednak lokalna AI. Powód jest trywialny: kwestie związane z prywatnością. Procesor AMD Ryzen AI Max+ 395 jako pierwszy na świecie obsłuży lokalnie modele o 128 miliardach parametrów (128B), takie jak Llama 4 Scout 109B z pełną wizją i protokołem kontekstowym (MCP, Model Context Protocol). Wszystko dzięki najnowszemu sterownikowi.
Zaktualizowane oprogramowanie AMD Software: Adrenalin Edition 25.8.1 WHQL umożliwia taką realokację pamięci RAM, by choćby 96 GB mogło zostać przydzielone do obsługi układu graficznego. Dzięki temu możliwe jest prowadzenie złożonych procesów wnioskowania i praca agentów AI, ponieważ system obsługuje do 256 000 tokenów w oknie kontekstowym. W praktyce daje to użytkownikowi dostęp do szerokiej gamy zastosowań – od prostych asystentów po zaawansowane narzędzia programistyczne i do tworzenia wizualizacji.
Jednym słowem: obsługa algorytmu AI o choćby 128 miliardach parametrów stała się możliwa lokalnie na komputerze z systemem Windows. Konsumenckim komputerze z Windows.
Jak skorzystać z modeli OpenAI GPT-OSS 120B i 20B na sprzęcie AMD?
Osoby pragnące wypróbować omawiane lokalne modele OpenAI na procesorze AMD Ryzen AI Max+ 395 lub karcie graficznej AMD Radeon RX 9070 XT muszą wykonać następujące czynności:
- Pobierz i zainstaluj sterowniki AMD Software: Adrenalin Edition 25.8.1 WHQL lub nowsze. Pamiętaj, iż w przypadku starszych sterowników wydajność i obsługa mogą być ograniczone lub całkowicie niedostępne.
- Jeśli korzystasz z komputera z układem AMD Ryzen AI, kliknij prawym przyciskiem myszy na pulpicie > AMD Software: Adrenalin Edition > karta Wydajność > karta Strojenie > Zmienna pamięć graficzna i ustaw wartość VGM zgodnie z tabelą specyfikacji podaną poniżej. jeżeli korzystasz z karty graficznej AMD Radeon, możesz pominąć ten krok i przejść dalej.
- Pobierz i zainstaluj LM Studio.
- Pomiń ekran wprowadzający.
- Przejdź do zakładki Odkrywaj (ikona lupy).
- Wyszukaj frazę „gpt-oss”. Powinna pojawić się opcja z prefiksem lm studio community po lewej stronie. Wybierz wariant 20B lub 120B (ten, który odpowiada Twojemu produktowi w tabeli poniżej). Kliknij Pobierz.
- Przejdź do zakładki Czat.
- Kliknij menu rozwijane u góry i wybierz model OpenAI. Upewnij się, iż zaznaczono opcję manualne ładowanie parametrów.
- Przesuń suwak GPU Offload maksymalnie w prawo. Zaznacz opcję zapamiętywania ustawień.
- Kliknij Ładuj. jeżeli korzystasz z modelu 120B, proces może potrwać dłużej, a pasek postępu może wydawać się zatrzymany (prędkości odczytu większości dysków SSD spadają po początkowym „wybuchu” transferu, a ten model jest bardzo duży i wymaga przeniesienia do pamięci).
- Rozpocznij korzystanie z modelu!
Źródło: AMD, OpenAI
