NVIDIA ogłosiła partnerstwo z twórcami popularnego frameworka open-source Unsloth, mające na celu optymalizację procesu “douczania” (fine-tuning) dużych modeli językowych (LLM) na kartach graficznych z rodziny RTX oraz stacjach roboczych DGX Spark. Dzięki integracji Unsloth z architekturą GPU NVIDII, deweloperzy mogą teraz trenować modele choćby 2,5 razy szybciej w porównaniu do standardowej biblioteki Hugging Face, przy jednoczesnym znacznym obniżeniu zapotrzebowania na pamięć VRAM. To krok milowy dla entuzjastów AI, pozwalający na tworzenie spersonalizowanych asystentów i agentów AI bezpośrednio na lokalnym sprzęcie, bez konieczności korzystania z drogich chmur obliczeniowych.
Współpraca ta zbiega się z premierą nowej rodziny otwartych modeli NVIDIA Nemotron 3, zaprojektowanych specjalnie pod kątem wydajności i zastosowań agentowych. Model Nemotron 3 Nano (30B-A3B), dostępny już teraz, oferuje innowacyjną architekturę hybrydową Mixture-of-Experts (MoE), która redukuje liczbę tokenów potrzebnych do wnioskowania o 60% i zapewnia gigantyczne okno kontekstowe o wielkości 1 miliona tokenów. Jest to idealne rozwiązanie do zadań takich jak debugowanie kodu czy analiza długich dokumentów, które można teraz efektywnie dostrajać przy użyciu Unsloth na lokalnych maszynach.
Kluczowym elementem układanki jest również DGX Spark – “najmniejszy superkomputer AI świata” w formacie desktopowym, oparty na architekturze Grace Blackwell. Wyposażony w 128 GB zunifikowanej pamięci CPU-GPU, DGX Spark umożliwia fine-tuning modeli, które dotychczas nie mieściły się w pamięci konsumenckich kart graficznych (powyżej 30 mld parametrów). Unsloth na tej platformie pozwala na stosowanie zaawansowanych technik, takich jak pełny fine-tuning czy uczenie przez wzmocnienie (Reinforcement Learning), co wcześniej było zarezerwowane dla potężnych serwerowni.
Dla deweloperów oznacza to demokratyzację dostępu do zaawansowanego AI. Metody takie jak LoRA czy QLoRA (Parameter-Efficient Fine-Tuning), obsługiwane przez Unsloth, pozwalają na szybką adaptację modeli do specyficznych zadań prawnych, medycznych czy naukowych przy użyciu niewielkich zestawów danych (100-1000 przykładów). NVIDIA udostępniła również szczegółowe poradniki i przykładowe notebooki, ułatwiające start z nowymi narzędziami na kartach RTX serii 50 oraz platformie DGX Spark.
