W pierwszej części omówiono ogłoszenia ogłoszone wcześniej w tym tygodniu na targach CES, w tym nowe modele stanowiące podstawę sztucznej inteligencji dostępne na komputerach PC NVIDIA RTX AI, które przenoszą cyfrowego człowieka, tworzenie treści, produktywność i rozwój na wyższy poziom. Modele te — oferowane jako mikrousługi NVIDIA NIM — są zasilane przez nowe procesory graficzne GeForce RTX z serii 50. Zbudowane w oparciu o architekturę NVIDIA Blackwell, procesory graficzne RTX z serii 50 zapewniają wydajność do 3352 bilionów operacji AI na sekundę, 32 GB pamięci VRAM i funkcję obliczeniową FP4, podwajając wydajność wnioskowania AI i umożliwiając lokalne działanie generatywnej sztucznej inteligencji przy mniejszym zużyciu pamięci.
NVIDIA wprowadziła także rozwiązania NVIDIA AI Blueprints — gotowe do użycia, wstępnie skonfigurowane przepływy pracy, zbudowane w oparciu o mikrousługi NIM, do zastosowań takich jak cyfrowi ludzie i tworzenie treści.
Mikrousługi NIM i plany AI umożliwiają entuzjastom i programistom tworzenie, iterowanie i dostarczanie na komputer PC rozwiązań opartych na sztucznej inteligencji szybciej niż kiedykolwiek. Rezultatem jest nowa fala atrakcyjnych, praktycznych możliwości dla użytkowników komputerów PC.
Szybka ścieżka AI dzięki NVIDIA NIM
Przed wprowadzeniem udoskonaleń AI na komputery PC stoją dwa najważniejsze wyzwania. Po pierwsze, tempo badań nad sztuczną inteligencją jest zawrotne, a nowe modele pojawiają się codziennie na platformach takich jak Hugging Face, na których w tej chwili znajduje się ponad milion modeli. W rezultacie przełomowe rozwiązania gwałtownie stają się nieaktualne. Po drugie, przystosowanie tych modeli do użytku na komputerach PC jest procesem złożonym i wymagającym dużych zasobów. Optymalizacja ich pod kątem sprzętu PC, integracja z oprogramowaniem AI i łączenie z aplikacjami wymaga znacznego wysiłku inżynieryjnego.
NVIDIA NIM pomaga stawić czoła tym wyzwaniom, oferując gotowe, najnowocześniejsze modele AI zoptymalizowane pod kątem komputerów PC. Te mikrousługi NIM obejmują domeny modelowe, można je zainstalować jednym kliknięciem, zawierają interfejsy programowania aplikacji (API) ułatwiające integrację oraz wykorzystują oprogramowanie NVIDIA AI i procesory graficzne RTX w celu zwiększenia wydajności. Na targach CES firma NVIDIA ogłosiła wprowadzenie na rynek mikrousług NIM dla komputerów PC z technologią RTX AI, obsługujących przypadki użycia obejmujące duże modele językowe (LLM), modele wizyjno-językowe, generowanie obrazów, mowę, generowanie wspomagane wyszukiwaniem (RAG), ekstrakcję plików PDF i obraz komputerowy.
Nowa rodzina otwartych modeli Llama Nemotron zapewnia wysoką dokładność w szerokim zakresie zadań agentowych. Model Llama Nemotron Nano, który będzie oferowany jako mikrousługa NIM dla komputerów stacjonarnych i stacji roboczych RTX AI, doskonale radzi sobie z agentycznymi zadaniami AI, takimi jak wykonywanie instrukcji, wywoływanie funkcji, czatowanie, kodowanie i matematyka. Już niedługo deweloperzy będą mogli to zrobić szybko pobierz i uruchamiaj te mikrousługi na komputerach z systemem Windows 11 przy użyciu podsystemu Windows dla systemu Linux (WSL).
Aby zademonstrować, w jaki sposób entuzjaści i programiści mogą wykorzystywać NIM do tworzenia agentów i asystentów AI, NVIDIA udostępniła podgląd Project R2X, awatara komputera PC z funkcją wizyjną, który może umieszczać informacje w zasięgu ręki użytkownika, pomagać w aplikacjach komputerowych i wideokonferencjach, czytać i podsumowywać dokumenty, i więcej. Zapisać się dla aktualizacji Project R2X.
Korzystając z mikrousług NIM, entuzjaści sztucznej inteligencji mogą pominąć złożoność tworzenia modeli, optymalizacji i integracji zaplecza i skupić się na tworzeniu i wprowadzaniu innowacji przy użyciu najnowocześniejszych modeli sztucznej inteligencji.
Co znajduje się w interfejsie API?
API to sposób, w jaki aplikacja komunikuje się z biblioteką oprogramowania. Interfejs API definiuje zestaw „wywołań”, które aplikacja może wykonać w bibliotece oraz czego może oczekiwać w zamian. Tradycyjne interfejsy API AI wymagają wielu ustawień i konfiguracji, co utrudnia korzystanie z funkcji AI i utrudnia innowacje. Mikrousługi NIM udostępniają łatwe w użyciu, intuicyjne interfejsy API, do których aplikacja może po prostu wysłać żądania i uzyskać odpowiedź. Ponadto zaprojektowano je z myślą o nośnikach wejściowych i wyjściowych dla różnych typów modeli. Na przykład LLM pobierają tekst jako dane wejściowe i generują tekst jako wynik, generatory obrazów konwertują tekst na obraz, moduły rozpoznawania mowy zamieniają mowę na tekst i tak dalej.
Mikrousługi zaprojektowano tak, aby bezproblemowo integrowały się z wiodącymi platformami programistycznymi i agentowymi, takimi jak AI Toolkit dla VSCode, EverythingLLM, ComfyUI, Flowise AI, LangChain, Langflow i LM Studio. Programiści mogą łatwo je pobrać i wdrożyć z build.nvidia.com.
Wprowadzając te interfejsy API do RTX, NVIDIA NIM przyspieszy innowacje AI na komputerach PC. Oczekuje się, iż entuzjaści będą mogli zapoznać się z szeregiem mikrousług NIM, korzystając z nadchodzącej wersji systemu Demo technologii NVIDIA ChatRTX.
Plan innowacji
Korzystając z najnowocześniejszych modeli, wstępnie spakowanych i zoptymalizowanych pod kątem komputerów PC, programiści i entuzjaści mogą gwałtownie tworzyć projekty oparte na sztucznej inteligencji. Idąc o krok dalej, mogą łączyć wiele modeli sztucznej inteligencji i innych funkcji, aby tworzyć złożone aplikacje, takie jak cyfrowi ludzie, generatory podcastów i asystenci aplikacji.
NVIDIA AI Blueprints, zbudowane na mikrousługach NIM, to referencyjne implementacje dla złożonych przepływów pracy AI. Pomagają programistom połączyć kilka komponentów, w tym biblioteki, zestawy programistyczne i modele sztucznej inteligencji, w jednej aplikacji.
Plany AI obejmują wszystko, czego programista potrzebuje do zbudowania, uruchomienia, dostosowania i rozszerzenia referencyjnego przepływu pracy, co obejmuje aplikację referencyjną i kod źródłowy, przykładowe dane oraz dokumentację dotyczącą dostosowywania i orkiestracji różnych komponentów. Na targach CES firma NVIDIA ogłosiła dwa plany AI dla RTX: jeden dla PDF do podcastu, który pozwala użytkownikom generować podcast z dowolnego pliku PDF, a drugi dla generatywnej AI sterowanej 3D, opartej na FLUX.1 (dev) i ma być oferowany jako mikrousługa NIM oferuje artystom większą kontrolę nad generowaniem obrazów tekstowych.
Dzięki AI Blueprints programiści mogą gwałtownie przejść od eksperymentowania ze sztuczną inteligencją do jej opracowywania w celu uzyskania najnowocześniejszych przepływów pracy na komputerach i stacjach roboczych RTX.
Zbudowany dla generatywnej sztucznej inteligencji
Nowe procesory graficzne GeForce RTX z serii 50 zostały zaprojektowane specjalnie, aby stawić czoła złożonym wyzwaniom generatywnej sztucznej inteligencji i są wyposażone w rdzenie Tensor piątej generacji z obsługą FP4, szybszą pamięć G7 i procesor zarządzający AI, zapewniający wydajną wielozadaniowość między sztuczną inteligencją a kreatywnymi przepływami pracy.
Seria GeForce RTX 50 dodaje obsługę FP4, aby zapewnić lepszą wydajność i większą liczbę modeli na komputerach PC. FP4 to metoda niższej kwantyzacji, podobna do kompresji plików, która zmniejsza rozmiary modelu. W porównaniu z FP16 — domyślną metodą stosowaną w większości modeli — FP4 zużywa mniej niż połowę pamięci, a procesory graficzne z serii 50 zapewniają ponad dwukrotnie większą wydajność w porównaniu z poprzednią generacją. Można tego dokonać praktycznie bez utraty jakości dzięki zaawansowanym metodom kwantyzacji oferowanym przez NVIDIA TensorRT Model Optimizer.
Na przykład model FLUX.1 (dev) Black Forest Labs na 16. PR wymaga ponad 23 GB pamięci VRAM, co oznacza, iż może być obsługiwany tylko przez kartę GeForce RTX 4090 i profesjonalne procesory graficzne. W przypadku FP4 FLUX.1 (dev) wymaga mniej niż 10 GB, więc może działać lokalnie na większej liczbie procesorów graficznych GeForce RTX.
Z kartą GeForce RTX 4090 z FP16, FLUX.1 [dev] model może generować obrazy w 15 sekund w 30 krokach. Dzięki karcie GeForce RTX 5090 z FP4 obrazy można wygenerować w nieco ponad pięć sekund.
Rozpocznij korzystanie z nowych interfejsów API AI dla komputerów PC
Oczekuje się, iż mikrousługi NVIDIA NIM i plany AI będą dostępne od przyszłego miesiąca, wraz z początkową obsługą sprzętową profesjonalnych procesorów graficznych GeForce RTX z serii 50, GeForce RTX 4090 i 4080 oraz NVIDIA RTX 6000 i 5000. W przyszłości obsługiwane będą dodatkowe procesory graficzne.
Oczekuje się, iż komputery PC RTX AI obsługujące NIM będą dostępne w sklepach Acer, ASUS, Dell, GIGABYTE, HP, Lenovo, MSI, Razer i Samsung, a także u lokalnych producentów systemów: Corsair, Falcon Northwest, LDLC, Maingear, Mifcon, Origin PC, PCS i Skanuj.
Procesory graficzne i laptopy GeForce RTX z serii 50 zapewniają rewolucyjną wydajność, rewolucyjne doświadczenia związane ze sztuczną inteligencją i umożliwiają twórcom realizację zadań w rekordowym czasie.
Obejrzyj jeszcze raz przemówienie dyrektora generalnego firmy NVIDIA, Jensena Huanga, aby dowiedzieć się więcej o nowościach dotyczących sztucznej inteligencji firmy NVIDIA zaprezentowanych na targach CES.
