Wśród ofert znajdują się nowe mikrousługi i struktury NVIDIA NIM do symulacji i uczenia robotów, usługa orkiestracji NVIDIA OSMO do obsługi wieloetapowych obciążeń robotycznych oraz oparty na sztucznej inteligencji i symulacji przepływ pracy w trybie zdalnym, który umożliwia deweloperom szkolenie robotów przy użyciu niewielkich ilości danych demonstracyjnych pochodzących od ludzi.
„Następną falą AI jest robotyka, a jednym z najbardziej ekscytujących osiągnięć są roboty humanoidalne” — powiedział Jensen Huang, założyciel i dyrektor generalny NVIDIA. „Rozwijamy cały stos robotyki NVIDIA, otwierając dostęp dla światowych deweloperów i firm humanoidalnych do korzystania z platform, bibliotek akceleracji i modeli AI najlepiej dostosowanych do ich potrzeb”.
Przyspieszenie rozwoju dzięki NVIDIA NIM i OSMO
Mikrousługi NIM zapewniają wstępnie zbudowane kontenery, zasilane przez oprogramowanie inferencyjne NVIDIA, które umożliwiają deweloperom skrócenie czasu wdrażania z tygodni do minut. Dwie nowe mikrousługi AI pozwolą robotykom udoskonalić przepływy pracy symulacji dla generatywnej fizycznej AI w NVIDIA Isaac Sim, aplikacji referencyjnej do symulacji robotyki zbudowanej na platformie NVIDIA Omniverse.
Mikrousługa MimicGen NIM generuje syntetyczne dane ruchu na podstawie zarejestrowanych danych teleoperowanych z urządzeń do przetwarzania przestrzennego, takich jak Apple Vision Pro. Mikrousługa Robocasa NIM generuje zadania robota i środowiska gotowe do symulacji w OpenUSD, uniwersalnym frameworku do tworzenia i współpracy w światach 3D.
NVIDIA OSMO, dostępna już teraz, to zarządzana usługa oparta na chmurze, która umożliwia użytkownikom koordynowanie i skalowanie złożonych procesów rozwoju robotyki w rozproszonych zasobach obliczeniowych, zarówno lokalnie, jak i w chmurze.
OSMO znacznie upraszcza procesy szkolenia i symulacji robotów, skracając cykle wdrażania i rozwoju z miesięcy do mniej niż tygodnia. Użytkownicy mogą wizualizować i zarządzać szeregiem zadań — takich jak generowanie danych syntetycznych, modeli szkoleniowych, przeprowadzanie uczenia się przez wzmacnianie i wdrażanie testów systemu w pętli na dużą skalę dla humanoidów, autonomicznych robotów mobilnych i manipulatorów przemysłowych.
Ulepszanie przepływów pracy przechwytywania danych dla programistów robotów humanoidalnych
Szkolenie modeli fundamentów dla robotów humanoidalnych wymaga niewiarygodnej ilości danych. Jednym ze sposobów przechwytywania danych demonstracyjnych ludzi jest teleoperacja, ale staje się to coraz bardziej kosztownym i długotrwałym procesem.
Zaprezentowany na konferencji poświęconej grafice komputerowej SIGGRAPH referencyjny proces teleoperacji oparty na sztucznej inteligencji NVIDIA i platformie Omniverse umożliwia badaczom i twórcom sztucznej inteligencji generowanie ogromnych ilości syntetycznych danych dotyczących ruchu i percepcji na podstawie minimalnej liczby zdalnie zarejestrowanych demonstracji z udziałem ludzi.
Najpierw programiści używają Apple Vision Pro do przechwytywania niewielkiej liczby demonstracji teleoperowanych. Następnie symulują nagrania w NVIDIA Isaac Sim i używają mikrousługi MimicGen NIM do generowania syntetycznych zestawów danych z nagrań.
Programiści trenują humanoidalny model fundacji Project GR00T dzięki rzeczywistych i syntetycznych danych, co pozwala programistom zaoszczędzić czas i obniżyć koszty. Następnie wykorzystują mikrousługę Robocasa NIM w Isaac Lab, frameworku do uczenia się robotów, aby generować doświadczenia w celu ponownego trenowania modelu robota. W całym procesie pracy NVIDIA OSMO bezproblemowo przypisuje zadania obliczeniowe do różnych zasobów, oszczędzając programistom tygodnie zadań administracyjnych.
Fourier, firma produkująca uniwersalne platformy robotyczne, dostrzega korzyści płynące ze stosowania technologii symulacyjnej do syntetycznego generowania danych szkoleniowych.
„Tworzenie humanoidalnych robotów jest niezwykle skomplikowane — wymaga niewiarygodnej ilości rzeczywistych danych, żmudnie przechwytywanych ze świata rzeczywistego” — powiedział Alex Gu, CEO Fourier. „Nowe narzędzia do symulacji i generatywnego programowania AI firmy NVIDIA pomogą nam w bootstrappingu i przyspieszeniu naszych przepływów pracy w zakresie opracowywania modeli”.
Rozszerzanie dostępu do technologii programistycznych NVIDIA Humanoid
NVIDIA dostarcza trzy platformy obliczeniowe, aby ułatwić rozwój robotów humanoidalnych: superkomputery NVIDIA AI do trenowania modeli; NVIDIA Isaac Sim zbudowany na Omniverse, gdzie roboty mogą uczyć się i doskonalić swoje umiejętności w symulowanych światach; oraz komputery robotów humanoidalnych NVIDIA Jetson Thor do uruchamiania modeli. Deweloperzy mogą uzyskać dostęp i używać wszystkich — lub dowolnej części — platform zgodnie ze swoimi konkretnymi potrzebami.
Dzięki nowemu programowi NVIDIA Humanoid Robot Developer Program twórcy systemu mogą uzyskać wczesny dostęp do nowych ofert, a także do najnowszych wersji NVIDIA Isaac Sim, NVIDIA Isaac Lab, Jetson Thor i uniwersalnych modeli fundamentów humanoidalnych Project GR00T.
1x, Boston Dynamics, ByteDance Research, Field AI, Figure, Fourier, Galbot, LimX Dynamics, Mentee, Neura Robotics, RobotEra i Skild AI są wśród pierwszych, które dołączyły do programu wczesnego dostępu.
„Boston Dynamics i NVIDIA mają długą historię ścisłej współpracy, aby przesuwać granice tego, co jest możliwe w robotyce” — powiedział Aaron Saunders, dyrektor ds. technologii w Boston Dynamics. „Jesteśmy naprawdę podekscytowani widząc owoce tej pracy, które przyspieszają rozwój całej branży, a program wczesnego dostępu to fantastyczny sposób na dostęp do najlepszej w swojej klasie technologii”.
Dostępność
Programiści mogą już teraz dołączyć do programu NVIDIA Humanoid Robot Developer Program, aby uzyskać dostęp do NVIDIA OSMO i Isaac Lab, a niedługo także do mikrousług NVIDIA NIM.
