Centralnym elementem orkiestracji mikrousług jest NeMo Guardrails, część rozwiązania NVIDIA NeMo platforma do zarządzania, dostosowywania i zabezpieczania sztucznej inteligencji. NeMo Guardrails pomaga programistom integrować poręcze AI i zarządzać nimi w aplikacjach z dużym modelem językowym (LLM). Liderzy branży Amdocs, Cerence AI i Lowe’s należą do firm korzystających z NeMo Guardrails do ochrony aplikacji AI. Programiści mogą używać mikrousług NIM do tworzenia bezpieczniejszych, godnych zaufania agentów AI, którzy zapewniają bezpieczne, odpowiednie reakcje w ramach wytycznych specyficznych dla kontekstu i są wzmocnieni przed próbami jailbreak. Agenci, wdrożeni w obsłudze klienta w różnych branżach, takich jak motoryzacja, finanse, opieka zdrowotna, produkcja i handel detaliczny, mogą zwiększyć zadowolenie i zaufanie klientów.
Jedna z nowych mikrousług, stworzona w celu moderowania bezpieczeństwa treści, została przeszkolona przy użyciu zestawu danych bezpieczeństwa treści Aegis — jednego z najwyższej jakości źródeł danych z adnotacjami ludzkimi w swojej kategorii. Zbiór danych, którego kuratorem i właścicielem jest firma NVIDIA, to publicznie dostępne na Hugging Face i zawiera ponad 35 000 próbek danych z adnotacjami ludzkimi, oznaczonych jako bezpieczne dla sztucznej inteligencji i prób jailbreak w celu ominięcia ograniczeń systemowych.
Poręcze NVIDIA NeMo utrzymują agentów AI na adekwatnej drodze
Sztuczna inteligencja gwałtownie zwiększa produktywność w szerokim zakresie procesów biznesowych. W obsłudze klienta pomaga rozwiązywać problemy klientów choćby o 40% szybciej. Skalowanie sztucznej inteligencji na potrzeby obsługi klienta i innych agentów AI wymaga jednak bezpiecznych modeli, które zapobiegają szkodliwym lub niewłaściwym wynikom i zapewniają, iż aplikacja AI działa w ramach określonych parametrów.
NVIDIA wprowadziła trzy nowe mikrousługi NIM dla NeMo Guardrails, które pomagają agentom AI działać na dużą skalę przy jednoczesnym zachowaniu kontrolowanego zachowania:
Stosując wiele lekkich, wyspecjalizowanych modeli jako poręcze, programiści mogą wypełnić luki, które mogą wystąpić, gdy istnieją tylko bardziej ogólne globalne zasady i zabezpieczenia, ponieważ uniwersalne podejście nie zapewnia odpowiedniego zabezpieczenia i kontroli złożonych agentyczna sztuczna inteligencja przepływy pracy.
Małe modele językowe, takie jak te z kolekcji NeMo Guardrails, oferują mniejsze opóźnienia i są zaprojektowane tak, aby działać efektywnie choćby w środowiskach o ograniczonych zasobach lub rozproszonych. Dzięki temu idealnie nadają się do skalowania aplikacji AI w branżach takich jak opieka zdrowotna, motoryzacja i produkcja, w lokalizacjach takich jak szpitale czy magazyny.
Liderzy branży i partnerzy chronią sztuczną inteligencję dzięki poręczy NeMo
NeMo Guardrails, dostępny dla społeczności open source, pomaga programistom koordynować wiele zasad systemu AI – zwanych szynami – w celu zwiększenia bezpieczeństwa i kontroli aplikacji LLM. Współpracuje z mikrousługami NVIDIA NIM, oferując solidną platformę do tworzenia systemów sztucznej inteligencji, które można wdrażać na dużą skalę bez uszczerbku dla bezpieczeństwa i wydajności.
Amdocs, wiodący światowy dostawca systemu i usług dla firm z branży telekomunikacyjnej i medialnej, wykorzystuje NeMo Guardrails, aby usprawnić interakcje z klientami oparte na sztucznej inteligencji poprzez dostarczanie bezpieczniejszych, dokładniejszych i odpowiednich kontekstowo reakcji.
„Technologie takie jak NeMo Guardrails są niezbędne do ochrony generatywnych aplikacji AI, pomagając zapewnić ich bezpieczne i etyczne działanie” – powiedział Anthony Goonetilleke, prezes grupy ds. technologii i szef strategii w Amdocs. „Integrując rozwiązanie NVIDIA NeMo Guardrails z naszą platformą amAIz, ulepszamy możliwości tej platformy w zakresie „Zaufanej sztucznej inteligencji”, aby zapewnić rozwiązania agentowe, które są bezpieczne, niezawodne i skalowalne. Umożliwia to dostawcom usług bezpieczne i pewne wdrażanie rozwiązań AI, ustanawiając nowe standardy dla Innowacja AI i doskonałość operacyjna.”
Cerence AI, firma specjalizująca się w rozwiązaniach AI dla przemysłu motoryzacyjnego, korzysta z NVIDIA NeMo Guardrails, aby zapewnić swoim asystentom samochodowym dostarczanie odpowiednich kontekstowo, bezpiecznych interakcji obsługiwanych przez rodzinę dużych i małych modeli językowych CaLLM.
„Cerence AI opiera się na wysokowydajnych, bezpiecznych rozwiązaniach firmy NVIDIA, aby zasilać nasze technologie asystentów samochodowych” – powiedział Nils Schanz, wiceprezes wykonawczy ds. produktów i technologii w Cerence AI. „Korzystanie z NeMo Guardrails pomaga nam dostarczać naszym klientom będącym producentami samochodów zaufane, kontekstowe rozwiązania oraz zapewniać rozsądne, przemyślane i wolne od halucynacji odpowiedzi. Ponadto NeMo Guardrails można dostosować do potrzeb naszych klientów, producentów samochodów i pomaga nam filtrować szkodliwe lub nieprzyjemne żądania, zabezpieczając nasze Rodzina modeli językowych CaLLM zapobiegających niezamierzonemu lub niewłaściwemu dostarczaniu treści użytkownikom końcowym.
Lowe’s, wiodący sprzedawca artykułów wyposażenia wnętrz, wykorzystuje generatywną sztuczną inteligencję, aby opierać się na głębokiej wiedzy specjalistycznej swoich pracowników. Zapewniając lepszy dostęp do kompleksowej wiedzy o produktach, narzędzia te umożliwiają współpracownikom odpowiadanie na pytania klientów, pomagając im znaleźć odpowiednie produkty do realizacji projektów i ustanawiając nowy standard w zakresie innowacji w handlu detalicznym i zadowolenia klientów.
„Zawsze szukamy sposobów, aby pomóc współpracownikom osiągnąć więcej dla naszych klientów” – powiedział Chandhu Nair, starszy wiceprezes ds. danych, sztucznej inteligencji i innowacji w Lowe’s. „Dzięki naszym niedawnym wdrożeniom NVIDIA NeMo Guardrails zapewniamy, iż odpowiedzi generowane przez sztuczną inteligencję są bezpieczne i niezawodne, egzekwując granice konwersacji, aby dostarczać tylko istotne i odpowiednie treści”.
Aby jeszcze bardziej przyspieszyć wdrażanie zabezpieczeń AI podczas opracowywania i wdrażania aplikacji AI w handlu detalicznym, firma NVIDIA ogłosiła niedawno na targach NRF, iż jej projekt NVIDIA AI Blueprint dla asystentów zakupów w handlu detalicznym obejmuje mikrousługi NeMo Guardrails w celu tworzenia bardziej niezawodnych i kontrolowanych interakcji z klientami podczas zakupów cyfrowych.
Liderzy konsultingu Taskus, Tech Mahindra i Wipro również integrują NeMo Guardrails ze swoimi rozwiązaniami, aby zapewnić swoim klientom korporacyjnym bezpieczniejsze, bardziej niezawodne i kontrolowane generatywne aplikacje AI.
NeMo Guardrails jest otwarty i rozszerzalny, oferując integrację z solidnym ekosystemem wiodących dostawców modeli bezpieczeństwa i poręczy AI, a także narzędziami do obserwacji i rozwoju AI. Obsługuje integrację z ActiveScore ActiveFence, który filtruje szkodliwe lub niewłaściwe treści w konwersacyjnych aplikacjach AI oraz zapewnia widoczność, analitykę i monitorowanie.
Hive, który udostępnia modele wykrywania treści generowanych przez sztuczną inteligencję dla obrazów, treści wideo i audio w postaci mikrousług NIM, można łatwo zintegrować i zorganizować w aplikacjach AI dzięki NeMo Guardrails.
Platforma Fiddler AI Observability łatwo integruje się z NeMo Guardrails, aby zwiększyć możliwości monitorowania poręczy AI. A Weights & Biases, kompleksowa platforma dla programistów AI, rozszerza możliwości W&B Weave, dodając integracje z mikrousługami NeMo Guardrails. To ulepszenie opiera się na istniejącym portfolio integracji NIM firmy Weights & Biases w celu zoptymalizowania wnioskowania AI w produkcji.
NeMo Guardrails oferuje narzędzia typu open source do testowania bezpieczeństwa AI
Programiści gotowi przetestować skuteczność stosowania modeli zabezpieczeń i innych szyn mogą z nich korzystać NVIDIA Garak—zestaw narzędzi typu open source do LLM i skanowania podatności aplikacji opracowany przez zespół badawczy NVIDIA.
Dzięki Garakowi programiści mogą to zrobić zidentyfikować luki w systemach wykorzystujących LLM poprzez ocenę ich pod kątem takich problemów, jak wycieki danych, natychmiastowe wstrzyknięcia, halucynacje w kodzie i scenariusze jailbreak. Generując przypadki testowe obejmujące niewłaściwe lub niepoprawne wyniki, Garak pomaga programistom wykrywać i eliminować potencjalne słabości modeli sztucznej inteligencji, aby zwiększyć ich solidność i bezpieczeństwo.
Dostępność
Mikrousługi NVIDIA NeMo Guardrails, a także NeMo Guardrails do orkiestracji kolei oraz zestaw narzędzi NVIDIA Garak są teraz dostępne dla programistów i przedsiębiorstw. Programiści mogą rozpocząć budowanie zabezpieczeń AI w agentach AI do obsługi klienta, korzystając z NeMo Guardrails ten poradnik.
Widzieć ogłoszenie dotyczące informacji o oprogramowaniu.
