Korzystając z rozwiązania AI On-Prem Appliance Solution w połączeniu z pakietem AI Inference Suite, klienci mogą teraz korzystać z generatywnej sztucznej inteligencji, wykorzystując swoje zastrzeżone dane, dopracowane modele i infrastrukturę technologiczną do automatyzacji procesów i aplikacji ludzkich i maszynowych w praktycznie każdym środowisku końcowym, np. jak sklepy detaliczne, restauracje szybkiej obsługi, punkty handlowe, salony dealerskie, szpitale, fabryki i hale produkcyjne – gdzie przepływ pracy jest dobrze ustalony, powtarzalny i gotowy do automatyzacji.
„Nasze nowe rozwiązanie AI On-Prem Appliance i AI Inference Suite zmieniają ekonomikę całkowitego kosztu posiadania wdrożenia sztucznej inteligencji, umożliwiając przetwarzanie generatywnych obciążeń AI z wdrożenia wyłącznie w chmurze do wdrożenia lokalnego, lokalnie. W przypadku szerokiej gamy przypadków użycia automatyzacji sztucznej inteligencji, takich jak asystenci w sklepach, coaching pracowników, informacje specyficzne dla danej lokalizacji, zgodność z przepisami bezpieczeństwa oraz umożliwienie sprzedaży i obsługi w sklepach, salonach dealerskich lub fabrykach, nasze rozwiązanie AI On-Prem Appliance znacznie zmniejsza koszty operacyjne AI dla przedsiębiorstwa i potrzeb przemysłowych” – powiedział Nakul Duggal, dyrektor generalny grupy ds. motoryzacji, przemysłowego Internetu rzeczy i przetwarzania w chmurze w Qualcomm Technologies, Inc. „Przedsiębiorstwa mogą teraz przyspieszyć wdrażanie generatywnych aplikacji AI, wykorzystując własne modele, zapewniając prywatność, personalizację i dostosowywanie, pozostając jednocześnie w pełną kontrolę, mając pewność, iż ich dane nie opuszczą ich siedziby.”
Rozwiązanie Qualcomm AI On-Prem Appliance jest oparte na planie akceleratorów Qualcomm Cloud AI. Łączy dostępność i wydajność serwera wnioskowania w centrum danych z wydajnością energetyczną, wagą i formą, prywatnością danych, personalizacją i kontrolą lokalnego rozwiązania AI. Rozwiązanie AI On-Prem Appliance obsługuje szeroki zakres możliwości:
- Skalowalność od samodzielnego produktu stacjonarnego do klastra urządzeń naściennych, który zapewnia szereg lokalnych usług sztucznej inteligencji, takich jak agenci głosowi in-a-box, odciążanie małych modeli językowych (SLM), dużych modeli językowych (LLM) i dużych modeli multimodalnych ( LMM) oraz funkcje generowania rozszerzonego wyszukiwania (RAG) na potrzeby inteligentnego indeksowanego wyszukiwania i podsumowań, agentycznej sztucznej inteligencji, automatyzacji przepływu pracy AI, generowania obrazów, generowania kodu, widzenia komputerowego i przetwarzania kamer.
- Obsługa szerokiej gamy generatywnej sztucznej inteligencji, przetwarzania języka naturalnego i modeli wizji komputerowej, zarówno open source, jak i zastrzeżonych, w celu umożliwienia automatyzacji przepływu pracy dla wielu aplikacji korporacyjnych, takich jak inteligentne wyszukiwanie wielojęzyczne, niestandardowi asystenci i agenci AI, generowanie kodu, automatyczne kreślenie i robienie notatek i nie tylko.
- Sztuczna inteligencja kamery z przetwarzaniem obrazu, wideo i transmisji strumieniowej dla aplikacji z zakresu wizji komputerowej skupiających się na bezpieczeństwie i monitorowaniu obiektu.
Pakiet Qualcomm AI Inference Suite for On-Prem zapewnia klientom korporacyjnym i zewnętrznym programistom kompleksowy zestaw narzędzi i bibliotek do tworzenia lub przenoszenia generatywnych aplikacji AI do rozwiązania AI On-Prem Appliance. Zawiera bogaty zestaw interfejsów programowania aplikacji (API), w tym zarządzanie użytkownikami i administrację, czat, generowanie obrazów, możliwości AI generujące audio i wideo, zgodność z OpenAI API i RAG. Pakiet obsługuje integrację z popularnymi generatywnymi modelami AI, frameworkami i wdrożeniami przy użyciu Kubernetes lub gołych kontenerów.
Liderzy branży korzystają z rozwiązania Qualcomm AI On-Prem Solution i AI Inference Suite
Honeywell współpracuje z Qualcomm Technologies przy projektowaniu, ocenie i/lub wdrażaniu przypadków użycia automatyzacji przepływu pracy AI przy użyciu rozwiązań AI On-Prem Solution i AI Inference Suite.
Aetina jest jednym z pierwszych producentów OEM, który dostarcza sprzęt lokalny do wdrożeń w przedsiębiorstwach w oparciu o rozwiązanie AI On-Prem Appliance. Te kompaktowe, zasilane naściennie, lokalne urządzenia AI wykorzystują połączenie SLM do przetwarzania języka naturalnego, wraz z precyzyjnie dostrojonymi LLM i LMM (parametry do 70B) do uruchamiania korporacyjnych agentów AI obsługujących odpowiedzi w czasie rzeczywistym i funkcje automatyzacji przepływu pracy AI takie jak inteligentne wyszukiwanie indeksowane i tworzenie treści – a wszystko to dzięki najlepszemu w swojej klasie zużyciu energii i doskonałej architekturze kosztu posiadania.
IBM współpracuje, aby udostępnić swoją platformę danych i sztuczną inteligencję Watsonx oraz rodzinę modeli sztucznej inteligencji Granite w celu wdrożenia w urządzeniach AI typu On-Prem, a także w chmurze, w celu obsługi szeregu zastosowań korporacyjnych i przemysłowych w branży motoryzacyjnej, produkcyjnej, handlu detalicznego i telekomunikacji .
