Usługi związane ze sztuczną inteligencją (AI), takie jak ChatGPT OpenAI, Copilot Microsoftu i Gemini Google biegaj w chmurze. Jednak jeżeli chodzi o wdrożenia w przedsiębiorstwach, sztuczna inteligencja nie jest bynajmniej dostępna wyłącznie w chmurze.
Postęp technologiczny, rozwój „małego języka” i modeli open source, wydajność i korzyści płynące z lokalizowania sztucznej inteligencji blisko źródeł danych stwarzają sytuacje sprzyjające architekturze on-premise. Następnie rozważane są kwestie bezpieczeństwa, prywatności danych, ochrony własności intelektualnej i kosztów. W przypadku każdego z nich istnieje mocny argument za lokalną sztuczną inteligencją, mimo iż większość uwagi branży skupia się na rozwiązaniach chmurowych.
„Większość przedsiębiorstw uruchamia w tej chwili swoje obciążenia AI w chmurze, kierując się znaczącymi zaletami skalowalności, efektywności kosztowej i szybkiego wdrażania, które platformy chmurowe takie jak AWS [Amazon Web Services], Microsoft Azure i Google Cloud” – mówi Derreck Van Gelderen, szef strategii AI w PA Consulting.
„Dostawcy usług w chmurze opracowali kompleksowe ekosystemy, które pozwalają firmom ominąć duże początkowe koszty infrastruktury i zamiast tego uzyskać dostęp do elastycznych zasobów, które idealnie nadają się do obsługi dużych obciążeń obliczeniowych. wymagania sztucznej inteligencji – a teraz generatywnej sztucznej inteligencji [GenAI] – modeli, zwłaszcza na fazach szkolenia wymagających dużych zasobów” – dodaje.
Podobne trendy widzi John Gasparini, dyrektor ds. strategii i technologii chmurowych w KPMG. „Z pewnością większość klientów, z którymi pracuję, korzysta z usług sztucznej inteligencji opartych na chmurze w celu przetestowania niektórych z tych wczesnych przypadków użycia” – mówi. „Wykorzystują niektóre dostępne duże modele językowe lub podstawowe lub budują własne modele na podstawie usług w chmurze”.
Sugeruje, iż budowanie wewnętrznych możliwości sztucznej inteligencji wymaga „znacznych inwestycji kapitałowych”, ale zwrot z inwestycji (ROI) ze sztucznej inteligencji nie pozostało gwarantowany.
Infrastruktura chmurowa umożliwia organizacjom szybkie budowanie systemów AI, ale także zmniejszanie skali projektów, które się nie sprawdzają. Chmura zapewnia także łatwy dostęp do wyrafinowanych modeli, w tym najnowszej generacji modeli wielkojęzykowych (LLM). Wiele wiodących modeli GenAI jest, przynajmniej na razie, dostępnych wyłącznie w chmurze.
Ale chmura ma swoje ograniczenia. Niektóre z tych ograniczeń stają się coraz większym obciążeniem, w miarę jak przedsiębiorstwa rozszerzają wykorzystanie sztucznej inteligencji – czy to pod względem zakresu wykonywanych przez nią zadań, czy też poprzez powiązanie jej z bardziej wrażliwymi danymi.
Ograniczenia AI w chmurze
Ograniczenia sztucznej inteligencji opartej na chmurze w dużej mierze odzwierciedlają wady przetwarzania w chmurze w przypadku innych aplikacji korporacyjnych: suwerenność danychbezpieczeństwo, rosnące przepisy i koszty.
„Zaletą chmury publicznej jest możliwość testowania pomysłów. jeżeli nie zadziałają, można je wyłączyć i nie trzeba wtedy ponosić dużych kosztów umorzenia kosztów” – mówi Gasparini z KPMG.
Zaletą chmury publicznej jest możliwość testowania pomysłów. jeżeli nie zadziałają, możesz je wyłączyć i nie będziesz musiał w tym momencie ponosić dużych kosztów umorzenia
Jednak wraz z rozwojem projektów AI rosną także rachunki. „Z pewnością rozmawiałem ostatnio z klientami, którzy zaczynają zastanawiać się, jak zapewnić sobie widoczność Koszty sztucznej inteligencji– dodaje.
Podobnie jak w przypadku każdej innej aplikacji w chmurze, firmy muszą wiedzieć, jak przewidywać te koszty i zarządzać nimi. W przypadku sztucznej inteligencji koszty mogą wzrosnąć wraz z większą ilością danych potrzebnych do szkolenia i większą liczbą użytkowników wykonujących więcej zapytań za pośrednictwem narzędzi sztucznej inteligencji.
„Chmurę można skalować, a przy krótkoterminowych kosztach sprawdza się to naprawdę dobrze” – sugeruje Grant Caley, dyrektor ds. rozwiązań w Wielkiej Brytanii i Irlandii u dostawcy technologii NetApp. „Ale gdy tylko zostawisz tam rzeczy, [including] samych danych, musisz za to zapłacić. Dość gwałtownie staje się to argumentem kosztowym.”
Ponadto, jeżeli firma korzysta z wektorowych baz danych w projektach AI – a większość tak robi – dane branżowe sugerują, iż może potrzebować 10 razy więcej miejsca niż na oryginalne dane. To gwałtownie zwiększa koszty. Suwerenność danych, prywatność i bezpieczeństwo to także powody przejścia z chmury na lokalną sztuczną inteligencję.
„Niektóre z głównych wyzwań, z jakimi borykają się organizacje, to prywatność i suwerenność danych” – ostrzega Van Gelderen z PA Consulting. „Jest to szczególnie istotne w sektorach takich jak obronność, energia nuklearna, opieka zdrowotna i inne organizacje podlegające ścisłym regulacjom, które potrzebują solidnej kontroli nad danymi”.
Problemem może być także wydajność. „Opóźnienia to kolejny problem, szczególnie w przypadku aplikacji wymagających reakcji w czasie rzeczywistym lub o małych opóźnieniach, takich jak systemy autonomiczne lub rozwiązania brzegowe” – mówi. „Opóźnienia spowodowane przesyłaniem danych do i z serwerów w chmurze mogą być czynnikiem ograniczającym”.
Przenoszenie sztucznej inteligencji wewnętrznie
Ograniczenia chmury skłaniają przynajmniej niektóre przedsiębiorstwa do stosowania sztucznej inteligencji we własnym zakresie lub szukania opcji lokalnych w miarę rozwoju operacji związanych ze sztuczną inteligencją. Ma to związek z rodzajem prowadzonych przedsiębiorstw zajmujących się sztuczną inteligencją, lokalizacją źródeł danych oraz różnymi potrzebami na etapach szkolenia i wnioskowania sztucznej inteligencji.
Chmura może być skalowana i przy krótkoterminowych kosztach działa naprawdę dobrze. Ale gdy tylko zostawisz tam rzeczy, [including] samych danych, musisz za to zapłacić. Dość gwałtownie staje się to argumentem kosztowym
„W dzisiejszych czasach większość ludzi, którzy mówią o sztucznej inteligencji, w 90% przypadków ma na myśli technologie GenAI” – mówi Van Gelderen z PA Consulting. „Jednak generatywna sztuczna inteligencja i LLM stanowią jedynie część szerszego krajobrazu sztucznej inteligencji i mają odrębne potrzeby w zakresie infrastruktury w porównaniu z „tradycyjną” sztuczną inteligencją – na przykład modele klasyfikacji i regresji oparte na uczeniu maszynowym oraz inne podzbiory, takie jak przetwarzanie języka naturalnego i widzenie komputerowe. ”
Sugeruje to, iż organizacje będą potrzebować więcej niż jednego podejścia do technologii AI. Ponadto rosnące znaczenie generacji wspomaganej wyszukiwaniem (RAG) dodaje kolejną warstwę złożoności. Przedsiębiorstwa używają RAG do dodawania własnego kontekstu biznesowego do wyników modelu AI. Może to skutkować otrzymaniem wyników, które są bardziej wrażliwe lub wymagają większego bezpieczeństwa niż surowe wyniki z dużego modelu językowego.
„Ma się wrażenie, iż RAG stał się niepodlegający negocjacjom dla przedsiębiorstw korzystających z generatywnej sztucznej inteligencji we własnych środowiskach” – mówi Patrick Smith, dyrektor ds. technologii w Pure Storage na region EMEA.
„Po pierwsze, pozwala pokonać większość, jeżeli nie wszystkie, problemów związanych z halucynacjami. Po drugie, daje możliwość wykorzystania własnych danych z generatywną sztuczną inteligencją bez konieczności dokonywania jakichkolwiek tuningów. Po trzecie, pozwala przezwyciężyć trudny problem czasowy polegający na tym, iż nie można wykorzystać aktualnych danych, chyba iż przekwalifikujesz się [the model]. Dlatego też poruszono kwestię aktualności spostrzeżeń” – dodaje.
Ma to jednak wpływ na infrastrukturę niezbędną do obsługi sztucznej inteligencji. Według Smitha wpływa to na wydajność i „wagę danych”. Sugeruje, iż najlepszym miejscem do lokalizacji danych jest w mniejszym stopniu oparty na modelu dużego języka niż na wektorowych bazach danych.
„To określenie, gdzie znajduje się całe rozwiązanie, co następnie wpływa na ludzi, którzy chcą pobrać rozwiązania AI z chmury publicznej z powrotem do własnego centrum danych” – mówi. „Gdy tylko przejrzysz bazę danych wektorów i podejście RAG, chcesz, aby model znajdował się obok bazy danych wektorów”.
Przedsiębiorstwa nie zawsze potrzebują najnowszych, opartych na chmurze, generatywnych modeli sztucznej inteligencji. Rośnie zainteresowanie rozwiązaniami LLM typu open source, takimi jak Lama Meta.
Pojawiają się modele, które mogą działać na słabszym sprzęcie, pochodzące od takich firm jak francuski Mistral, a także modele specyficzne dla danego sektora.
Naukowcy również nad tym pracują małe modele językowe. Mogłyby one lepiej nadawać się do obsługi najbardziej wrażliwych danych i łatwiej byłoby je uruchamiać wewnętrznie. Docelowo modele te będą mogły działać na serwerze spełniającym standardy branżowe, a choćby na wydajnym laptopie. Jednak te opcje stanowią zupełnie inną propozycję niż prowadzenie we własnym zakresie LLM obecnej generacji, szczególnie w fazach szkolenia i dostrajania.
Własne działanie AI – względy praktyczne
Przedsiębiorstwa, które chcą we własnym zakresie obsługiwać zadania związane ze sztuczną inteligencją, muszą porównać wymagania techniczne i początkowe koszty infrastruktury IT z bieżącymi i potencjalnie rosnącymi kosztami chmury.
„Uruchamianie obciążeń AI lokalnie wiąże się z kilkoma wyzwaniami, w tym wysokimi kosztami sprzętu, wymaganiami dotyczącymi zasilania i chłodzenia oraz ciągłymi wymaganiami konserwacyjnymi. Budowa infrastruktury zdolnej do obsługi wielkoskalowych modeli GenAI jest kapitałochłonna” – ostrzega Van Gelderen z PA Consulting. „W fazie szkoleniowej, gdzie potrzebne są duże zbiory danych i ogromna moc obliczeniowa, środowiska chmurowe często zapewniają wyraźną przewagę”.
Porażka w chmurze jest tania, ale odniesienie sukcesu jest drogie
Firmy muszą także rozważyć, czy dysponują wymaganą przestrzenią, mocą i komponentami w centrum danych.
Specjalistyczny sprzęt AI, zwłaszcza procesory graficzne (GPU), jest drogi i może być trudny do zdobycia. Osoby zajmujące się hiperskalowalnością i ich klienci korzystający z sztucznej inteligencji w chmurze mają masowy dostęp do procesorów graficznych. „Zapotrzebowanie na [GPU] podaż chipsetów przewyższa podaż” – mówi Gasparini z KPMG. „Dlatego korporacjom pozostało bardzo kilka do skonsumowania”.
Przedsiębiorstwa mogą być zmuszone przyjrzeć się modelom wymagającym mniej zasobów w przypadku lokalnych implementacji sztucznej inteligencji, które można uruchomić na istniejącym sprzęcie.
Istnieją jednak argumenty przemawiające za efektywnością. Na etapie wnioskowania modele sztucznej inteligencji mogą równie dobrze działać stale, co sprawia, iż ich wewnętrzne uruchamianie jest bardziej ekonomiczne, pod warunkiem, iż przedsiębiorstwa dysponują odpowiednią wydajnością centrum danych.
„Ponowne umieszczanie rzeczy w centrum danych jest dobrym rozwiązaniem, biorąc pod uwagę profil kosztów, zwłaszcza jeżeli tak się dzieje [the models] będą działać przez cały czas” – sugeruje Caley z NetApp. „Jeśli zamierzasz uruchamiać kilka procesorów graficznych tylko na 10 godzin, aby wykonać projekt, być może chmura będzie do tego lepsza”.
Smith z Pure Storage zgadza się z tym. „Porażka w chmurze jest tania, ale odniesienie sukcesu jest drogie” – mówi. „Zrób tam prototyp – możesz to wszystko wyrzucić, jeżeli nie pójdzie zgodnie z planem. Ale kiedy wdrożysz go do produkcji, ponieważ udowodniłeś swój zwrot z inwestycji, udowodniłeś, iż jest to cenna usługa biznesowa i chcesz się skupić na potencjalnych kosztach.
To ostatecznie prawdopodobnie skłoni organizacje do znalezienia modeli sztucznej inteligencji, które będą współpracować z infrastrukturą IT, którą posiadają lub na którą mogą sobie pozwolić, zamiast polegać na chmurze w ramach długoterminowej strategii sztucznej inteligencji.
