Sztuczna inteligencja (AI) przez cały czas rozwija się w niespotykanym dotąd tempie, Agenci AI wyłania się jako szczególnie potężna i transformacyjna technologia. Te agenty, zasilane zaawansowanymi modelami firm takich jak OpenAI i Microsoft, są integrowane z różne produkty korporacyjneoferując znaczące korzyści w zakresie automatyzacji i wydajności. Jednak agenci AI niosą ze sobą szereg nowych ryzyk i zagrożeń bezpieczeństwa, z którymi organizacje muszą się proaktywnie zmierzyć.
Zrozumienie unikalnych ryzyk związanych z agentami AI
Agenci AI nie są po prostu kolejną iteracją modeli AI; reprezentują fundamentalną zmianę w sposobie interakcji AI ze środowiskami cyfrowymi i fizycznymi. Agenci ci mogą działać autonomicznie lub półautonomicznie, podejmując decyzje, podejmując działania i osiągając cele przy minimalnej ingerencji człowieka. Podczas gdy ta autonomia otwiera nowe możliwości, znacznie rozszerza również powierzchnię zagrożenia.
Tradycyjnie ryzyka związane z AI ograniczały się do danych wejściowych, przetwarzania i wyników modeli, wraz z lukami w warstwach oprogramowania, które je organizują. Jednak w przypadku agentów AI ryzyka wykraczają daleko poza te granice. Łańcuch zdarzeń i interakcji inicjowanych przez agentów AI może być ogromny i złożony, często niewidoczny dla operatorów ludzkich. Ten brak widoczności może prowadzić do poważnych problemów z bezpieczeństwem, ponieważ organizacje mają trudności z monitorowaniem i kontrolowaniem działań agentów w czasie rzeczywistym.
Wśród najpilniejszych ryzyko to ujawnienie i eksfiltracja danych, które mogą wystąpić w dowolnym punkcie łańcucha zdarzeń sterowanych przez agentów. Nieograniczone zużycie zasobów systemowych przez agentów AI – łagodnych lub złośliwych – może prowadzić do scenariuszy odmowy usługi lub portfela, w których zasoby systemowe są przeciążone. Być może bardziej niepokojące jest potencjalne ryzyko nieautoryzowanych lub złośliwych działań podejmowanych przez wprowadzonych w błąd agentów autonomicznych, w tym „przejęcia agenta” przez aktorów zewnętrznych.
Ryzyko na tym się nie kończy. Błędy kodowania w agentach AI mogą prowadzić do niezamierzonych naruszeń danych lub innych zagrożeń bezpieczeństwa, podczas gdy korzystanie z bibliotek lub kodu stron trzecich wprowadza ryzyko łańcucha dostaw, które może zagrozić zarówno środowiskom AI, jak i nie-AI. Twarde kodowanie poświadczeń w agentach, powszechna praktyka w środowiskach programistycznych low-code lub no-code, dodatkowo pogarsza problemy z zarządzaniem dostępem, ułatwiając atakującym wykorzystywanie tych agentów do niegodziwych celów.
Trzy podstawowe kontrole łagodzące ryzyko związane z agentami AI
Biorąc pod uwagę wieloaspektowe ryzyko związane z agentami AI, organizacje powinny wdrożyć solidne kontrole, aby skutecznie zarządzać tymi zagrożeniami. Pierwszym krokiem w łagodzeniu ryzyka związanego z agentami AI jest zapewnienie kompleksowego widoku i mapy wszystkich działań agentów, procesów, połączeń, narażeń danych i przepływów informacji. Ta widoczność jest kluczowa dla wykrywania anomalii i zapewnienia, iż interakcje agentów są zgodne z politykami bezpieczeństwa przedsiębiorstwa. Należy również utrzymywać niezmienny ślad audytu interakcji agentów w celu wsparcia rozliczalności i możliwości śledzenia.
Niezbędny jest również szczegółowy panel, który śledzi, w jaki sposób są wykorzystywani agenci AI, ich wydajność w stosunku do zasad przedsiębiorstwa oraz ich zgodność z wymogami bezpieczeństwa, prywatności i prawnymi. Panel ten powinien również integrować się z istniejącymi wymogami przedsiębiorstwa. zarządzanie tożsamością i dostępem (IAM) w celu wymuszenia dostępu z minimalnymi uprawnieniami i zapobiegania nieautoryzowanym działaniom agentów AI.
Gdy kompleksowa mapa działań agentów jest już gotowa, rozważ ustanowienie mechanizmów wykrywania i oznaczania wszelkich anomalii lub działań naruszających zasady. Należy ustalić zachowania bazowe w celu identyfikacji transakcji odstających, które następnie można rozwiązać dzięki automatycznej naprawy w czasie rzeczywistym.
Biorąc pod uwagę szybkość i wolumen interakcji agentów AI, sami ludzie nie są w stanie skalować wymaganego nadzoru i naprawy. Dlatego należy wdrożyć narzędzia, które mogą automatycznie zawieszać i naprawiać nieuczciwe transakcje, przekazując jednocześnie wszelkie nierozwiązane problemy operatorom ludzkim w celu manualnego przeglądu.
Ostateczna kontrola obejmuje zastosowanie automatycznej naprawy w czasie rzeczywistym w celu rozwiązania wykrytych anomalii. Może to obejmować działania takie jak redagowanie poufnych danych, wymuszanie dostępu z minimalnymi uprawnieniami i blokowanie dostępu w przypadku wykrycia naruszeń. Należy również upewnić się, iż są utrzymywane listy odrzuconych wskaźników zagrożeń i plików, do których agenci AI nie mają dostępu. Należy ustanowić ciągłą pętlę monitorowania i sprzężenia zwrotnego w celu identyfikowania i korygowania wszelkich niepożądanych działań wynikających z niedokładności agentów AI.
W miarę jak agenci AI są coraz bardziej integrowani ze środowiskami przedsiębiorstw, nie można ignorować związanych z tym ryzyk i zagrożeń bezpieczeństwa. Organizacje muszą edukować się na temat tych nowych ryzyk i wdrażać niezbędne kontrole, aby je łagodzić. Poprzez przeglądanie i mapowanie wszystkich działań agentów AI, wykrywanie i oznaczanie anomalii oraz stosowanie środków zaradczych w czasie rzeczywistym, firmy mogą wykorzystać moc agentów AI, jednocześnie utrzymując solidne środki bezpieczeństwa. W tym gwałtownie zmieniającym się krajobrazie proaktywne zarządzanie ryzykiem nie jest tylko opcją – jest koniecznością.
Avivah Litan jest wybitnym VP Analyst w Gartner. Zarządzanie ryzykiem cyfrowym i strategie odporności cyberbezpieczeństwa zostaną omówione dalej na Szczyt Bezpieczeństwa i Zarządzania Ryzykiem 2024 w Londynie, od 23 do 25 września.
