OWASP aktualizuje wytyczne bezpieczeństwa GenAI i przedstawia nową matrycę narzędzi dla systemów agentowych

Wprowadzenie do problemu / definicja

OWASP zaktualizował projekt poświęcony bezpieczeństwu generatywnej sztucznej inteligencji, odpowiadając na rosnącą skalę wdrożeń modeli LLM, aplikacji GenAI oraz środowisk agentowych. Najważniejsza zmiana polega na wyraźnym rozdzieleniu zagadnień bezpieczeństwa klasycznych systemów GenAI i LLM od ryzyk adekwatnych dla agentic AI, czyli architektur, w których modele nie tylko generują odpowiedzi, ale również wykonują działania, korzystają z narzędzi i współpracują z innymi agentami.

To istotna zmiana perspektywy, ponieważ współczesne wdrożenia AI coraz częściej wykraczają poza prosty interfejs konwersacyjny. W praktyce oznacza to konieczność budowy nowych mechanizmów kontroli, obserwowalności i governance, które uwzględniają zarówno warstwę modeli, jak i rzeczywiste operacje wykonywane przez AI w systemach organizacji.

W skrócie

• OWASP opublikował zaktualizowany krajobraz bezpieczeństwa AI z osobnymi ścieżkami dla GenAI/LLM oraz agentic AI.
• Projekt identyfikuje 21 ryzyk związanych z generatywną AI oraz dodatkowe 21 zagrożeń dotyczących bezpieczeństwa danych w środowiskach AI.
• Nowa matryca narzędzi mapuje rozwiązania komercyjne i open source do etapów cyklu życia AI na styku DevOps i SecOps.
• Liczba monitorowanych dostawców i narzędzi wzrosła z około 50 do ponad 170, co pokazuje tempo rozwoju rynku bezpieczeństwa AI.

Kontekst / historia

Projekt OWASP dotyczący bezpieczeństwa GenAI wyrósł z wcześniejszych prac nad najważniejszymi ryzykami dla aplikacji opartych o duże modele językowe. Początkowo uwaga rynku koncentrowała się przede wszystkim na prompt injection, halucynacjach modeli, ujawnianiu danych oraz podstawowych błędach integracyjnych. Wraz z dojrzewaniem adopcji AI ten zakres okazał się jednak zbyt wąski.

Organizacje zaczęły wdrażać systemy, w których modele uzyskują dostęp do zewnętrznych źródeł danych, repozytoriów wiedzy, aplikacji SaaS, narzędzi automatyzacyjnych czy środowisk produkcyjnych. Taka ewolucja doprowadziła do wzrostu znaczenia zagadnień związanych z kontrolą działań agentów, bezpieczeństwem danych, obserwowalnością procesów oraz zgodnością z politykami organizacyjnymi.

OWASP sygnalizuje również przejście projektu na bardziej regularny, półroczny rytm publikacji. To sugeruje dojrzewanie obszaru bezpieczeństwa AI, choć tempo zmian technologicznych i liczba nowych klas ryzyk przez cały czas pozostają bardzo wysokie.

Analiza techniczna

Najważniejszym elementem aktualizacji jest podział krajobrazu bezpieczeństwa na dwa główne obszary. Pierwszy obejmuje LLM i aplikacje GenAI, gdzie dominują zagrożenia takie jak prompt injection, niekontrolowane ujawnianie danych, niebezpieczne odpowiedzi modelu, słabości w architekturach RAG oraz błędy integracji modeli z procesami biznesowymi. Drugi obszar koncentruje się na agentic AI, czyli systemach zdolnych do wykonywania działań, używania narzędzi i współpracy z innymi komponentami lub agentami.

W środowiskach agentowych pojawiają się dodatkowe klasy zagrożeń. Należą do nich dryf celu, niebezpieczne wykonywanie poleceń przez narzędzia, koluzja między agentami, obchodzenie granic bezpieczeństwa w celu realizacji zadania oraz ryzyka związane z nowymi protokołami integracyjnymi. W praktyce oznacza to zwiększenie powierzchni ataku i potrzebę wdrażania osobnych mechanizmów kontroli dla warstwy wykonawczej.

Duże znaczenie ma także nowa matryca narzędzi, której celem jest uporządkowanie gwałtownie rosnącego rynku rozwiązań ochronnych. Matryca odwzorowuje pełny cykl życia AI — od projektowania i budowy, przez testowanie i wdrożenie, po monitoring, governance i zgodność. To ważne, ponieważ bezpieczeństwo AI nie może ograniczać się jedynie do filtracji promptów. Konieczne stają się również mechanizmy odkrywania aktywności AI, klasyfikacji danych, egzekwowania polityk, walidacji zachowania agentów, testów red teamingowych oraz ciągłej obserwacji interakcji modeli z danymi i narzędziami.

OWASP podkreśla również odrębny wymiar ryzyk związanych z danymi. Obejmują one wyciek danych wrażliwych przez prompty i odpowiedzi modeli, zatruwanie danych treningowych lub pamięci osadzeń, kompromitację wynikającą z użycia zewnętrznych narzędzi i źródeł danych, nieautoryzowane przepływy generowane przez shadow AI oraz ekspozycję tożsamości agentów i używanych przez nie poświadczeń.

Konsekwencje / ryzyko

Dla organizacji oznacza to, iż wdrażanie AI bez wyspecjalizowanego modelu bezpieczeństwa może prowadzić do incydentów trudnych do wykrycia i jeszcze trudniejszych do odtworzenia. Systemy GenAI i agentowe są dynamiczne, zależne od kontekstu, danych wejściowych, pamięci operacyjnej oraz zewnętrznych konektorów, co utrudnia klasyczne modelowanie zagrożeń i tradycyjne podejście AppSec.

Najpoważniejsze konsekwencje obejmują utratę poufności danych, nadużycie uprawnień przez agentów, wykonywanie nieautoryzowanych operacji, propagację błędnych decyzji w architekturach wieloagentowych oraz wzrost ryzyka kompromitacji przez zależności zewnętrzne. Dodatkowym wyzwaniem pozostaje skala, ponieważ w dużych organizacjach liczba interakcji AI może rosnąć do tysięcy lub dziesiątek tysięcy wywołań, co znacząco utrudnia ich ewidencję i kontrolę.

Ryzyko staje się szczególnie wysokie tam, gdzie AI jest bezpośrednio połączona z procesami biznesowymi, automatyzacją operacyjną, systemami SaaS, repozytoriami kodu, bazami wiedzy i infrastrukturą produkcyjną. W takich środowiskach choćby pojedynczy błąd logiczny lub skuteczny prompt injection może skutkować nie tylko wyciekiem informacji, ale również realnym wykonaniem działań w systemach organizacji.

Rekomendacje

Podstawowym krokiem powinno być zbudowanie pełnej widoczności użycia AI w środowisku organizacji. Obejmuje to inwentaryzację modeli, agentów, źródeł danych, konektorów, pamięci kontekstowych oraz narzędzi uruchamianych przez agentów. Bez takiej obserwowalności trudno mówić o skutecznej ochronie lub egzekwowaniu polityk bezpieczeństwa.

Konieczne jest również rozdzielenie kontroli bezpieczeństwa dla klasycznych systemów LLM/GenAI i dla agentic AI. Choć obie warstwy są ze sobą powiązane, różnią się sposobem działania oraz profilem ryzyka. W przypadku agentów potrzebne są dodatkowe zabezpieczenia, takie jak sandboxing narzędzi, ograniczanie uprawnień, walidacja celów, kontrola działań wykonawczych oraz monitoring decyzji podejmowanych autonomicznie.

Organizacje powinny także włączyć bezpieczeństwo AI do procesów DevSecOps i SecOps. W praktyce oznacza to testowanie promptów i przepływów agentowych, ocenę ryzyka dla danych wejściowych i wyjściowych, klasyfikację danych wrażliwych, kontrolę użycia zewnętrznych modeli i usług, a także ciągły monitoring zgodności działań AI z polityką organizacyjną.

Warto traktować bezpieczeństwo danych jako osobny filar programu ochrony AI. Ochrona przed wyciekami, poisoningiem, nieautoryzowanymi transferami oraz kompromitacją przez narzędzia stron trzecich powinna być wdrażana równolegle z zabezpieczeniami aplikacyjnymi. Uzupełnieniem tego podejścia powinien być red teaming dla agentów, analiza scenariuszy nadużyć wieloagentowych oraz kontrola łańcucha dostaw komponentów AI.

Podsumowanie

Aktualizacja projektu OWASP pokazuje, iż bezpieczeństwo AI wchodzi w nowy etap. Rynek odchodzi od prostego zabezpieczania pojedynczych modeli LLM i przechodzi do ochrony złożonych środowisk agentowych, rozbudowanych przepływów danych i autonomicznych działań wykonywanych przez AI. Nowa matryca narzędzi porządkuje ten obszar, ale jednocześnie potwierdza, iż tradycyjne podejście AppSec nie wystarcza.

Dla organizacji najważniejsze stają się dziś widoczność, governance, ochrona danych i ścisła kontrola granic działania agentów. To właśnie te elementy będą decydować o tym, czy wdrożenia GenAI i agentic AI staną się bezpiecznym wsparciem biznesu, czy nowym źródłem trudnych do opanowania incydentów.

Źródła

1. https://www.darkreading.com/application-security/owasp-genai-security-project-update-matrix
2. https://genai.owasp.org/
3. https://genai.owasp.org/2026/03/17/owasp-genai-security-project-expands-ai-security-frameworks-ahead-of-rsa-2026-celebrates-continued-sponsor-support/
4. https://genai.owasp.org/2025/03/26/project-owasp-promotes-genai-security-project-to-flagship-status/