Wprowadzenie do problemu / definicja luki
Microsoft w najnowszej analizie opisuje przejście od „AI jako ciekawostki” do AI jako elementu rzemiosła operacyjnego (tradecraft) – czyli wpięcia modeli i narzędzi AI w codzienny łańcuch działań atakującego: od rekonesansu, przez socjotechnikę i budowę infrastruktury, po rozwój malware i działania po kompromitacji. Kluczowa obserwacja: AI bywa używana zarówno jako akcelerator (przyspiesza znane TTP), jak i jako broń (umożliwia nowe wektory, np. omijanie zabezpieczeń modeli czy półautonomiczne „agentowe” workflow).
W skrócie
- Atakujący używają AI do redukcji tarcia (mniej umiejętności → podobny efekt), zwiększenia skali (więcej prób/operacji) i podniesienia wiarygodności (lepszy język, deepfake, dopasowane persony).
- Microsoft opisuje realne nadużycia m.in. w kampaniach północnokoreańskich „remote IT workers”, gdzie AI wspiera fabrykację tożsamości, rozmowy rekrutacyjne, utrzymanie zatrudnienia i nadużycie legalnego dostępu.
- Widać sygnały przejścia w kierunku agentic AI (działania celowe w czasie, z użyciem narzędzi), choć na razie ograniczane przez niezawodność i ryzyko operacyjne.
Kontekst / historia / powiązania
Wątek „AI w rękach przeciwnika” nie jest już wyłącznie domeną phishingu. Raport Google Threat Intelligence Group opisuje, iż państwowe grupy APT traktują LLM-y jako narzędzie do researchu, targetingu i szybkiego generowania treści socjotechnicznych (często w wielu językach), co skraca cykl przygotowania kampanii.
Z drugiej strony Cloudflare wskazuje, iż GenAI pomaga automatyzować działania o wysokiej przepustowości (m.in. rozpoznanie, tworzenie deepfake, przyspieszenie prac nad exploitami) i obniża próg wejścia dla mniej doświadczonych aktorów.
W tle mamy też rosnącą potrzebę „mapowania” zagrożeń na poziomie taksonomii: MITRE ATLAS porządkuje TTP wymierzone w systemy AI/ML (od manipulacji wejściem po eksfiltrację i nadużycia pipeline’ów).
Analiza techniczna / szczegóły
Poniżej najważniejsze obszary, w których Microsoft obserwuje operacyjne użycie AI.
1) Omijanie zabezpieczeń modeli (jailbreak / nadużycia promptów)
Atakujący testują techniki „role-based jailbreak”: wymuszanie na modelu przyjęcia zaufanej roli („odpowiedz jak analityk bezpieczeństwa”) albo budowanie kontekstu legalności, aby uzyskać bardziej wrażliwe instrukcje. Microsoft opisuje też łańcuchowanie poleceń i podszywanie się pod „system/developer prompts”.
2) Rekonesans i research podatności
LLM-y są wykorzystywane jako asystent do analizy publicznych podatności i ścieżek eksploatacji. Microsoft podaje przykład obserwacji (we współpracy z OpenAI), gdzie aktor „Emerald Sleet” używał LLM do researchu CVE (m.in. CVE-2022-30190/MSDT).
3) Budowa zasobów: persony, infrastruktura, domeny
W scenariuszu „remote IT workers” (Jasper Sleet) AI wspiera:
- generowanie list imion/nazwisk i formatów adresów e-mail dopasowanych kulturowo,
- analizę ogłoszeń o pracę i ekstrakcję wymaganych umiejętności,
- dopasowanie CV/persony do konkretnej roli.
Po stronie infrastruktury Microsoft opisuje m.in. automatyzację tworzenia domen look-alike (z użyciem podejść GAN) oraz projektowanie/konfigurację tuneli, reverse proxy, VPN, z naciskiem na skalowanie i odporność.
4) Socjotechnika i „high-trust” impersonation
AI wzmacnia phishing i podszycia poprzez generowanie treści, ale też media: Microsoft wskazuje użycie Faceswap do podmiany twarzy w dokumentach i zdjęciach do CV oraz systemu do zmiany głosu w rozmowach rekrutacyjnych.
5) Rozwój malware i „ślady” kodu tworzonego z AI
W aktywności Coral Sleet Microsoft zauważa szybki wzrost możliwości dzięki AI-asystowanemu iteracyjnemu programowaniu: generowanie, poprawianie i reimplementacja komponentów malware, a choćby end-to-end workflow (lure → fałszywe strony → infrastruktura → testy → wdrożenie).
Ciekawy element obrony: Microsoft wymienia heurystyki „AI-assisted code”, np. emoji jako markery (/), konwersacyjne komentarze inline oraz „przegadane” nazewnictwo funkcji/zmiennych czy nadmierną modularność.
6) Post-compromise: analiza środowiska, selekcja danych, wymuszenia
Po kompromitacji AI działa jako przyspieszacz: streszcza logi/konfiguracje, pomaga rozpoznać „co tu jest cenne” (DC, bazy, konta uprzywilejowane), a także wspiera etap eksfiltracji i monetyzacji (kategoryzacja danych, przygotowanie komunikacji wymuszeniowej).
7) Trend: agentic AI (jeszcze nie masowo)
Microsoft widzi pierwsze sygnały użycia agentów (planowanie kroków, używanie narzędzi, adaptacja bez ciągłego promptowania), ale podkreśla, iż skala jest przez cały czas ograniczona przez niezawodność i ryzyko.
Praktyczne konsekwencje / ryzyko
- Większa przepustowość ataków: krótszy czas przygotowania kampanii i szybsze iteracje „co działa”.
- Wyższa wiarygodność: lepszy język, dopasowanie kulturowe, deepfake wideo/voice → mniej „czerwonych flag” dla człowieka.
- „Insider risk” przez legalny dostęp: wątek remote IT workers przesuwa ciężar obrony z klasycznego „włamania” na wykrywanie nadużyć zaufanych kont i długotrwałej, niskoszumowej aktywności.
- Nowa powierzchnia ataku w aplikacjach AI: prompt injection/jailbreak i ryzyka łańcucha danych (training/inference) – to obszar, który wymaga osobnych kontroli i monitoringu.
Rekomendacje operacyjne / co zrobić teraz
A) jeżeli obawiasz się „AI-wzmocnionej” socjotechniki i przejęć kont
- Egzekwuj MFA wszędzie, bez wyjątków; monitoruj anomalie logowań (np. „impossible travel”).
- Przenieś detekcję z „języka maila” na sygnały behawioralne i infrastrukturę dostarczenia (linki, wzorce wysyłki, kontekst).
B) jeżeli ryzykiem są „remote IT workers” i nadużycie legalnego dostępu
- Traktuj to jak scenariusz insider threat: telemetryka użycia danych, nietypowe dostępy, długotrwałe „low and slow”.
- W procesach HR/IT: wideo-weryfikacja, kontrola spójności tożsamości, analiza artefaktów deepfake (spójność temporalna, okluzje, synchronizacja audio-wideo). Microsoft sugeruje też użycie narzędzi do analizy obrazów, np. FaceForensics++.
C) jeżeli budujesz lub wdrażasz aplikacje oparte o LLM
- Wprowadź ochronę przed atakami na prompty (np. detekcja prompt injection / indirect attacks) oraz kontrolę „groundedness”, aby ograniczać halucynacje i odpowiedzi „oderwane” od źródeł.
- Zabezpieczaj dane używane do trenowania i działania AI zgodnie z dobrymi praktykami ochrony danych (integralność, kontrola dostępu, minimalizacja).
- Użyj MITRE ATLAS jako „checklisty TTP” do threat modelingu systemów AI/ML (mapowanie technik ataku → kontrolki → testy).
Różnice / porównania z innymi przypadkami (jeśli dotyczy)
- Microsoft mocno akcentuje „AI wpięte w łańcuch operacji” i daje przykłady z działań realnych aktorów (Jasper Sleet, Coral Sleet) – od rekrutacji po malware i nadużycia po kompromitacji.
- Google GTIG kładzie nacisk na to, iż grupy państwowe wykorzystują LLM-y jako narzędzie do researchu, targetingu i tworzenia treści socjotechnicznych szybciej i na większą skalę.
- Cloudflare opisuje „industrializację” zagrożeń: automatyzację, deepfake, przyspieszenie działań ofensywnych i spadek progu wejścia dla mniej doświadczonych aktorów.
Podsumowanie / najważniejsze wnioski
- AI nie musi tworzyć „nowych cudownych ataków”, żeby zmienić sytuację obrońców – wystarczy, iż przyspiesza i skaluje stare, sprawdzone TTP.
- Najbardziej niedoceniane ryzyko to nadużycie zaufanego dostępu (insider-like) i wzrost jakości podszyć (voice/deepfake/persony).
- Organizacje powinny równolegle: (a) utwardzać tożsamości i kanały komunikacji, (b) wdrażać zabezpieczenia specyficzne dla aplikacji LLM (prompt injection, groundedness), (c) modelować zagrożenia dla AI w oparciu o ATLAS i dobre praktyki ochrony danych.
Źródła / bibliografia
- Microsoft Security Blog – AI as tradecraft: How threat actors operationalize AI (06.03.2026) (microsoft.com)
- Google Cloud / GTIG – Distillation, Experimentation, and Integration… (12.02.2026) (Google Cloud)
- Cloudflare – Introducing the 2026 Cloudflare Threat Report (ok. 03.2026) (The Cloudflare Blog)
- CISA – AI Data Security: Best Practices… (22.05.2025) (CISA)
- MITRE – ATLAS (Adversarial Threat Landscape for AI Systems) (MITRE ATLAS)