Microsoft ostrzega: ukryte backdoory w agentach AI można osadzić przez modyfikację mniej niż 10 neuronów

securitybeztabu.pl 2 godzin temu

Wprowadzenie do problemu / definicja

Bezpieczeństwo modeli językowych oraz agentów AI staje się jednym z najważniejszych obszarów współczesnego cyberbezpieczeństwa. Najnowsze badania opisują scenariusz, w którym otwartowagowy model może zostać potajemnie zmodyfikowany tak, aby po wystąpieniu określonego wyzwalacza wykonywał polecenia zgodne z intencją atakującego. Szczególnie niepokojące jest to, iż taki backdoor może zostać osadzony bez pełnego retreningu modelu i przy zmianie zaledwie kilku neuronów.

Problem dotyczy zwłaszcza agentów AI zintegrowanych z narzędziami systemowymi, środowiskami programistycznymi, zasobami sieciowymi i danymi firmowymi. W takim układzie pozornie niewielka modyfikacja modelu może prowadzić do poważnego incydentu bezpieczeństwa.

W skrócie

Badacze pokazali, iż backdoor w modelu AI można osadzić przez bezpośrednią edycję mniej niż 10 neuronów.
Technika Lazarus pozwala ukryć złośliwe zachowanie, które aktywuje się dopiero po wystąpieniu konkretnego triggera.
Zmodyfikowany model może działać normalnie podczas standardowych testów jakości i benchmarków.
Największe ryzyko dotyczy agentów AI mających możliwość wykonywania komend, pobierania plików lub dostępu do danych.
Skuteczna obrona wymaga kontroli integralności checkpointów, audytu pochodzenia modelu i ograniczania uprawnień agentów.

Kontekst / historia

Ataki na łańcuch dostaw w ekosystemie AI nie są nowością, jednak dotychczas duża część uwagi koncentrowała się na zatruwaniu danych treningowych, złośliwych fine-tune’ach oraz błędach w warstwie aplikacyjnej. Opisana technika przesuwa punkt ciężkości na same wagi modelu, czyli jeden z najbardziej podstawowych elementów całego systemu.

W praktyce oznacza to, iż napastnik nie musi wpływać na dane wejściowe ani na aplikację sterującą agentem. Wystarczy podmiana checkpointu przed wdrożeniem. Taki scenariusz może być efektem działania insidera, przejęcia konta publikującego model, kompromitacji pipeline’u build/deploy albo dystrybucji zmanipulowanej wersji modelu przez publiczne repozytorium.

To szczególnie ważne dla organizacji, które automatycznie pobierają modele z zewnętrznych hubów, następnie je kwantyzują, przepakowują lub dostrajają, a później wdrażają w środowiskach produkcyjnych bez pełnego audytu integralności.

Analiza techniczna

Technika określana jako Lazarus opiera się na identyfikacji neuronów aktywujących się bardzo rzadko i mających niewielki wpływ na standardowe odpowiedzi modelu. Następnie ich parametry są modyfikowane tak, by reagowały wyłącznie na określony trigger. Taki wyzwalacz może pojawić się zarówno w promptach użytkownika, jak i w danych dostarczanych agentowi przez zewnętrzne narzędzia.

Każdy zmodyfikowany neuron może odpowiadać za wygenerowanie konkretnego tokenu w złośliwej komendzie. Oznacza to, iż krótkie polecenie systemowe można zaszyć przy użyciu bardzo małej liczby zmian. Co istotne, metoda nie wymaga pełnego ponownego treningu modelu. Parametry mogą zostać wyliczone bezpośrednio i dopracowane tylko w obrębie zmienionych neuronów.

W jednym z opisanych scenariuszy agent odpowiedzialny za naprawę serwera Node.js zachowywał się poprawnie przez kilka tur interakcji. Dopiero po wystąpieniu określonego błędu połączenia model wygenerował polecenie pobrania i uruchomienia zdalnego skryptu. To pokazuje, jak skutecznie złośliwe zachowanie może pozostać ukryte do momentu spełnienia warunku aktywacji.

W testach uzyskano bardzo wysoką skuteczność aktywacji backdoora przy minimalnej liczbie zmian. W jednym przypadku wystarczyło zmodyfikować siedem neuronów spośród ponad 12 tysięcy neuronów w końcowej warstwie feed-forward, aby osiągnąć skuteczność uruchomienia komendy przekraczającą 98%. Jednocześnie model zwykle nie ujawniał złośliwego działania poza scenariuszami z triggerem, a spadek jakości w benchmarkach pozostawał ograniczony.

Badacze analizowali również możliwości detekcji. Najskuteczniejsze okazało się porównywanie checkpointu z oryginalnym modelem bazowym, co pozwala wykryć nienaturalne zmiany w niewielkiej liczbie wektorów wag. Wykrywanie bez dostępu do wersji referencyjnej było znacznie trudniejsze i wiązało się z ograniczoną skutecznością oraz ryzykiem fałszywych alarmów.

Konsekwencje / ryzyko

Największe ryzyko dotyczy agentów AI mających dostęp do wykonywania poleceń powłoki, edycji kodu, systemów plików, usług chmurowych czy narzędzi sieciowych. W takim modelu zagrożenia skala samej modyfikacji jest mniej istotna niż uprawnienia przyznane agentowi.

Pojedyncza aktywacja backdoora może skutkować zdalnym wykonaniem kodu, pobraniem kolejnych komponentów malware, eksfiltracją danych lub trwałym naruszeniem środowiska. Problem jest szczególnie trudny dla zespołów SOC, DevSecOps i MLOps, ponieważ zmodyfikowany model może wyglądać na w pełni sprawny podczas standardowych testów funkcjonalnych.

Ryzyko rośnie w organizacjach, które korzystają z modeli pochodzących z wielu źródeł, łączą checkpointy, stosują adaptery lub wdrażają zewnętrzne wersje kwantyzowane. Każda dodatkowa transformacja utrudnia potwierdzenie pochodzenia modelu i komplikuje walidację integralności wag.

Rekomendacje

Organizacje wdrażające agentów AI powinny traktować modele jako artefakty wysokiego ryzyka w łańcuchu dostaw. Podstawą powinno być potwierdzanie pochodzenia checkpointów oraz ich porównywanie z deklarowanym modelem bazowym przed wdrożeniem i po każdej aktualizacji.

Ograniczyć pobieranie modeli wyłącznie do zaufanych źródeł.
Weryfikować hashe, podpisy cyfrowe i integralność plików, jeżeli takie mechanizmy są dostępne.
Traktować fine-tune’y, merge’e, adaptery i wersje kwantyzowane od stron trzecich jako nieufne do czasu zakończenia audytu.
Utrzymywać prywatny rejestr zatwierdzonych modeli dopuszczonych do użycia produkcyjnego.
Zablokować agentom możliwość samodzielnego pobierania checkpointów z publicznych repozytoriów.
Stosować zasadę najmniejszych uprawnień wobec agentów AI.
Uruchamiać kod generowany przez agenta wyłącznie w izolowanych sandboxach z ograniczoną łącznością wychodzącą.
Wymagać jawnej akceptacji człowieka dla operacji wysokiego ryzyka, takich jak wykonywanie komend systemowych, transfer danych i zmiany infrastrukturalne.
Uzupełniać kontrolę integralności skanowaniem behawioralnym pod kątem ukrytych triggerów i nietypowych reakcji modelu.

Warto podkreślić, iż samo testowanie zachowania modelu nie daje pełnej ochrony. Dobrze ukryty backdoor może nie ujawnić się podczas rutynowych prób, dlatego kontrola wag i pochodzenia checkpointu pozostaje kluczowa.

Podsumowanie

Technika Lazarus pokazuje, iż bezpieczeństwo agentów AI nie kończy się na ochronie promptów, danych wejściowych czy integracji z narzędziami. Sam checkpoint modelu może stać się nośnikiem ukrytego backdoora, który pozostaje niewidoczny dla standardowych testów jakości.

Dla zespołów bezpieczeństwa oznacza to konieczność rozszerzenia klasycznego podejścia do supply chain security o warstwę modeli AI. Weryfikacja pochodzenia, audyt wag, izolacja wykonania oraz ścisła kontrola uprawnień agentów stają się niezbędnymi elementami bezpiecznego wdrażania systemów opartych na modelach językowych.