W ostatnich miesiącach na firmie zajmującej się zarządzaniem oprogramowaniem, JFrog, spoczęła uwaga na ważnym, aczkolwiek mało nagłaśnianym problemie cyberbezpieczeństwa – atakach polegających na manipulacji danymi w modelach sztucznej inteligencji (AI) oraz uczenia maszynowego (ML). Kiedy zespół badawczy postanowił przeanalizować modele AI/ML umieszczone na platformie Hugging Face, odkrył ponad sto modeli ze złośliwą zawartością. Takie odkrycia podkreślają rosnące znaczenie problematyki tzw. „data poisoning”.
Czym jest manipulacja danymi?
Ataki polegające na manipulacji danymi wyróżniają się tym, iż koncentrują się na danych treningowych używanych do budowy modeli AI/ML. Działania te są często trudne do wykrycia i uniemożliwiają wprowadzenie odpowiednich środków zaradczych. W przeciwieństwie do tradycyjnych cyberataków, manipulacja danymi nie wymaga skomplikowanego hakowania – wystarczy, iż ktoś wprowadzi złośliwe dane do zbioru treningowego. Przykładem takiego ataku jest próba nakłonienia modelu AI do wygenerowania fałszywego wyniku poprzez modyfikację dostarczanych mu danych. To zjawisko występuje w dwóch głównych formach: przed i po wdrożeniu modelu.
Złożoność problemu
Ciekawym aspektem badania JFrog jest fakt, iż w złośliwych modelach zaszyte były payloady, które wyglądały jak próbki wykorzystywane przez badaczy do prezentacji luk w zabezpieczeniach. Wskazówki sugerują, iż za tymi atakami mogą stać osoby związane z KREOnet, Koreańską Siecią Badawczą. Historia ataków na dane treningowe sięga początków uczenia maszynowego – już dziesięć lat temu demonstracje subtelnych ataków pokazano, gdzie zmodyfikowane dane prowadziły do błędnych wyników z dużą pewnością modelu.
Obecnie, złożoność modelowania AI, wraz z różnorodnością danych używanych do nauki, stwarza poważne wyzwania w zakresie wykrywania i śledzenia złośliwego kodu. Przemiany w algorytmach AI a także ich interakcje mogą prowadzić do nieprzewidywalnych rezultatów, co wzmacnia problemy związane z bezpieczeństwem.
Jak się bronić?
Eksperci w dziedzinie cyberbezpieczeństwa podkreślają znaczenie odpowiednich działań w prewencji ataków polegających na manipulacji danymi. Najważniejsze kroki powinny być skoncentrowane na etapie treningu danych oraz algorytmach. Organizacja OWASP sugeruje, aby nie zaniedbywać źródeł danych — zarówno tych wewnętrznych, jak i zewnętrznych — i regularnie je weryfikować. Dodatkowo, ważne jest „sanitizowanie” danych dzięki metod detekcji anomalii.
Przy istniejących zagrożeniach, niezbędne jest także przeprowadzanie testów penetracyjnych oraz symulowanie ataków, aby potwierdzić odporność systemów AI. W przypadku wprowadzenia złośliwych danych, zaleca się zastosowanie różnych algorytmów, które na podstawie porównania wyników mogą zapobiegać błędnym predykcjom.
Podsumowując, ignorowanie problematyki związanej z manipulacją danymi w modelach AI może prowadzić do poważnych zagrożeń, w tym do wykonania złośliwego kodu czy też udanych ataków phishingowych. W obliczu rosnącej liczby złożonych systemów AI, kooperacja na poziomie globalnym w celu wzmocnienia zabezpieczeń staje się kluczowa.
Źródło: techradar.com: Data poisoning attacks: Sounding the alarm on GenAI’s silent killer.
