Naukowcy z Neapolu pokazali, iż duże modele językowe potrafią wspólnie tworzyć działające ataki na systemy – bez udziału człowieka, dzięki samego dialogu między agentami AI.
Naukowcy z Uniwersytetu Neapol przeprowadzili eksperyment, który udowadnia, iż współczesne modele językowe potrafią już dziś współpracować, by automatycznie generować działające ataki na podatne systemy. W przygotowanej przez badaczy symulacji jeden model analizował oprogramowanie i prowadził „rozmowę techniczną”, drugi – na podstawie tych danych – pisał działający exploit, wykorzystując klasyczną podatność typu buffer overflow.
Kluczowe w tej metodzie było rozdzielenie zadań: pierwszy LLM (duży model językowy) przejmował inicjatywę, zadawał pytania, zbierał informacje o działaniu aplikacji i oceniał, czy występują luki. Drugi model, działając na podstawie tych informacji, generował dokładny kod ataku. Cały proces – od wykrycia podatności, przez analizę, aż po stworzenie funkcjonalnego exploita – odbywał się jako konwersacja między dwoma agentami AI, bez ingerencji człowieka.
Wyniki eksperymentu pokazują, iż duże modele językowe mogą automatyzować skomplikowane testy penetracyjne, które do tej pory były zarezerwowane dla specjalistów z zaawansowaną wiedzą z zakresu bezpieczeństwa i programowania. Otwiera to zupełnie nowe możliwości zarówno dla zespołów zajmujących się ochroną systemów, jak i – niestety – dla cyberprzestępców.
Badacze podkreślają, iż ta sama technologia może służyć dobru – np. automatycznego wykrywania i łatwego raportowania luk w oprogramowaniu firm – jak i złu, umożliwiając osobom bez wiedzy technicznej tworzenie narzędzi ataku. To wyraźna zmiana w układzie sił – coś, co jeszcze niedawno było domeną elitarnych hakerów, staje się dziś dostępne dzięki powszechnie dostępnym modelom AI.
W kolejnej fazie badań zespół z Neapolu pracuje nad autonomicznymi agentami AI, które nie tylko będą prowadzić dialog, ale też samodzielnie podejmować decyzje o kolejnych krokach ataku. Taki rozwój sytuacji rodzi poważne pytania o bezpieczeństwo, etykę i pilną potrzebę stworzenia skutecznych mechanizmów kontroli sztucznej inteligencji.
