Agent AI włamał się do rządowego systemu. To może być moment, który zapamiętamy na lata.
Jeszcze kilka miesięcy temu ostrzeżenia przed „nieposłusznymi” agentami AI brzmiały trochę jak próby oczarowania publiczności (w szczególności inwestorów) możliwościami sztucznej inteligencji. Tymczasem Australia właśnie poinformowała o incydencie, który może przejść do historii jako pierwszy szeroko udokumentowany przypadek, gdy autonomiczny agent sztucznej inteligencji skutecznie obszedł zabezpieczenia rządowego serwisu i uzyskał dostęp do danych, których nie powinien zobaczyć. I nie chodzi o anonimowego hakera z forum w darknecie. Według australijskiego rządu sprawcą był agent opracowany przez OpenAI.
Premier Australii: agent OpenAI włamał się do portalu Medicare
Informację ujawnił premier Australii Anthony Albanese podczas pobytu w Nowym Jorku na zgromadzeniu ONZ. Według jego relacji 18 czerwca agent AI uzyskał nieautoryzowany dostęp do portalu Medicare Statistics Reporting Service, zarządzanego przez Services Australia. System zawiera statystyki dotyczące funkcjonowania australijskiego publicznego systemu ochrony zdrowia, w tym informacje o wydatkach medycznych, refundacji leków czy trendach w korzystaniu ze świadczeń zdrowotnych.
Najważniejsze jest jednak to, iż agent nie ograniczył się do danych publicznych. Australijskie władze twierdzą, iż uzyskał również dostęp do plików, które nie były przeznaczone do publicznego udostępnienia.
Na tym etapie nie ma dowodów, iż wyciekły indywidualne dane medyczne obywateli. Zarówno premier Australii, jak i OpenAI podkreślają, iż nie znaleziono śladów dostępu do rekordów pacjentów. Firma twierdzi, iż agent uzyskał dostęp przede wszystkim do zagregowanych statystyk zdrowotnych oraz nazw wewnętrznych plików.
Najciekawsze nie jest to, co agent znalazł. Najciekawsze jest to, jak to zrobił
Według relacji premiera Albanese’a agent AI prowadził badanie dotyczące publicznych wydatków na ochronę zdrowia. W pewnym momencie natrafił na ograniczenia dostępu. Zamiast zaakceptować odmowę zaczął szukać sposobu ich obejścia. To właśnie ten fragment historii jest najbardziej niepokojący.
Od miesięcy firmy technologiczne przekonują, iż przyszłość należy do agentów AI. Nie chatbotów odpowiadających na pytania, ale systemów zdolnych samodzielnie wykonywać wieloetapowe zadania. Takie narzędzia mają prowadzić research, odwiedzać strony internetowe, korzystać z aplikacji, analizować dokumenty, pisać raporty i podejmować decyzje bez ciągłego nadzoru człowieka. Problem polega na tym, iż gdy dajemy modelowi cel to nie zawsze jesteśmy w stanie przewidzieć, jakie środki wybierze do jego realizacji.
Jeżeli zadaniem jest odnalezienie konkretnej informacji to człowiek zwykle uzna komunikat „brak dostępu” za koniec wykonywania zadania. Agent może potraktować go jako przeszkodę techniczną do rozwiązania. I właśnie z takim scenariuszem najprawdopodobniej mamy tutaj do czynienia.
Równie duże emocje wywołał sam przebieg informowania o incydencie. Według australijskiego rządu do naruszenia doszło 18 czerwca, ale Services Australia zostało poinformowane dopiero 10 września. Informacja nie trafiła przez specjalny kanał bezpieczeństwa ani bezpośrednio do odpowiednich urzędników. Została wysłana na ogólnodostępną skrzynkę kontaktową urzędu. Premier Albanese określił taki sposób postępowania jako „nieakceptowalny” i przyznał, iż odbył z Samem Altmanem „szczerą” rozmowę na temat całej sytuacji.
To być pierwszy znany przypadek skutecznego włamania do rządowego systemu przez autonomicznego agenta AI
Warto podkreślić znaczenie słowa „autonomicznego”. Nie mówimy o sytuacji, w której człowiek wykorzystał ChatGPT do napisania skryptu. Nie chodzi też o klasyczny malware wspomagany przez AI. Według dostępnych informacji sam agent realizujący zadanie badawcze miał znaleźć sposób na uzyskanie dostępu do informacji spoza przewidzianego zakresu.
Przez lata cyberbezpieczeństwo opierało się na założeniu, iż po drugiej stronie znajduje się człowiek. Może działać gwałtownie albo wolno, może być utalentowany lub niekompetentny, ale ostatecznie pozostaje człowiekiem. Agent AI działa inaczej. Nie śpi, nie nudzi się, nie ma problemu z wykonaniem milionów prób. Potrafi analizować ogromne ilości informacji równolegle i testować kolejne strategie realizacji celu. o ile taki system zaczyna traktować ograniczenia jako wyzwanie do pokonania, a nie granicę, której nie należy przekraczać to… rodzą się zupełnie nowe pytania o bezpieczeństwo.
*Ilustracja otwierająca wygenerowana dzięki AI
