Nowej integracji kalendarza z Chatem GPT da się użyć do wykonywania poleceń atakującego. Badacze z EdisonWatch, firmy zajmującej się bezpieczeństwem sztucznej inteligencji, pokazali, jak można wykorzystać tę metodę do kradzieży wiadomości e-mail użytkownika.
Założyciel EdisonWatch Eito Miyamura ujawnił w weekend, iż jego firma przeanalizowała nowo dodane przez ChatGPT narzędzie obsługi protokołu Model Context Protocol (MCP), które umożliwia usłudze gen-AI interakcję z pocztą e-mail, kalendarzem, płatnościami, platformą do współpracy w przedsiębiorstwie i innymi usługami zewnętrznymi.
Miyamura zademonstrował, jak atakujący może wykraść poufne informacje z konta użytkownika, znając jedynie jego adres e-mail.
Atak rozpoczyna się od specjalnie spreparowanego zaproszenia do kalendarza wysłanego przez hakera. Zaproszenie zawiera, jak to określił Miyamura, „monit jailbreak”, który instruuje ChatGPT, aby wyszukał poufne informacje w skrzynce odbiorczej ofiary i wysłał je na adres e-mail wskazany przez atakującego.
Ofiara nie musi akceptować zaproszenia do kalendarza od atakującego, aby uruchomić złośliwe polecenia Chatu GPT. Zamiast tego komunikat atakującego jest inicjowany, gdy ofiara prosi Chat o sprawdzenie kalendarza i pomoc w przygotowaniu się do dnia.
Tego typu ataki na sztuczną inteligencję nie są rzadkością i nie dotyczą wyłącznie Chatu GPT. W zeszłym miesiącu SafeBreach zademonstrowało podobny atak z zaproszeniem do kalendarza, wymierzony w Gemini i Google Workspace. Badacze firmy zajmującej się bezpieczeństwem pokazali, jak atakujący może rozsyłać spam i phishing, usuwać wydarzenia z kalendarza, śledzić lokalizację ofiary, zdalnie sterować urządzeniami domowymi i wykradać wiadomości e-mail.
W zeszłym miesiącu również Zenity pokazało, jak można wykorzystać integrację asystentów AI z narzędziami korporacyjnymi do różnych celów. Startup zajmujący się bezpieczeństwem AI przedstawił przykłady ataków na ChatGPT, Copilot, Cursor, Gemini i Salesforce Einstein.
Demonstracja EdisonWatch jest pierwszą, która koncentruje się na nowo wprowadzonej integracji kalendarza ChatGPT. Badania są godne uwagi ze względu na sposób, w jaki agent pobiera i uruchamia zawartość kalendarza dzięki wywołań narzędzi, co może zwiększyć wpływ na zintegrowane systemy. Jednak, jak wyjaśnił Miyamura, „nie jest to unikalne dla OpenAI”.
Ponieważ jest to znana klasa luk w zabezpieczeniach związana z integracją LLM, nie specyficzna dla Chatu GPT, wyniki nie zostały zgłoszone do OpenAI. Firmy z branży AI zwykle zdają sobie sprawę z możliwości wystąpienia tego typu ataków.
Wracając do ataku na ChatGPT zademonstrowanego przez EdisonWatch, nadużywana funkcja jest w tej chwili dostępna tylko w trybie programistycznym, a użytkownik musi manualnie zatwierdzić działania chatbota AI. Z drugiej strony Miyamura zwrócił uwagę, iż choćby jeżeli atak wymaga interakcji z ofiarą, przez cały czas może być przydatny dla atakujących.
„Zmęczenie decyzyjne to realny problem, a zwykli ludzie po prostu zaufają sztucznej inteligencji, nie wiedząc, co robić, i klikają „zatwierdź”, „zatwierdź”, „zatwierdź” – komentuje Miyamura.
EdisonWatch, firma założona przez zespół absolwentów informatyki z Oksfordu, koncentruje się na monitorowaniu i egzekwowaniu polityki firm w zakresie interakcji AI z oprogramowaniem i systemami ewidencyjnymi, aby pomóc organizacjom bezpiecznie skalować pilotaże AI.
Firma zajmująca się bezpieczeństwem wydała pierwszą wersję rozwiązania open source zaprojektowanego w celu łagodzenia najczęstszych typów ataków na AI, pomagając w zabezpieczeniu integracji i zmniejszeniu ryzyka wycieku danych.
