Zespół badaczy z Uniwersytetu Cornell, Joshua Harrison, Ehsan Toreini i Maryam Mehrnezhad, opublikował artykuł, w którym opisał swoją pracę nad AI interpretującą naciśnięcia klawiszy na podstawie dźwięków klawiatury. Po odpowiednim przeszkoleniu modelu sztucznej inteligencji udało się osiągnąć 95% dokładność w przewidywaniu tego, co użytkownik pisał.
Naturalnie system nie działa z dowolną losową klawiaturą, musi być przeszkolony na konkretnym egzemplarzu, z odniesieniami do tego, jaki znak odpowiada każdemu naciśnięciu klawisza. Można to zrobić lokalnie dzięki mikrofonu lub zdalnie przy użyciu aplikacji takiej jak Zoom – w tym drugim wypadku skuteczność spada do 93%, bo nagranie jest bardziej zaszumione.
Kształt fali użytej do szkolenia AI i odpowiadający mu spektrogram: po lewej nagranie z telefonu, po prawej nagranie Zoom. Źródło: Uniwersytet Cornell, Joshua Harrison, Ehsan Toreini i Maryam MehrnezhadW ramach demonstracji zespół użył w testach MacBooka Pro – naciskali 36 pojedynczych klawiszy po 25 razy każdy. To stanowiło podstawę dla modelu AI do rozpoznawania, jaki znak jest powiązany z dźwiękiem każdego naciśnięcia klawisza. Odpowiednia liczba subtelnych różnic w krzywych fal dźwiękowych wygenerowanych przez klawiaturę pozwoliła modelowi rozpoznać każdy klawisz z zadziwiającą dokładnością.
AI można na szczęście w miarę łatwo oszukać
Na szczęście nie jest tak, iż nie da się uniknąć tego rodzaju podsłuchu. Zespół twierdzi, iż istnieją sposoby na zmniejszenie dokładności – można na przykład zmienić styl pisania. Pisanie bezwzrokowe też obniżyło dokładność rozpoznawania naciśnięć klawiszy od 64% do choćby 40%. Możliwe jest także wykorzystanie systemu do generowania szumów, które zamazują dźwięki wejściowe lub losowo wstawia dodatkowe „naciśnięcia” klawiszy.
Ten rodzaj ataku znakomicie działa z mechanicznymi klawiaturami, które mają wyraźne słyszalne kliknięcie, ale nie jest ograniczony wyłącznie do tego typu przełączników. Klawiatura membranowa wciąż generuje wystarczająco dużo dźwięków, aby przeszkolić model AI, więc jedynym prostym sposobem na uniknięcie takiego podsłuchu jest odpowiednie oprogramowanie zagłuszające „kliknięcia” klawiszy.
Źródło: Tom’s Hardware
