Sztuczna inteligencja coraz bardziej wkracza w codzienne życie, a jednym z najnowszych osiągnięć w tej dziedzinie jest Whisper — narzędzie do transkrypcji stworzone przez OpenAI, które cieszy się dużym uznaniem za swoją „ludzką dokładność” i wysoką precyzję. Jednak według ekspertów ta AI ma poważny problem, który może zagrażać szczególnie pacjentom w szpitalach. Narzędzie to, jak wskazują badacze i programiści, jest podatne na tzw. „halucynacje” — błędne interpretacje treści, które prowadzą do wytwarzania całkowicie fałszywych fragmentów tekstu.
Zjawisko to jest tym bardziej niepokojące, iż mimo ostrzeżeń OpenAI, by nie stosować Whispera w „ryzykownych obszarach”, narzędzie to jest coraz częściej wykorzystywane w sektorze medycznym. Szpitale i kliniki sięgają po tę technologię, by odciążyć lekarzy od konieczności manualnego sporządzania notatek z konsultacji, jednak konsekwencje takich działań mogą być poważne, szczególnie gdy fałszywe informacje przenikają do dokumentacji medycznej.
Halucynacje Whispera to problem na szerszą skalę
Specjaliści zajmujący się sztuczną inteligencją wielokrotnie natrafiali na tzw. „halucynacje” w transkrypcjach tworzonych przez Whispera. Jeden z badaczy z Uniwersytetu Michigan, analizując nagrania publicznych spotkań, stwierdził, iż aż 80% przepisów audio zawierało błędne informacje. W innych przypadkach, jak relacjonuje inżynier zajmujący się uczeniem maszynowym, halucynacje pojawiły się w połowie zbadanych 100 godzin transkrypcji. Badania przeprowadzone na Uniwersytecie Cornell wskazały, iż około 40% błędów popełnionych przez Whispera miało potencjalnie szkodliwy lub niepokojący charakter. Odkryto, iż narzędzie dodaje rasistowskie komentarze, gloryfikuje przemoc, a choćby wprowadza do tekstu całkowicie wymyślone zabiegi medyczne, co może prowadzić do poważnych konsekwencji.
Co ważne, Whisper jest wykorzystywany nie tylko w medycynie, ale także w innych obszarach, takich jak automatyczna transkrypcja rozmów, tworzenie napisów dla osób niesłyszących oraz tłumaczenia. Christian Vogler z Uniwersytetu Gallaudeta, który sam jest osobą niesłyszącą, podkreślił, iż taka technologia może być szczególnie niebezpieczna dla społeczności niesłyszących, którzy nie mają możliwości weryfikacji błędnych informacji w transkrypcji.
Whisper jest używany wielu w szpitalach i klinikach
Mimo ostrzeżeń OpenAI przed stosowaniem Whispera w sektorze zdrowia, technologia ta znajduje zastosowanie w szpitalach i klinikach. Ponad 30 tysięcy lekarzy i 40 organizacji opieki zdrowotnej, w tym Mankato Clinic w Minnesocie oraz Szpital Dziecięcy w Los Angeles, korzysta z narzędzia opartego na Whisperze, które automatycznie transkrybuje i podsumowuje interakcje między lekarzami a pacjentami. Jak podkreślił Martin Raison, dyrektor technologiczny firmy Nabla, odpowiedzialnej za wdrożenie narzędzia, jego zespół jest świadomy ryzyka halucynacji i podejmuje działania, aby je ograniczyć. Niemniej jednak fakt, iż narzędzie to usuwa oryginalne nagrania dla celów bezpieczeństwa danych, utrudnia możliwość sprawdzenia poprawności spisywanego tekstu.
Usuwanie oryginalnych nagrań budzi kontrowersje. Według Williama Saundersa inżyniera, który opuścił OpenAI z powodu obaw o kierunek rozwoju firmy, brak możliwości weryfikacji może prowadzić do błędów, które trudno wykryć. Nabla zapewnia, iż aktualnie lekarze muszą manualnie zatwierdzać transkrypcje, jednak według zapowiedzi ten proces może zostać zautomatyzowany, co rodzi dodatkowe pytania o dokładność i bezpieczeństwo tej technologii.
Potrzeba regulacji i prywatność pacjentów
Eksperci i byli pracownicy OpenAI wzywają do wprowadzenia regulacji dotyczących sztucznej inteligencji. William Saunders sugeruje, iż problem halucynacji jest możliwy do rozwiązania, jeżeli OpenAI priorytetowo potraktuje ten aspekt w rozwoju technologii. Firma podkreśla, iż regularnie aktualizuje model na podstawie informacji zwrotnych od użytkowników i badaczy, jednak tempo, w jakim narzędzie jest wdrażane w sektorze medycznym, budzi obawy.
Kwestie prywatności dodatkowo komplikują sprawę. Rebecca Bauer-Kahan, ustawodawczyni z Kalifornii, odmówiła wyrażenia zgody na udostępnienie nagrania z wizyty lekarskiej swojego dziecka podmiotom zewnętrznym, w tym Microsoft Azure, która współpracuje z OpenAI. W takim wypadku nie ma jak sprawdzić, czy transkrypcja jest dokładna. Obawy dotyczące prywatności i bezpieczeństwa danych sprawiają też, iż coraz więcej pacjentów zaczyna zastanawiać się, jakie konsekwencje może mieć szerokie udostępnianie wrażliwych informacji zdrowotnych. Co z takimi danymi zrobią zarządzający systemami AI? Czy można im wierzyć, iż nie użyją ich przeciw nam? Co w razie ataku cyberprzestępców i wycieku?
Źródło: AP
