Przy wydłużających się kolejkach do lekarzy w publicznej służbie zdrowia i coraz droższych wizytach u lekarzy prywatnych, coraz częściej odczuwamy pokusę, by o nasze problemy zdrowotne zapytać AI zamiast pójść do lekarza. Niestety, okazuje się, iż pytanie chatbotów, mimo ich rozległej wiedzy medycznej, nie prowadzi do szczególnie dobrych diagnoz. Dzieje się tak głównie z powodu problemów komunikacyjnych między człowiekiem a sztuczną inteligencją.
Zdrowie jest jednym z tych obszarów rozwoju sztucznej inteligencji, z którymi wiążemy bardzo duże nadzieje. Nie od dzisiaj zresztą – już w latach 70. ubiegłego wieku wprowadzono tak zwane systemy eksperckie pomagające w diagnozowaniu pacjentów. O możliwych zastosowaniach AI w ochronie zdrowia mówił nam swego czasu Sebastian Kondracki, spiritus movens Bielika, polskiego modelu AI.
Naukowcy z Uniwersytetu Oksfordzkiego postanowili sprawdzić, jak w roli doradcy medycznego sprawują się chatboty AI. Te, których podstawą są duże modele językowe, takie jak GPT-4o czy Llama 3. Modele, które zostały przetrenowane na olbrzymich ilościach tekstów medycznych. Nic więc dziwnego, iż w testach medycznych dają sobie radę bardzo dobrze. Prawidłowo identyfikują schorzenia średnio w około 95% przypadków.
Niestety, w interakcji z pacjentami było już o wiele gorzej.
AI zamiast lekarza? Lepiej nie, bo komunikacja nie działa
Naukowcy poprosili sporą, bo liczącą niemal 1300 osób, grupę osób, żeby – mając określony zestaw symptomów – zdiagnozowały schorzenie i zaproponowały adekwatne postępowanie. Chodziło o działanie w pięciopunktowej skali, od samopielęgnacji do wezwania karetki.
Co się okazało? Że osoby korzystające z chatbotów prawidłowo identyfikowały schorzenie raptem w 34.5% przypadków. I było to gorzej niż w grupie kontrolnej, która korzystała z wyszukiwania internetowego lub wiedzy własnej.
Skąd te problemy? Pacjenci czasem nie wspominali o niektórych objawach w interakcji z chatbotem, a czasami przy podejmowaniu decyzji o wyborze diagnozy ignorowali niektóre sugestie sztucznej inteligencji. By sprawdzić, czy problemem jest sztuczna inteligencja, naukowcy przeprowadzili test z dwoma modelami AI. Jeden udawał pacjenta a drugi udzielał porad. Okazało się, iż w takim układzie, diagnoza jest prawidłowa w przeszło 60% przypadków. To dużo lepiej niż w przypadku „ludzkich” pacjentów, ale przez cały czas gorzej niż w syntetycznych testach medycznych.
Przy tym, pomimo nietrafności diagnoz uzyskanych z LLM-ów, pacjenci byli skłonni polecać używanie GPT-4o zarówno do celów medycznych, jak i ogólnych. W powiązaniu z faktem, iż korzystając z AI mieli skłonność do niedoceniania powagi schorzenia, otrzymujemy groźną mieszankę czynników, która może prowadzić do opóźnienia niezbędnego leczenia. To o tyle gorsza wiadomość, o ile na przykład w USA już co szósty dorosły używa chatbotów AI do uzyskania porady medycznej co najmniej raz w miesiącu.
Chcesz pytać AI o zdrowie? Pytaj mądrze
Badanie było ukierunkowane przede wszystkim na sprawdzenie, w jakim kierunku powinny iść prace rozwojowe w dziedzinie sztucznej inteligencji dla medycyny. Ale możemy z nich wyciągnąć wnioski również dla siebie i naszych interakcji z AI w tej dziedzinie.
Jak się wydaje, jednym z podstawowych problemów w komunikacji pacjent-AI w oksfordzkim badaniu było to, iż nie symulowała ona interakcji lekarz-pacjent. Bardziej imitowała to, jak ludzie szukają porad od AI w innych dziedzinach, bez szerokiego kontekstu. I – z potencjalnym pacjentem zadającym pytania modelowi AI a nie z modelem AI odpytującym – jak lekarz – pacjenta.
Ten problem możemy obejść, stosując znany zabieg z dziedziny inżynierii zapytań – tak zwany wzorzec wywiadu (interview pattern). W takim zapytaniu mówimy chatbotowi, by przyjął rolę lekarza pierwszego kontaktu, który ma za zadanie odpytanie pacjenta, by postawić wstępną diagnozę. Taki prompt mógłby wyglądać tak:
„Jesteś teraz dr., doświadczonym lekarzem pierwszego kontaktu. Twoim zadaniem jest przeprowadzenie szczegółowego wywiadu medycznego z pacjentem (użytkownikiem), aby zebrać jak najwięcej informacji o jego symptomach i dolegliwościach. Celem jest postawienie wstępnej, prawdopodobnej diagnozy lub zasugerowanie kilku możliwych kierunków diagnostycznych”.
Ale pamiętajcie – „diagnoza” od AI to i tak będzie tylko wstępna hipoteza. jeżeli dolega Wam coś poważniejszego niż katar, to i tak pewnie powinniście udać się do lekarza.
Czy ktoś z czytelników prosił już AI o diagnozę swojego stanu zdrowia? Była trafna? Zapraszamy do komentarzy pod tekstem.
Źródło grafiki: Sztuczna inteligencja, model Dall-E 3
