W dobie rosnącej obecności sztucznej inteligencji w codziennym życiu, interakcje z chatbotami stają się coraz powszechniejsze. Jednak zaufanie użytkowników do tych systemów pozostaje kwestią otwartą.
Tradycyjne metody oceny, takie jak ankiety po zakończeniu rozmowy, nie oddają pełnego obrazu dynamiki zaufania podczas interakcji. Naukowcy z Uniwersytetu Binghamton opracowali przydatne narzędzie, które pomaga zrozumieć, jak kształtuje się ono w czasie rzeczywistym.
Sztuczna inteligencja pod lupą
VizTrust to narzędzie analityczne, które umożliwia wizualizację i analizę dynamiki zaufania użytkowników podczas interakcji z systemami AI, takimi jak chatboty. Zostało ono zaprezentowane przez Xin „Vision” Wang, doktorantkę w Szkole Inżynierii Systemów i Inżynierii Przemysłowej Uniwersytetu Binghamton, podczas konferencji ACM CHI 2025 w Japonii.
Przebieg pracy VizTrust / Źródło: ACM Digital LibrarySystem analizuje zaufanie użytkowników na podstawie czterech wymiarów zaczerpniętych wprost z psychologii społecznej: kompetencje, życzliwość, integralność i przewidywalność. Dodatkowo wykorzystywane są techniki przetwarzania języka naturalnego i uczenia maszynowego do analizy sygnałów zaufania w wiadomościach użytkowników, takich jak ton emocjonalny, poziom zaangażowania czy strategie grzecznościowe. Dzięki temu monitoruje interakcje użytkownika z chatbotem w czasie rzeczywistym, identyfikując momenty, w których zaufanie rośnie lub maleje.
Proces oceny zaufania
Użytkownicy rozpoczynają interakcję z chatbotem poprzez prosty interfejs, w którym mogą zadawać pytania i otrzymywać odpowiedzi w formie tekstowej. W dowolnym momencie mogą zakończyć rozmowę, klikając dwukrotnie przycisk „Zakończ rozmowę”. Po potwierdzeniu zakończenia, bot dziękuje za udział, a pole do wprowadzania wiadomości zostaje zablokowane, uniemożliwiając dalsze wpisywanie.
Okno czatu VizTrust / Źródło: ACM Digital LibraryWażne jest, iż podczas trwania rozmowy użytkownicy nie mają dostępu do wyników analizy na pulpicie wizualizacji. Zapobiega to sytuacjom, w których mogliby dostosowywać swoje odpowiedzi, wiedząc, jak są one oceniane, co mogłoby wpłynąć na autentyczność całego badania.
Interaktywna wizualizacja wyników / Źródło: ACM Digital LibraryPo zakończeniu rozmowy przez użytkownika, projektanci i badacze mają dostęp do pulpitu wizualizacji, który prezentuje cztery interaktywne wykresy. Klikając na konkretny punkt na każdym z nich, można zobaczyć szczegółowe informacje na temat zmiennej, w tym treść wiadomości i ocenę zaufania. Dodatkowo pulpit zawiera przycisk „Resetuj VizTrust”, który umożliwia szybkie usunięcie danych bieżącego użytkownika i przygotowanie systemu do analizy kolejnej interakcji.
Przykład zastosowania
W czasie jednego z badań, VizTrust analizowało interakcję między zestresowanym inżynierem systemu a chatbotem terapeutycznym. Podczas rozmowy szukał on przede wszystkim rozwiązania swoich problemów i fachowego doradztwa. Narzędzie trafnie zidentyfikowało momenty, w których zaufanie użytkownika malało. Przykładowo był to moment gdy, bot powtarzał parokrotnie niechciane sugestie. Co prowadziło niemalże od frustracji i zdenerwowania podczas rozmowy, a w dalszej części do spadku zaufania i chęci jak najszybszego zakończenia konwersacji.
- Przeczytaj również: ChatGPT pomoże w zakupach. Nowe funkcje robią wrażenie
Takie informacje są niezwykle przydatne dla twórców systemów AI, gdyż zaufanie użytkowników jest najważniejsze dla akceptacji i ich skuteczności. Jego brak może wręcz prowadzić do odrzucenia choćby najbardziej zaawansowanych algorytmów. VizTrust umożliwia obserwację tego procesu w czasie rzeczywistym. Twórca planuje dalszy rozwój, a w przyszłości narzędzie ma być dostępne online dla wszystkich chcących z niego skorzystać.
