Nasze dane są w internecie walutą, którą płacimy za wiele usług. Dzięki olbrzymim zbiorom danych na temat naszego zachowania w sieci i preferencji, duże portale dostosowują treści do naszych zainteresowań, podsuwają nam nowe produkty do zakupu i wciągają nas w nowe wirtualne aktywności. Wiedza o klientach zamieniana jest na ogromne zyski. Nie wszyscy jednak zgadzają się na gromadzenie ich danych i profilowanie. Aby pomóc konsumentom w starciu z internetowymi gigantami, Unia Europejska wprowadziła nowe regulacje pod nazwą GDPR - General Data Protection Regulation. Jednym z elementów nowego prawa jest tak zwane prawo to wyjaśnienia (right to explain). Jest to prawo każdego obywatela do poznania czynników, które wpłynęły na decyzję dotyczącą na przykład uzyskania kredytu, konkretnego sposobu leczenia czy uzyskania świadczeń socjalnych w sytuacji, gdy decyzje te są podejmowane przy asyście algorytmów. Modele uczenia maszynowe są potężnym wsparciem w podejmowaniu decyzji opartych o wiedzę, ale wymagają odpowiedniej transparentności.
## Dlaczego potrzebujemy wyjaśnialnych modeli?
Dzięki rozwiązaniom prawnym na poziomie Unii Europejskiej Fundacja Panoptykon była w stanie przekonać rząd polski oraz posłów do zmiany prawa bankowego. Każdy konsument starający się o kredyt ma mieć prawo zażądać od banku przedstawienia czynników, które wpłynęły na ocenę zdolności kredytowej i decyzję, którą podjął bank. Regulacje prawne tego typu mają głęboki sens. Historia uczenia maszynowego pokazuje, iż skuteczność modelu to nie wszystko. Modele o dobrej skuteczności mogą wykorzystywać w predykcji czynniki, które człowiek uznałby za nieetyczne lub niewłaściwe lub przypadkowe. Jednym z głośniejszych przykładów jest sprawa systemu COMPAS (Correctional Offender Management Profiling for Alternative Sanctions).
Latem 2016 roku rozgorzała debata na temat opartego na uczeniu maszynowym narzędzia stosowanego w sądach w całych Stanach Zjednoczonych. Firma Northpointe (obecnie Equivant) stworzyła system, który na bazie wielu różnych czynników przewidywał prawdopodobieństwo tego, czy skazany popełni kolejne przestępstwo w ciągu dwóch lat od wyjścia z więzienia. System COMPAS miał uprosić pracę sędziów, uczynić ją bardziej obiektywną i pomóc odpowiednio dobierać środki karne. Osoby o mniejszej skłonności do popełniania kolejnych przestępstw mogłyby wychodzić wcześniej z więzienia, a pozostawaliby w nim przestępcy o większym ryzyku recydywy. Model COMPAS był stosowany w praktyce, wspierając decyzje sędziów i był jednym z przykładów, iż uczenie maszynowe może usprawnić funkcjonowanie sądów. Do czasu gdy fundacja ProPublica przeprowadziła szerokie badania działania tego systemu i pokazała, iż decyzje modelu nie są sprawiedliwe. Za niesprawiedliwość uznano to, iż spośród więźniów, którzy nie popełnili ponownie przestępstwa, model mocno przeszacowywał ryzyko dla czarnoskórych więźniów, podczas gdy ryzyko dla białych więźniów, którzy zostali recydywistami, było niedoszacowane. Model nauczył się uprzedzeń rasowych.
To nie jest odosobniony przykład. Wiele problemów z algorytmicznym przetwarzaniem danych można znaleźć w książce Cathy O'Neil Broń Matematycznej Zagłady. Książka ta jest krytyką bezrefleksyjnego stosowania metod uczenia maszynowego w profilowaniu czy ocenie ryzyka. Ślepa wiara w uczenie maszynowe i zastraszanie zaawansowaną matematyką powoduje, iż wiele źle zbudowanych algorytmów uczenia maszynowego prowadzi do utrwalania lub pogłębiania nierówności społecznych. Przed napisaniem książki Cathy O’Neil pracowała jako analityk danych w Nowym Jorku. Zainspirowana zaobserwowanymi zagrożeniami zajęła się tzw. audytem modeli, czyli analizą jakości oraz obiektywności decyzji podejmowanych przez algorytmy uczenia maszynowego. Wielu specjalistów zajmujących się Data Science również dostrzegło ten problem, w związku z tym zaczęło powstawać wiele narzędzi pozwalających oceniać różne aspekty algorytmów uczenia maszynowego.
Czy rosnąca liczba przykładów, w których modele uczenia maszynowego pomimo początkowych sukcesów po czasie zaczęły działać gorzej niż losowo spowoduje, iż biznes po raz kolejny odwróci się od sztucznej inteligencji? Czy czeka nas kolejna zima AI spowodowana zbyt rozdmuchanymi obietnicami tego, co modele uczenia maszynowego mogą zrobić? Tego oczywiście nikt nie wie, ale jasne jest, iż obok narzędzi do budowy modeli niezbędne są również dobre narzędzia do lepszego zrozumienia, monitorowania i audytu.
## Interpretowalne uczenie maszynowe
Zestaw metod służących odkrywaniu czynników stojących za decyzjami modeli uczenia maszynowego i powiększaniu zrozumienia tego, czego model się nauczył, nazywamy interpretowalnym uczeniem maszynowym (interpretable machine learning IML) lub wyjaśnialną sztuczną inteligencją (explainable artificial intelligence xAI). Wiele narzędzi może być wykorzystywanych w celu lepszego zrozumienia modeli predykcyjnych. Z grubsza można wyróżnić przynajmniej trzy cele, które im przyświecają:
- budowa przejrzystych/transparentnych modeli, często na bazie wiedzy wydobytej z modeli złożonych (czarnych skrzynek). zwykle odbywa się poprzez uczenie równocześnie modelu złożonego i wyjaśnienia lub modyfikację konkretnych algorytmów w celu zwiększenia ich przejrzystości,
- eksploracja wyuczonych już czarnych skrzynek w celu zrozumienia tego, jak ich decyzje zależą od danych wejściowych oraz diagnostyka modelu,
- zagadnienia związane z prywatnością danych, sprawiedliwością modeli (fairness), i niedyskryminacją.
Niezależnie od celu, ważnym wyróżnikiem metod jest to, czy są przeznaczone dla jednego tylko rodzaju modeli (np. dla głębokich sieci neuronowych), czy działają z dowolnym modelem (mówimy wtedy, iż są model-agnostic - niezależne od modelu). Podejście model-agnostic jest szczególnie ważne, ponieważ pozwala na pracę z modelami skomplikowanymi (np. grupami modeli, które wspólnie głosują) czy tworzonymi automatycznie, których struktury nie znamy. Można również wyodrębnić dwie grupy wyjaśnień: lokalne oraz globalne. Metody lokalne mają na celu pokazanie, które czynniki (cechy) wpłynęły na pojedynczą decyzję modelu (np. odrzucenie wniosku kredytowego dla konkretnego konsumenta). Zwykle polega to na rozłożeniu predykcji na składowe związane z poszczególnymi zmiennymi.
Prawdopodobieństwo przeżycia pasażera Titanica przewidziane przez model liniowy. Zielone i czerwone słupki odpowiadają wkładom poszczególnych zmiennych. Wkłady sumują się do wartości predykcji modelu, której odpowiada fioletowy słupek. Wykres pochodzi z dokumentacji pakietu R iBreakDown.
Globalne wyjaśnienia mają na celu opis struktury całego modelu. Przede wszystkim opisują ważność cech używanych przez model oraz kształt zależności pomiędzy wartościami zmiennych a odpowiedzią modelu. Do tej kategorii zalicza się również rozszerzoną diagnostykę modeli, na przykład wykresy przedstawiające błędy predykcji modelu.
Prawdopodobieństwa przeżycia pasażera Titanica przewidziane przez las losowy. Na wykresach zależności brzegowej widać, jak predykcja modelu zmienia się wraz ze zmieniającymi się wartościami pojedynczej cechy. Efekty pozostałych zmiennych są uśrednione. Wykresy pochodzą z dokumentacji pakietu R ingredients.
## Dostępne rozwiązania
Dziedzina IML jest wciąż młoda i dojrzałe rozwiązania do analizy modeli uczenia maszynowego są dostępne głównie dla dwóch najpopularniejszych języków programowania do analizy danych, czyli dla R i Pythona. W Pythonie znajdziemy kilka bardzo popularnych bibliotek: LIME i SHAP, które implementują pojedyncze metody wyjaśniania modeli na poziomie pojedynczych instancji, oraz biblioteki Skater i ELI5, będący kolekcją różnych pomysłów na wyjaśnialność modeli uczenia maszynowego. Język R, preferowany przez statystyków i analityków stosujących ML, oferuje szeroki zbiór pakietów do analizy modeli predykcyjnych, w tym uniwersum pakietów DALEX opartych o zunifikowaną gramatykę wyjaśniania modeli predykcyjnych..
Pakiety z rodziny DALEX pomagają w budowie i wyjaśnianiu modeli predykcyjnych w każdej fazie ich życia, począwszy od ekstrakcji wiedzy na potrzeby wspomaganego modelowania aż po wyjaśnianie post-hoc decyzji już opracowanych modeli. Różne metody są zaimplementowane w zgodzie z jednolitą, uniwersalną gramatyką, dzięki czemu po opanowaniu podstawowych koncepcji dalsza eksploracja modeli staje się prosta i intuicyjna. Z szerokiego wachlarza wyjaśniaczy część rozkłada poszczególne predykcje na czynniki, które miały na nią największy wpływ, inne pozwalają na lepszą ocenę jakości dopasowania modelu, ważności zmiennych, czy wpływu wybranej zmiennej na odpowiedź modelu.
Największą popularnością cieszą się metody model-agnostic, czyli takie które można stosować niezależnie od struktury i narzędzia w którym powstał model. Ta niezależność wyjaśnień od struktury modelu pozwala na stosowanie tych samych technik do wyjaśniania jednego modelu jak i do konfrontacji wyników z różnych modeli. Może to być wsparciem w wyborze modelu lub wskazówką, jak łączyć modele, pozwala też lepiej zrozumieć mocne i słabe strony konkurujących ze sobą modeli. Cecha unikalna dla pakietu DALEX, a bardzo przydatna w analizie Champion-Challenger, tzn. porównaniu aktualnie używanego modelu z nowym modelem, który ma poprawić skuteczność predykcji. Innym zyskiem z podejścia model agnostic jest to, iż można korzystać z bibliotek dostępnych w jednym języku, np. R, do wyjaśniania modeli zbudowanych w innym języku np. Python, Java, Scala czy Julia.
Sztuczna inteligencja rozwija się i osiąga sukcesy w wielu dziedzinach takich jak systemy rekomendacyjne, przetwarzanie języka naturalnego czy rozpoznawanie obrazów. Równocześnie zaczyna się tworzyć świadomość na temat wpływu algorytmów na nasze życie. Brak kontroli nad szeroko pojętą jakością modeli uczenia maszynowego może spowodować, iż wyniki generowane przez modele będą bezużyteczne lub wręcz szkodliwe. Jest to szczególnie niebezpieczne, gdy na bazie modeli podejmowane są decyzje ważne społecznie, na przykład dotyczące kar sądowych, dostępu do świadczeń socjalnych czy kredytów. Interpretowalne uczenie maszynowe jest odpowiedzią na zagrożenia związane z niekontrolowanym stosowaniem algorytmów. Wobec zmieniającej się świadomości co do opisanych zagrożeń oraz praw konsumentów, stosowanie metod objaśniania decyzji algorytmicznych przez firmy i instytucje przetwarzające dane staje się koniecznością.
