Szwedzki system opieki społecznej oparty na algorytmach w nieproporcjonalny sposób atakuje marginalizowane grupy w szwedzkim społeczeństwie w celu przeprowadzenia dochodzeń w sprawie oszustw związanych z zasiłkami i należy go natychmiast zakończyć, stwierdziła Amnesty International.
Jakiś dochodzenie opublikowane przez Lighthouse Reports i Svenska Dagbladet (SvB) w dniu 27 listopada 2024 r. wykazały, iż system uczenia maszynowego (ML) używany przez Försäkringskassan, szwedzką Agencję Ubezpieczeń Społecznych, w nieproporcjonalny sposób wyznacza pewne grupy do dalszego dochodzenia w sprawie oszustw w zakresie świadczeń socjalnych, w tym kobiety, osoby fizyczne z „obcym” pochodzeniem, osobami o niskich dochodach i osobami bez dyplomu uniwersyteckiego.
Na podstawie analizy zagregowanych danych dotyczących wyników dochodzeń w sprawie nadużyć finansowych, w których algorytmy oznaczyły przypadki, dochodzenie wykazało również, iż system był w dużej mierze nieskuteczny w identyfikowaniu mężczyzn i osób bogatych, którzy faktycznie dopuścili się pewnego rodzaju oszustwa w zakresie ubezpieczeń społecznych.
Aby wykryć oszustwa w zakresie świadczeń socjalnych, system oparty na uczeniu maszynowym – wprowadzony przez Försäkringskassan w 2013 r. – przypisuje oceny ryzyka osobom ubiegającym się o ubezpieczenie społeczne, co następnie automatycznie rozpoczyna dochodzenie, jeżeli ocena ryzyka jest wystarczająco wysoka.
Osoby z najwyższymi wynikami ryzyka kierowane są do działu „kontroli” agencji, który zajmuje się sprawami, w których istnieje podejrzenie zamiaru przestępczego, natomiast osoby z niższymi wynikami kierowane są do pracowników prowadzących sprawy, gdzie są badane bez domniemania zamiaru przestępczego.
Po zgłoszeniu spraw śledczym zajmującym się oszustwami mają oni możliwość przeszukania kont danej osoby w mediach społecznościowych, uzyskania danych z instytucji takich jak szkoły i banki, a w ramach dochodzenia choćby przesłuchania sąsiadów danej osoby. Osoby błędnie oznaczone przez system zabezpieczenia społecznego skarżyły się, iż w rezultacie borykają się z opóźnieniami i przeszkodami prawnymi w dostępie do uprawnień do świadczeń socjalnych.
„Cały system przypomina polowanie na czarownice wymierzone w każdą osobę oznaczoną w związku z dochodzeniem w sprawie oszustw związanych ze świadczeniami socjalnymi” – powiedział David Nolan, starszy badacz śledczy w Amnesty Tech. „Jeden z głównych problemów związanych ze sztuczną inteligencją [artificial intelligence] systemów wdrażanych przez agencje zabezpieczenia społecznego jest to, iż mogą one pogłębić istniejące wcześniej nierówności i dyskryminację. Gdy dana osoba zostanie oznaczona, od początku jest traktowana podejrzliwie. Może to być wyjątkowo odczłowieczające. Jest to wyraźny przykład naruszenia prawa człowieka do zabezpieczenia społecznego, równości i niedyskryminacji oraz prywatności przez system, który jest wyraźnie stronniczy”.
Testowanie pod kątem wskaźników uczciwości
Wykorzystując dane zagregowane – co było możliwe tylko wtedy, gdy szwedzki Inspektorat Zabezpieczenia Społecznego (ISF) zwrócił się wcześniej o te same dane – SvB i Lighthouse Reports były w stanie przetestować system algorytmiczny względem sześciu standardowych wskaźników rzetelności statystycznej, w tym parytetu demograficznego, parytetu predykcyjnego i wskaźników wyników fałszywie dodatnich.
Zauważyli, iż choć ustalenia potwierdziły, iż szwedzki system jest w nieproporcjonalny sposób ukierunkowany na już zmarginalizowane grupy w szwedzkim społeczeństwie, Försäkringskassan nie przedstawił w pełni przejrzystości na temat wewnętrznego funkcjonowania systemu, ponieważ odrzucił szereg wniosków o wolność informacji (FOI) złożonych przez śledczych .
Dodali, iż kiedy przedstawili swoją analizę Andersowi Visethowi, szefowi analityki w Försäkringskassan, ten nie zakwestionował jej, a zamiast tego stwierdził, iż nie zidentyfikowano żadnego problemu.
„Wyborów, których dokonujemy, nie uważamy za niekorzystne” – stwierdził. „Przyglądamy się indywidualnym przypadkom i oceniamy je na podstawie prawdopodobieństwa błędu, a wybrani otrzymują sprawiedliwy proces. Modele te okazały się jednymi z najdokładniejszych, jakie mamy. Musimy także wykorzystywać nasze zasoby w sposób opłacalny. Jednocześnie nikogo nie dyskryminujemy, ale postępujemy zgodnie z prawem dotyczącym dyskryminacji.”
„Computer Weekly” skontaktował się z Försäkringskassan w sprawie dochodzenia i późniejszego wezwania Amnesty International do zaprzestania stosowania systemu.
„Försäkringskassan ponosi znaczną odpowiedzialność za zapobieganie działaniom przestępczym wymierzonym w szwedzki system zabezpieczenia społecznego” – powiedział rzecznik agencji. „Ten system oparty na uczeniu maszynowym jest jednym z kilku narzędzi wykorzystywanych do ochrony pieniędzy szwedzkich podatników.
„Co ważne, system działa w pełnej zgodności ze szwedzkim prawem. Warto zaznaczyć, iż system nie oznacza pojedynczych osób, a konkretne zgłoszenia. Ponadto oznaczenie nie prowadzi automatycznie do wszczęcia dochodzenia. A jeżeli wnioskodawca jest uprawniony do świadczeń, otrzyma je niezależnie od tego, czy jego wniosek został oznaczony. Rozumiemy zainteresowanie przejrzystością; jednak ujawnienie szczegółów działania systemu mogłoby umożliwić poszczególnym osobom ominięcie wykrycia. Stanowisko to podtrzymał Apelacyjny Sąd Administracyjny (Stockholms Kammarrätt, sprawa nr 7804-23).”
Nolan powiedział, iż jeżeli system będzie przez cały czas stosowany, Szwecja może lunatykować w obliczu skandalu podobnego do tego w Holandii, gdzie organy podatkowe stosowały algorytmy do fałszywego oskarżenia dziesiątek tysięcy rodziców i opiekunów, pochodzących głównie z rodzin o niskich dochodach, o oszustwo, które również nieproporcjonalnie zaszkodziło osobom pochodzącym z mniejszości etnicznych.
„Biorąc pod uwagę nieprzejrzystą odpowiedź władz szwedzkich, która nie pozwala nam zrozumieć wewnętrznego działania systemu, a także niejasne sformułowanie zakazu punktacji społecznej na mocy ustawy o sztucznej inteligencji, trudno jest określić, gdzie ten konkretny system miałby podlegać sztucznej inteligencji opartej na ryzyku klasyfikacji systemów AI opartej na ryzyku” – powiedział. „Jednakże istnieją wystarczające dowody sugerujące, iż system narusza prawo do równości i niedyskryminacji. Dlatego należy natychmiast zaprzestać stosowania systemu.”
Pod Ustawa o AI – które weszło w życie 1 sierpnia 2024 r. – korzystanie z systemów sztucznej inteligencji przez organy publiczne w celu określenia dostępu do podstawowych usług i świadczeń publicznych musi spełniać rygorystyczne zasady techniczne, zasady przejrzystości i zarządzania, w tym obowiązek przeprowadzania przez podmioty wdrażające oceny praw człowieka ryzyka i zagwarantuje, iż przed ich zastosowaniem zostaną wprowadzone środki łagodzące. Specjalne systemy uważane za narzędzia do punktacji społecznościowej są zabronione.
szwedzkiego ISF wcześniej znalezione w 2018 r. algorytm stosowany przez Försäkringskassan „w jego obecnym kształcie [the algorithm] nie spełnia warunków równego traktowania”, chociaż agencja wycofała się wówczas, utrzymując, iż analiza była błędna i oparta na wątpliwych podstawach.
Inspektor ochrony danych, który wcześniej pracował również w Försäkringskassan ostrzeżony w 2020 r., iż działanie systemu narusza Europejskie Ogólne Rozporządzenie o Ochronie Danych, gdyż organ nie ma podstawy prawnej do profilowania osób.
13 listopada Amnesty International ujawnił, w jaki sposób narzędzia AI są wykorzystywane przez duńską agencję opieki społecznej tworzą zgubną masową inwigilację, ryzykując dyskryminację osób niepełnosprawnych, grup rasowych, migrantów i uchodźców.
