Według analizy Amnesty International narzędzia sztucznej inteligencji (AI) wykorzystywane przez duński organ ds. opieki społecznej naruszają prywatność jednostki, stwarzają ryzyko dyskryminacji i naruszają przepisy unijnej ustawy o sztucznej inteligencji dotyczące systemów punktacji społecznej.
Udbetaling Danmark (UDK, czyli Payout Denmark) – założona w 2012 r. w celu scentralizowania wypłaty różnych świadczeń socjalnych w pięciu gminach – wykorzystuje algorytmy oparte na sztucznej inteligencji do oznaczania w celu dalszego dochodzenia osób, które są uważane za osoby obarczone najwyższym ryzykiem popełnienia oszustwa w zakresie świadczeń socjalnych. Zostały one opracowane we współpracy z ATP, największą duńską firmą zajmującą się przetwarzaniem emerytur, oraz różnymi prywatnymi międzynarodowymi korporacjami.
The raport szczegółowo opisuje, w jaki sposób algorytmy kontroli oszustw UDK naruszają prawa człowieka osób pobierających świadczenia z zabezpieczenia społecznego, w tym ich prawa do prywatności, równości i zabezpieczenia społecznego. W konkluzji stwierdzono także, iż system stwarza barierę w dostępie do świadczeń socjalnych dla niektórych grup marginalizowanych, m.in osoby niepełnosprawneosoby o niskich dochodach i migranci.
„Ta masowa inwigilacja stworzyła system świadczeń społecznych, który stwarza ryzyko ukierunkowania, a nie wspierania, tych samych osób, które miał chronić” – powiedziała Hellen Mukiri-Smith, badaczka Amnesty International zajmująca się sztuczną inteligencją i prawami człowieka.
„Sposób działania duńskiego zautomatyzowanego systemu opieki społecznej narusza prywatność jednostki i podważa godność ludzką. Wdrażając algorytmy kontroli oszustw i tradycyjne metody nadzoru w celu identyfikacji oszustw w zakresie świadczeń socjalnych, władze umożliwiają i rozszerzają cyfrowy masowy nadzór”.
Amnesty International twierdzi, iż system wykrywania oszustw UDK prawdopodobnie podlega zakazowi „punktacji społecznej” na mocy art Unijna ustawa o sztucznej inteligencjiktóre weszło w życie 1 sierpnia 2024 r.
Ustawa definiuje systemy punktacji społecznej AI jako te, które „oceniają lub klasyfikują” jednostki lub grupy na podstawie zachowań społecznych lub cech osobistych, powodując „szkodliwe lub niekorzystne traktowanie” tych osób.
Mukiri-Smith powiedziała: „Informacje zebrane i przeanalizowane przez Amnesty International sugerują, iż system używany przez UDK i ATP funkcjonuje jako system punktacji społecznej zgodnie z nowym prawem UE dotyczącym sztucznej inteligencji – i dlatego powinien zostać zakazany”.
UDK i ATP dostarczyły Amnesty International zredagowaną dokumentację dotyczącą projektu niektórych systemów algorytmicznych i rzekomo odrzuciły prośby Amnesty International dotyczące wspólnego audytu, odmawiając pełnego dostępu do kodu i danych wykorzystywanych w ich algorytmach.
Władze duńskie odrzuciły także ocenę Amnesty International, jakoby jej system wykrywania oszustw prawdopodobnie podlegał zakazowi punktacji społecznej zawartemu w ustawie o sztucznej inteligencji, ale nie przedstawił wyjaśnienia tego rozumowania.
W odpowiedzi Amnesty International wezwała Komisja Europejska do wydania jasnych wytycznych dotyczących tego, które praktyki sztucznej inteligencji stanowią system punktacji społecznej, w swoich wytycznych dotyczących ustawy o sztucznej inteligencji. Organizacja zwróciła się również do władz duńskich o zaprzestanie korzystania z systemu do czasu potwierdzenia, iż nie podlega on temu zakazowi.
Mukiri-Smith dodał: „Władze duńskie muszą pilnie wdrożyć jasny i prawnie wiążący zakaz wykorzystywania danych związanych z „podmiotami zagranicznymi” lub danymi zastępczymi w punktacji ryzyka w celu kontroli oszustw. Muszą także zapewnić solidną przejrzystość i odpowiedni nadzór nad opracowywaniem i wdrażaniem algorytmów kontroli oszustw.
„Computer Weekly” skontaktował się z UDK w sprawie twierdzeń Amnesty International, ale do czasu publikacji nie otrzymał żadnej odpowiedzi.
Naruszenie prywatności
Oprócz ATP, UDK wykorzystuje do identyfikacji system aż 60 algorytmów fałszywe wnioski o świadczenia socjalne oraz oznaczanie poszczególnych osób w celu dalszego dochodzenia prowadzonego przez władze duńskie.
Aby wesprzeć te modele, władze duńskie wprowadziły przepisy umożliwiające szerokie gromadzenie i łączenie danych osobowych z publicznych baz danych milionów mieszkańców Danii. Obejmuje to informacje na temat statusu pobytu, obywatelstwa i inne dane, które mogą również służyć jako dane zastępcze dla rasy, pochodzenia etnicznego lub orientacji seksualnej danej osoby.
Mukiri-Smith dodała: „Ta rozległa maszyna do nadzoru służy do dokumentowania i tworzenia panoramicznego obrazu życia danej osoby, często oderwanego od rzeczywistości. Śledzi i monitoruje miejsce zamieszkania i pracę osoby ubiegającej się o świadczenia socjalne, jej historię podróży, dokumentację zdrowotną, a choćby powiązania z zagranicą”.
Osoby, z którymi rozmawiała Amnesty International, opisywały psychologiczne skutki bycia obserwowanym przez badaczy oszustw i pracowników prowadzących sprawę. Opisując uczucie bycia śledztwem w sprawie oszustw związanych ze świadczeniami, Stig Langvad z Dansk Handicap Foundation powiedział Amnesty International, iż to jak „siedzenie na końcu pistoletu”.
UDK stwierdził, iż gromadzenie i łączenie przez niego danych osobowych w celu wykrywania oszustw w zakresie świadczeń socjalnych jest „uzasadnione prawnie”.
Zaostrzenie marginalizacji strukturalnej
Raport ujawnia również, iż system kontroli oszustw w zakresie świadczeń opracowany przez UDK i ATP opiera się na nieodłącznie dyskryminujących strukturach w duńskim systemie prawnym i społecznym, w których ludzie i społeczności kategoryzują się na podstawie różnic.
Według raportu duńskie prawo już tworzy „wrogie środowisko dla migrantów i osób, którym przyznano status uchodźcy”, a wymogi dotyczące pobytu dla osób ubiegających się o świadczenia nieproporcjonalnie wpływają na osoby z państw niezachodnich, przy czym wielu uchodźców przebywa w Danii, w tym Syrię, Afganistan i Liban.
Algorytm kontroli oszustw „Really Single” przewiduje status rodzinny lub związek danej osoby w celu oceny ryzyka oszustw w zakresie świadczeń emerytalnych i programów opieki nad dziećmi. Jeden z parametrów wykorzystywanych przez algorytm obejmuje „nietypowe” lub „nietypowe” wzorce życia lub układy rodzinne, ale nie zawiera jasności co do tego, co stanowi takie sytuacje, pozostawiając miejsce na niebezpiecznie arbitralne podejmowanie decyzji.
Mukiri-Smith dodała: „Osoby żyjące w nietradycyjnych warunkach, np. osoby niepełnosprawne, które zawarły związek małżeński, ale mieszkają osobno ze względu na swoją niepełnosprawność; osoby starsze w związkach, które żyją osobno; lub osoby żyjące w gospodarstwach domowych wielopokoleniowych, co jest powszechnym rozwiązaniem w społecznościach migrantów, są narażeni na ryzyko, iż staną się celem algorytmu „Really Single” w celu dalszego dochodzenia w sprawie oszustw związanych ze świadczeniami socjalnymi”.
Gitte Nielsen, przewodnicząca komisji ds. polityki społecznej i rynku pracy w Dansk Handicap Foundation, opisała uczucie bycia nieustannie obserwowanym i poddawanym ponownej ocenie: „To cię pożera. Wielu naszych członków… ma depresję z powodu tego przesłuchania”.
UDK i ATP dodatkowo wykorzystują w swoich modelach algorytmicznych dane wejściowe związane z „przynależnością zagraniczną”. Na przykład algorytm Model Abroad identyfikuje grupy beneficjentów uznawanych za mających „średnio i silne powiązania” z krajami spoza EOG i nadaje tym grupom priorytet do dalszego badania.
Badania Amnesty International wykazały, iż tego typu algorytmy dyskryminują ludzi na podstawie takich czynników, jak pochodzenie narodowe i status migracyjny.
W odpowiedzi dla Amnesty International UDK stwierdziło, iż użycie „obywatelstwa” jako parametru w swoich algorytmach nie stanowi przetwarzania wrażliwych danych osobowych.
