Jak wynika z wewnętrznej oceny departamentu, system sztucznej inteligencji (AI) używany przez Departament Pracy i Emerytur (DWP) do wykrywania oszustw związanych z zasiłkami socjalnymi wykazuje „istotne statystycznie” rozbieżności w zależności od wieku, niepełnosprawności, stanu cywilnego i narodowości.
Udostępniony zgodnie z zasadami wolności informacji (FoI) do projektu prawa publicznego, 11-stronicowa „analiza uczciwości” odkryli, iż system uczenia maszynowego (ML) używany przez DWP do sprawdzania tysięcy uniwersalnych wypłat świadczeń kredytowych wybiera osoby z niektórych grup częściej niż inne, zalecając, kogo należy zbadać pod kątem możliwych oszustw.
Ocena przeprowadzona w lutym 2024 r. wykazała, iż istnieje „statystycznie istotna rozbieżność w skierowaniu… i wynikach w przypadku wszystkich analizowanych cech chronionych”, które obejmowały wiek osób, inwalidztwostan cywilny i narodowość.
Stwierdzono, iż późniejszy przegląd istniejących rozbieżności wykazał, iż „zidentyfikowane rozbieżności nie przekładają się na żadne bezpośrednie obawy związane z dyskryminacją lub niesprawiedliwym traktowaniem jednostek lub grup chronionych”, dodając, iż istnieją zabezpieczenia minimalizujące jakikolwiek potencjalnie szkodliwy wpływ na osoby ubiegające się o uzasadnione świadczenia .
„Nie obejmuje to zautomatyzowanego podejmowania decyzji” – stwierdzono, zauważając, iż „zawsze jest to człowiek [who] podejmuje decyzję, biorąc pod uwagę wszystkie dostępne informacje”.
Dodała, iż chociaż chronione cechy, takie jak rasa, płeć, orientacja seksualna, przekonania religijne itd., nie zostały przeanalizowane w ramach analizy uczciwości, DWP „nie ma bezpośrednich obaw związanych z niesprawiedliwym traktowaniem”, ponieważ gwarancje mają zastosowanie do wszystkich klientów. Planuje „iterować i udoskonalać” metodę analizy, a dalsze oceny będą przeprowadzane co kwartał.
„Będzie to obejmować zalecenie i decyzję stwierdzającą, czy dalsze użytkowanie modelu w praktyce jest rozsądne i proporcjonalne” – stwierdził.
Caroline Selman, starsza badaczka w Public Law Project, powiedziała Opiekun: „Jest oczywiste, iż w zdecydowanej większości przypadków DWP nie ocenił, czy ich zautomatyzowane procesy stwarzają ryzyko nieuczciwego ukierunkowania na grupy zmarginalizowane. DWP musi położyć kres podejściu „najpierw zaszkodzić, naprawić później” i zaprzestać wdrażania narzędzi, jeżeli nie jest w stanie adekwatnie zrozumieć ryzyka szkód, jakie stwarzają.
Ze względu na redakcję z opublikowanej analizy nie wynika w tej chwili jasno, które grupy wiekowe są bardziej narażone na niewłaściwe ataki w ramach kontroli nadużyć finansowych przez system sztucznej inteligencji, ani też jakie są różnice między sposobem traktowania narodowości przez algorytm.
Nie jest również jasne, czy osoby niepełnosprawne są częściej lub rzadziej błędnie wybierane do badania przez algorytm niż osoby sprawne. Chociaż urzędnicy twierdzili, iż ma to powstrzymać ludzi od grania w system, sama analiza wykazała, iż wszelkie rozbieżności w skierowaniach związane z wiekiem (szczególnie w przypadku osób w wieku 25 lat i więcej) lub niepełnosprawnością są w szczególności przewidywane, ponieważ osoby o tych cechach chronionych są już powiązane z wyższym wskaźnikiem powszechne płatności kredytowe.
Odpowiadając na Opiekun w raporcie rzecznik DWP powiedział: „Nasze narzędzie sztucznej inteligencji nie zastępuje ludzkiej oceny, a pracownik socjalny zawsze będzie sprawdzał wszystkie dostępne informacje, aby podjąć decyzję. Podejmujemy odważne i zdecydowane działania, aby stawić czoła oszustwom dotyczącym świadczeń – nasza ustawa o oszustwach i błędach umożliwi bardziej wydajne i skuteczne dochodzenia w celu szybszej identyfikacji przestępców wykorzystujących system świadczeń”.
Chociaż w ocenie wskazano środki wprowadzone przez DWP w celu złagodzenia wszelkich potencjalnych stronniczości – w tym fakt, iż model zawsze będzie odsyłał żądania strony składającej wniosek, które określa jako obarczone wysokim ryzykiem, do pracownika DWP, który następnie podejmie decyzję o ich zatwierdzeniu lub nie – w ocenie nie wspomniano nic o roli lub rozpowszechnieniu „stronniczości automatyzacji”, w wyniku której użytkownicy chętniej ufają i akceptują informacje generowane przez systemy komputerowe.
„Computer Weekly” skontaktował się z DWP w sprawie tego, czy ocenił dynamikę dotyczącą stronniczości związanej z automatyzacją w działaniu systemu sztucznej inteligencji, a jeżeli tak, w jaki sposób wpływa to na rozbieżności w zakresie skierowań i wyników, jednak do czasu publikacji nie otrzymał żadnej odpowiedzi.
W ostatnich miesiącach rola sztucznej inteligencji i automatyzacji w systemach opieki społecznej stała się przedmiotem wzmożonej analizy. Na przykład w listopadzie 2024 r analiza Amnesty International ustaliło, iż zautomatyzowany system opieki społecznej w Danii stwarza barierę w dostępie do świadczeń socjalnych dla niektórych grup marginalizowanych, w tym osób niepełnosprawnych, osób o niskich dochodach i migrantów.
W tym samym miesiącu śledztwo przeprowadzone przez Raporty latarni morskiej I Svenska Dagbladet odkryli, iż szwedzki system opieki społecznej oparty na algorytmach tak nieproporcjonalnie ukierunkowane na grupy zmarginalizowane w dochodzeniach w sprawie oszustw związanych z zasiłkami.
