Automatyzacja usług publicznych: ostrożne podejście

Szeroka gama funkcje sektora publicznego są automatyzowane, co pokazuje różnorodność zastosowań tych technologii i ich moc zmieniania rzeczy. Przykłady przypadków użycia obejmują:

• Lokalne autorytety – korzystanie z chatbotów, automatyzacja ocen opieki społecznej i wykorzystanie analizy danych w celu identyfikacji rodzin znajdujących się w grupie ryzyka.

Ale ważne jest, aby zauważyć, iż te systemy nie wpływają na wszystkich w równym stopniu, a zmarginalizowane społeczności, osoby o niepewnym statusie imigracyjnym lub osoby zależne od wsparcia państwa są bardziej narażone na skutki zautomatyzowanych decyzji. Może to prowadzić do poważnych konsekwencji, w tym stronniczości i naruszeń prywatności.

Zautomatyzowane systemy muszą być badane pod kątem ich umiejętności osiągania zamierzonych rezultatów. Liczne przykłady, takie jak system weryfikacji opartej na ryzyku (RBV) Rady Hackney i Bristolu, pokazują, iż zautomatyzowane systemy mogą nie spełniać obietnic, co prowadzi do nieskuteczności i negatywnych skutków.

Uprzedzenia w zautomatyzowanych systemach często wynikają z danych używanych do ich szkolenia. Predykcyjne narzędzia policyjne i algorytm A Level z 2020 r. to główne przykłady, w których uprzedzenia doprowadziły do ​​niesprawiedliwych wyników. Obawy dotyczące uprzedzeń doprowadziły do ​​zaprzestania niektórych systemów przez West Midlands Police i Home Office.

Automatyzacja opiera się na ogromnych danych, co budzi obawy dotyczące źródeł danych i zgody obywateli. Kontrowersje wokół ochrony danych i Ustawa o informacji cyfrowej podkreśla delikatną równowagę między wykorzystaniem danych a prawem do prywatności.

Wiele zautomatyzowanych systemów jest opracowywanych przez prywatne firmy, co skutkuje ograniczoną przejrzystością. Podmioty sektora publicznego czasami nie mają szczegółowej wiedzy na temat tych systemów, co komplikuje rozliczalność i regres obywateli. Rejestr zautomatyzowanych systemów Public Law Project podkreśla powszechną nieprzejrzystość.

Zaufanie jest kluczowe. Bez niego obywatele mogą sprzeciwiać się gromadzeniu danych i korzystaniu z automatycznych systemów. Działania NHS w zakresie transformacji cyfrowej i Poczta/Horyzont Skandal ten ilustruje wyzwania związane z utrzymaniem zaufania społecznego do technologii.

Aby zrównoważyć korzyści i zagrożenia wynikające z automatyzacji, uważamy, iż najważniejsze jest postępowanie zgodnie z następującym zestawem zasad:

1. Przeprowadź dochodzenie w sprawie potrzeby – zbadaj podstawowe powody automatyzacji. Upewnij się, iż nie powiela ona ani nie pogarsza istniejących problemów.

2. Wpływ kontra ryzyko – skupić się na obszarach, w których automatyzacja może przynieść znaczne korzyści przy minimalnym ryzyku.

3. Ustal „czerwone linie” – iidentyfikować decyzje, których zautomatyzowanie jest zbyt ryzykowne ze względu na ich potencjalny wpływ na życie ludzi.

4. Dokładne zabezpieczenie i ocena – iwdrożyć spójne oceny wpływu i dać władzom możliwość modyfikowania szkodliwych systemów.

5. Przezroczystość – upublicznić sposób korzystania z systemów zautomatyzowanych oraz ich mechanizmy, a także zapewnić kompleksową ocenę skutków.

6. Podnoszenie kwalifikacji personelu– wyposażenie pracowników sektora publicznego w wiedzę umożliwiającą zrozumienie i ocenę zautomatyzowanych systemów.

7. Zaangażowanie obywateli – angażować obywateli i grupy społeczeństwa obywatelskiego w podejmowanie decyzji i monitorowanie zautomatyzowanych systemów, budowanie zaufania i akceptacji

Bez ostrożnego, opartego na zasadach podejścia nie możemy wykorzystać zalet automatyzacji bez narażania praw i zaufania obywateli. Opieka jest krytyczna i powinniśmy ją wszyscy poprzeć.

Anna Dent jest doświadczoną badaczką i konsultantką ds. polityki publicznej oraz szefową działu badań Obiecujące kłopoty.