Oprogramowanie do rozpoznawania twarzy firmy Amazon nieprawidłowo dopasowało zdjęcia wielu członków Kongresu do tzw. mugshots, czyli zdjęć z policyjnych aresztowań.
Amerykańska Unia Wolności Obywatelskich (American Civil Liberties Union) przetestowała system rozpoznawania twarzy Amazona, ale wyniki nie były zadowalające. Aby sprawdzić dokładność systemu, ACLU przeskanowała twarze wszystkich 535 członków Kongresu, porównując je z bazą 25,000 publicznych zdjęć z aresztowań. Żaden z członków Kongresu nie znajdował się w tej bazie danych, ale system Amazon wygenerował 28 fałszywych dopasowań, co według ACLU budzi poważne obawy o wykorzystanie systemu rozpoznawania twarzy przez policję.
„Identyfikacja, bez względu na to, czy jest dokładna czy nie, może kosztować ludzi wolność, a nawet życie” – poinformowała grupa w wydanym oświadczeniu. „Kongres musi poważnie potraktować te obawy i wprowadzić moratorium na wykorzystanie systemu rozpoznawania twarzy przez organy ścigania”.
Rzecznik prasowy firmy Amazon przypisał wyniki słabej kalibracji. Testy ACLU przeprowadzono przy użyciu domyślnego progu dopasowania Rekognition wynoszącego 80 procent, co według firmy jest zbyt niską wartością, Amazon twierdzi, że zaleca co najmniej 95-procentowy próg dla aplikacji związanych z egzekwowaniem prawa, w których fałszywe zidentyfikowanie może mieć bardziej znaczące konsekwencje.
„O ile pewność 80% jest akceptowalnym progiem dla zdjęć hot-dogów, krzeseł, zwierząt lub innych przypadkach użycia mediów społecznościowych, nie byłoby właściwe dla identyfikowania osób na wystarczającym poziomie pewności”.
Zgodnie z opisem na stronie Amazon „Rekognition zapewnia bardzo dokładną analizę i rozpoznawanie twarzy na podstawie dostarczanych obrazów i nagrań wideo. Można wykrywać, analizować i porównywać twarze dla szerokiej gamy weryfikacji użytkowników, liczenia osób i w przypadkach bezpieczeństwa publicznego”.
„Członkowie Kongresu, którzy zostali nieprawidłowo dopasowani z bazą danych tzw. mugshots, której używaliśmy w testach, to republikanie i demokraci, kobiety i mężczyźni, ustawodawcy w każdym wieku, z całego kraju” – poinformowało ACLU w wydanym oświadczeniu.
System Rekongition firmy Amazon zyskał na popularności w maju, kiedy raport ACLU wykazał, że system jest używany przez wiele organów ścigania, w tym w czasie rzeczywistym przez policję w Orlando.
Najnowszy eksperyment ACLU został przeprowadzony z myślą o partnerstwie Rekognition z departamentem szeryfa w powiecie Washington w Oregonie, gdzie porównano zdjęcia z bazą danych sięgającą nawet 300,000 zdjęć.
„To nie jest hipotetyczne” – powiedział Jacob Snow, który zorganizował test dla ACLU w Północnej Karolinie. „To jest sytuacja, w której Rekognition jest już używane”.
Test wykazał również oznaki problemów z identyfikacją rasową, co stanowi długotrwały problem wielu systemów rozpoznawania twarzy. 11 z 28 błędnych dopasowań dotyczyło ludzi kolorowych (około 39 procent), w tym obrońcę praw obywatelskich, reprezentanta Johna Lewisa i pięciu innych członków Black Caucus. To odzwierciedla rozbieżności stwierdzone przez testy NIST, które stale wykazywały wyższe poziomy błędów w testach rozpoznawania twarzy kobiet i Afro-amerykanów.
W praktyce większość dopasowań systemu rozpoznawania twarzy musiałaby zostać potwierdzona przez człowieka, zanim doprowadziłaby do takich działań, jak aresztowanie, ale krytycy twierdzą, że nawet sprawdzenie tożsamości może wyrządzić szkodę.
Testy budzą również obawy dotyczące łatwości wdrożenia systemu Rekognition bez odpowiedniego nadzoru. Wszystkie dane ACLU zostały zebrane z publicznie dostępnych źródeł, w tym 25,000 zdjęć z aresztowań. Organizacja odmówiła podania źródła z powodów związanych z prywatnością, ale wiele stanów traktuje mugshots jako publiczne rejestry.
Test już spowodował reakcję trzech członków kongresu. Krótko po opublikowaniu wyników, senator Markey, członkowie Izby Reprezentantów Gutierrez i DeSaulnier podpisali list otwarty do prezesa firmy Amazon, Jeffa Bezosa, z prośbą o pełną listę organów ścigania korzystających z tej technologii oraz pytania dotyczące zabezpieczenia przed stosowaniem jej na dzieciach młodszych niż 13 lat.
„Poważne obawy dotyczyły zagrożeń, jakie rozpoznawanie twarzy może stanowić dla prywatności i praw obywatelskich – czytamy w liście – zwłaszcza, gdy jest ono stosowane jako narzędzie nadzoru rządowego”.
Monitor
