Algoritamska pristranost može dovesti do diskriminacije!
Novo izvješće Agencije EU-a za temeljna prava (FRA) pokazuje kako algoritamska pristranost može dovesti do diskriminacije i poziva na testiranje umjetne inteligencije na pristranosti.
Umjetna je inteligencija posvuda i utječe na sve nas. U novom izvješću Agencije EU-a za temeljna prava (FRA), čija je Centar za mirovne studije istraživačka točka za Hrvatsku, ispituje se uporaba umjetne inteligencije u detektiranju prognostičkog rada policije i uvredljivog govora. Izvješće objašnjava kako algoritmi razvijaju pristranosti te kako to utječe na ljudske živote.
Ovo je prvi put da FRA pruža praktične dokaze o tome kako nastaju algoritamske pristranosti. Agencija poziva donositelje/ice politika da osiguraju testiranje umjetne inteligencije na pristranosti koje mogu dovesti do diskriminacije.
Upozoravaju kako se pomoću dobro razvijenih i ispitanih algoritama može mnogo toga unaprijediti, no bez odgovarajućih provjera postoji veliki rizik da razvojni programeri i korisnici negativno utječu na ljudske živote. Dodaju kako ne postoji brzo rješenje i da nam je potreban sustav za procjenu i ublažavanje pristranosti prije i tijekom uporabe algoritama kako bismo ljude zaštitili od diskriminacije.
Za svoje novo izvješće pod nazivom „Algoritamske pristranosti: Umjetna inteligencija i diskriminacija” FRA je razvila dvije studije slučaja za testiranje potencijalne pristranosti u algoritmima:
1) Prognostički rad policije pokazuje kako se pristranost s vremenom može povećati, što potencijalno dovodi do diskriminirajućeg policijskog postupanja. Ako policija obilazi samo jedno određeno područje na temelju predviđanja koja su izrađena primjenom pristranih evidencija o kaznenim djelima, uglavnom će na tom području i otkrivati kaznena djela. Time se stvara tzv. informacijska petlja povratne sprege, drugim riječima začarani krug. U tom slučaju, algoritmi utječu na algoritme tako da povećavaju ili stvaraju diskriminacijske prakse koje mogu biti neproporcionalno usmjerene na etničke manjine.
2) Prilikom otkrivanja uvredljivog govora analizira se etnička i rodna pristranost u sustavima za otkrivanje uvredljivog govora. Analiza je pokazala da alati koji se upotrebljavaju za otkrivanje govora mržnje na internetu mogu dovesti do pristranih rezultata. Algoritmi čak i bezopasne rečenice poput „Ja sam musliman/ka” ili „Ja sam židov/ka” mogu označiti kao uvredljive. U rodno određenim jezicima, kao što u njemački i talijanski, ali i hrvatski također postoji rodna pristranost. To može dovesti do nejednakog pristupa internetskim uslugama na potencijalno diskriminirajućim osnovama.
Zbog svega navedenog nužna je sveobuhvatna provjera algoritama.
FRA stoga poziva institucije EU-a i države članice na sljedeće:
- testiranje algoritamskih pristranosti – algoritmi mogu biti pristrani ili pristranosti razviti tijekom vremena, što potencijalno dovodi do diskriminacije. Testiranjem algoritamske pristranosti prije i tijekom njihove uporabe, posebno u automatiziranom donošenju odluka, smanjuje se taj rizik.
- razvoj smjernica o osjetljivim podacima – za procjenu potencijalne diskriminacije mogu biti potrebni podaci o zaštićenim značajkama (npr. etnička pripadnost, rod). U tu je svrhu potrebno razviti smjernice o tome kada je dopušteno prikupljati takve podatke. Takvo prikupljanje mora biti opravdano, nužno i provoditi se uz učinkovite zaštitne mjere.
- procjena etničke i rodne pristranosti – u modelima prepoznavanja govora i predviđanja etničke i rodne pristranosti jako su izražene. Potrebno ih je procjenjivati od slučaja do slučaja. Takve se procjene moraju temeljiti na dokazima i moraju biti dostupne nadzornim tijelima i javnosti.
- razmatranje svih osnova za diskriminaciju – postoji širok raspon pristranosti i stoga je potrebno procijeniti sve zabranjene osnove za diskriminaciju, kao što su spol, vjera ili etničko podrijetlo. Za rješavanje problema diskriminacije u okviru algoritama potrebni su različiti postojeći i predloženi zakoni EU-a, uključujući predloženu Direktivu o jednakom postupanju.
- veća jezična raznolikost – modeli prepoznavanja govora uglavnom se fokusiraju na engleski jezik. Potrebno je promicati i financirati istraživanja o drugim jezicima kako bi se potaknula uporaba pravilno testiranih, dokumentiranih i održavanih jezičnih alata za sve službene jezike EU-a.
- veći pristup nadzoru utemeljenom na dokazima – u velikoj je mjeri nepoznato što stoji iza sustava umjetne inteligencije. Za učinkovit nadzor nužan je bolji pristup podacima i podatkovnim infrastrukturama radi utvrđivanja i suzbijanja rizika od algoritamske pristranosti.
Cilj je ovih zaključaka pridonijeti aktualnom razvoju regulative informiranjem donositelja_ica politika, branitelja_ica ljudskih prava, dionika tehnološke industrije i javnosti o riziku od pristranosti u području umjetne inteligencije. Već u prethodnim istraživanjima utvrđene su opasnosti u uporabi umjetne inteligencije te su EU i države članice pozvane da osiguraju da se u okviru uporabe umjetne inteligencije štite sva temeljna prava.
Centar za mirovne studije pridružuje se ovim zahtjevima i ističe važnost uporne i trajne borbe protiv diskriminacije na svim razinama, uključujući i područje umjetne inteligencije.