Dataskuggor i välfärden
Flera artiklar lyfter de orättvisor som uppstår när myndigheter och organisationer baserar sina bedömningar på ofullständiga datapunkter som de lägger alltför stor vikt vid.
Rapporterna om riskerna med dataskuggor i offentlig sektor, och hur människor diskrimineras, har ökat lavinartat. Här samlar vi ett axplock av dessa berättelser.
Lokala myndigheter använder AI utan tydliga regler eller policyer, och allmänheten har ingen aning
Som en del av pågående arbete har forskargruppen med professor Tan Yigitcanlar i spetsen studerat 170 lokala myndigheter runt om i världen som använder olika AI-system. De upptäckte att AI redan berör nästan alla aspekter av offentliga tjänster, och de flesta regeringar har inte ens en publicerad policy om det.
- Läs artikeln i The Conversation: Local governments are using AI without clear rules or policies, and the public has no idea
USA: Mary Louis fick ingen lägenhet eftersom algoritmen sa nej
Trots en oerhört positiv referens från en tidigare hyresvärd fick Mary Louis avslag på nytt boende efter en granskning av företaget SafeRent. I sin 11-sidiga rapport beskrev SafeRent inte hur poängen räknades ut eller hur olika faktorer vägde in.
- Läs mer i The Guardian: She didn’t get an apartment because of an AI-generated score – and sued to help others avoid the same fate
Sverige: Försäkringskassans system flaggar orättvist marginaliserade grupper för utredningar om bidragsbedrägerier
Sverige hyllas ofta som en modell för välfärdsstaten. Landet toppar regelbundet globala transparensindex och behåller höga nivåer av allmänhetens förtroende. Fler och fler sprickor i fasaden är tydliga, och analyser från SvD och LightHouse Reports visar hur Försäkringskassan genomfört storskaliga experiment med algoritmer som poängsätter hundratusentals människor som söker bidrag, och förmodas kunna indikera om individerna ägnar sig åt bedrägerier.
- LightHouse Reports rapportering på engelska, med möjlighet till mer djuplodande analys av underlaget: Sweden’s Suspicion Machine
- SvD:s rapportering: Hemlig AI såg oskyldiga kvinnor som vab-fuskare
- Pers kommentarer: Hemlig "AI" hos Försäkringskassan förstärker diskriminering
Storbritannien: Bias i AI-system för att upptäcka bidragsfusk
Beslut om att utreda bidragstagare påverkas av ålder, funktionsnedsättning, civilstatus och nationalitet. En intern analys visade att algoritmen felaktigt valde ut människor från vissa grupper oftare än andra när det rekommenderade vilka som skulle utredas. Department for Work and Pensions (DWP), där detta uppdagades, hade tidigare i år sagt att systemet "inte uppvisar några omedelbara farhågor om diskriminering, orättvis behandling eller skadlig inverkan på kunderna".
- Läs mer i The Guardian: Revealed: bias found in AI system used to detect UK benefits fraud
Amnesty bevakar algoritmer under parollen Coded Injustice (Kodad orättvisa)
Amnesty International lyfter flera fall i sina krav på att länder genast upphör med sina missgynnande bedömningar:
- Sverige: Försäkringskassan måste upphöra med sitt diskriminerande system,
- Danmark: AI-verktyg riskerar att diskriminera människor som redan lever i utsatthet
- Frankrike (engelsk text): Discriminatory algorithm used by the social security agency must be stopped
- Nederländerna (engelsk text): Dutch childcare benefit scandal an urgent wake-up call to ban racist algorithms, amnesty.org, 25 oktober.
USA-RAPPORT / Oundkomlig AI: Sätten som AI bestämmer hur låginkomsttagare arbetar, lever, lär sig och överlever
Användningen av "AI" – eller automatiserat beslutsfattande – av regeringar, hyresvärdar, arbetsgivare och andra mäktiga privata intressen begränsar möjligheterna för låginkomsttagare i alla grundläggande aspekter av livet: hemma, på jobbet, i skolan, på statliga kontor och inom familjer.
En mer effektiv diskriminering är det sista vi behöver
Per skriver på sin blogg om hur myndigheter historiskt drivit mot denna verklighet, där människor bedöms utifrån ett urval insamlade datapunkter som inte alls säkert ger en rättvis, relevant eller representativ bild av deras situation.
- Läs artikeln: Dataskuggor hos myndigheter suddar ut människovärden
Citatet
På LinkedIn delade Maria Malcus detta citat från en offentligt anställd:
"När de pratar börjar jag direkt fundera över i vilken ruta jag ska stoppa informationen. Och då ställer jag frågor som gör att jag kan fylla i rutorna istället för att lyssna på vad de vill berätta."