Dataetisk Råd advarer: Algoritmer kan forskelsbehandle uden at vide det

Dataetisk Råd udgiver en ny techsplainer, der forklarer, hvordan algoritmisk bias kan opstå, og hvorfor det kan være svært at undgå. Udgivelsen er lavet i samarbejde med professor Kasper Lippert-Rasmussen og Center for Eksperimentel-Filosofiske Studier af Diskrimination ved Aarhus Universitet.

Algoritmisk bias kan blandt andet opstå, når en algoritme vurderer socialt udsatte borgere, hjælper med at diagnosticere kræftknuder eller sorterer jobansøgere. I alle tilfælde kan bestemte grupper ende med at blive behandlet systematisk anderledes.

”Algoritmisk bias er en af de mest komplekse dataetiske udfordringer, vi ser i disse år. Der findes ingen enkel knap, man kan skrue på for at fjerne det. Derfor er det afgørende, at myndigheder og virksomheder forstår, hvilke former for bias de i praksis vælger til og fra, når de tager en algoritme i brug,” siger Johan Busse, formand for Dataetisk Råd.

Ifølge rådet kan bias opstå på fire måder: gennem data om grupper, forskelle i vurderinger, forskelle i præcision og forskelle i de fejl, algoritmen begår. Det kan være teknisk vanskeligt eller umuligt at fjerne alle former for bias samtidig.

Danmark har også oplevet problemstillingen. I 2022 vurderede Ligebehandlingsnævnet, at et værktøj til at vurdere nylediges risiko for langtidsledighed ikke var ulovligt diskriminerende, selv om det inddrog oplysninger om ”ikke-vestlig herkomst”.

”Det vigtige spørgsmål er sjældent, om en algoritme har bias. Det vigtige spørgsmål er, hvilke former for bias vi som samfund er villige til at leve med,” siger Johan Busse.

Faktaboks:

• Techsplaineren hedder ”Hvad er algoritmisk bias?”
• Udarbejdet med Aarhus Universitet og CEPDISC
• Bias kan opstå på fire forskellige måder
• Eksempler omfatter jobansøgninger, kræftdiagnoser og sociale indsatser
• Ligebehandlingsnævnet vurderede en sag om algoritmisk profilering i 2022
• Dataetisk Råd holder konferencer om emnet 21. og 22. september
• Fokus er forskellen mellem teknisk bias, lovlighed og dataetisk forsvarlighed