Din varukorg är för närvarande tom!
Algoritmer och diskriminering: Nederländernas första fall rör övervakade hemtentor
Tekniktidningen WIRED rapporterar att en student i Nederländerna har inlett en rättsprocess mot sitt universitet på grund av en fördomsfull provprogramvara. Robin Pocornie, en färgad student från Vrije Universiteit (VU) Amsterdam, anser att den programvara mot fusk som hennes universitet använder för att övervaka hemtentor och som bygger på ansiktsigenkänning, diskriminerar henne på grund av hennes hudfärg.
Under pandemin övergick många universitet till onlineprov, däribland hennes. Robin Pocornie hävdar att programvarans teknik för ansiktsigenkänning diskriminerar människor med mörkare hudfärg. Problemet uppstod när programvaran upprepade gånger misslyckades med att känna igen hennes ansikte under obligatoriska onlineprov, så hon tvingades använda en lampa för att göra sina ansiktsdrag mer synliga. Pocornie upptäckte att andra studenter med mörkare hudfärger runt om i världen hade haft liknande erfarenheter, vilket fick henne att anmäla sitt universitet, VU Amsterdam.
Robin Pocornie upplevde detta problem under tio hemtentor. Programvaran kunde bara känna igen hennes ansikte när hon höll en lampa obekvämt nära ansiktet, till och med mitt på dagen i dagsljus. I artikeln säger hon att det både var obekvämt och gjorde det svårt att koncentrera sig när hon var tvungen att lysa med ett starkt ljus i ansiktet när hon försökte göra sin tentamen hemma. Trots detta försökte hon klara sig eftersom hon var rädd för att bli utslängd från sin hemtentamen om hon slutade att lysa med ljuset direkt i ansiktet.
Pocornies fall sätter fokus på orättvisor som kodats in i programvara, vilket är ett vanligt problem som drabbar färgade studenter över hela världen. Tidigare rättsprocesser har främst fokuserat på skyddet för den personliga integriteten. Robin Pocornie anmälde universitetet till Nämnden för mänskliga rättigheter (College voor de Rechten van de Menselijke rechten), som är den nederländska motsvarigheten till Diskrimineringsombudsmannen. Nämnden fattade i december 2022 ett preliminärt beslut där den uttryckte starka misstankar om att den programvara som används av VU Amsterdam var diskriminerande och gav universitetet tio veckor på sig att lämna in sitt svar. Ett beslut i frågan väntas senare i år.
Deborah Raji, som arbetar för Mozilla Foundation, förklarar för WIRED att tekniker för ansiktsigenkänning och detektering ofta inte känner igen personer med mörkare hudfärg när företagen använder AI-modeller som inte har tränats på olika dataset. Raji anser att sådan teknik inte bör användas i mycket känsliga situationer som t.ex. examinationer vid universitet tills ansiktsigenkänningsmjukvara som denna har uppnått en tillförlitlig igenkänningsnivå för olika demografiska grupper. Pocornie hoppas att hennes fall kommer att leda till att det skapas en mekanism för studenter att klaga på diskriminerande programvara för att förhindra att andra drabbas av liknande problem i framtiden.
DutchNews.nl rapporterade om detta fall i december 2022 och i artikeln står det att detta är första gången någon i Nederländerna har lyckats inleda en rättsprocess om algoritmisk diskriminering. Pocornie möttes av följande felmeddelanden ”rummet är för mörkt” eller ”ett ansikte kunde inte upptäckas”. Nämnden för mänskliga rättigheter i nederländerna, ansåg att Pocornie hade lagt fram tillräckligt med bevis för att det ska anses motiverat att starta en utredning som ska klarlägga om hon drabbats av algoritmisk diskriminering.
Vidare kan man i artikeln läsa att universitetet inte kunde lägga fram tillräckligt med information för att motbevisa misstankarna. Utredningen som utfördes av programleverantören hävdade att algoritmen inte varit diskriminerande, men nämnden fick inte ta del av denna information. Nämndens ordförande Jacobine Geel kallade sitt preliminära beslut för en ”viktig milstolpe” i deras historia och uppmuntrade andra som kan ha blivit diskriminerade av en algoritm att träda fram.
Kan även drabba andra grupper
En rapport från Center for Democracy and Technology i USA publicerad 2022, belyser hur program för övervakning av hemtentamen även kan drabba högskolestudenter med funktionsnedsättning. I rapporten nämns att högskolor bör överväga alternativa metoder för identitetskontroll.
Läs mer
Artikel ”This Student Is Taking On ‘Biased’ Exam Software | WIRED UK”, 5 April 2023