Debatt: Datainspektionen bör kräva transparens vid ansiktsigenkänning

I samband med Black Lives Matter-rörelsens omfattande protester i USA tog IBM, Microsoft och Amazon öppet avstånd från användandet av mjukvara för ansiktsigenkänning i samband med brottsbekämpning. En av anledningarna som angavs var osäkerheten kring den diskriminering som gång på gång påvisats i system av den här typen.

I Sverige har Polismyndigheten meddelat att man valt en annan väg: till hösten ska mjukvara för bland annat ansiktsigenkänning börja användas i brottsutredningar. Exakt vad den ska användas till och vilken mjukvara det handlar om är fortfarande oklart, men Datainspektionen har gett grönt ljus för användandet, förutsatt att Polismyndigheten tog fram tillräckligt tydliga riktlinjer för när, hur och varför systemet används.

Förstärker strukturer

Mjukvaruutvecklare, AI-forskare och människorättsaktivister (bland andra) har demonstrerat hur AI gärna förstärker våra inarbetade strukturer och hierarkier snarare än att bryta ner dem. Det kan till exempel handla om att ansiktsigenkänning fungerar avsevärt mycket bättre på traditionellt västerländska, ljushyade ansikten eller om hur Linkedin rekommenderat jobb baserat på kön snarare än kompetens, eftersom det ofta är så den underliggande datan sett ut.

Två tydliga krav

Samtidigt finns det en enorm potential i användandet av denna typ av system, inte minst för att en dator kan gå igenom stora mängder data snabbare än en människa. Att använda tekniken är därför inte nödvändigtvis fel, men vi bör ställa åtminstone två väldigt tydliga krav:

• Vi har ingen anledning att nöja oss med bara ett löfte om schysst användning och ambitiös granskning.

  Robin Vetter
  Programchef, Digitala samhället, Fores

  En utförlig uppföljningsplan behöver tas fram, som löpande och återkommande redovisar vad användandet av ansiktsigenkänning har fått för resultat. Om vi inte tydligt och transparent kan redovisa förtjänster finns det inga argument för att fortsätta utsätta samhället för riskerna, risker som ofta slår särskilt hårt mot grupper som redan kämpar i uppförsbacke.

• När det gäller övervakning brukar man prata om undervakning som ett sätt att jämna ut maktbalansen mellan den som övervakar och den som blir övervakad. Därför bör man överväga att granska alla delar av användandet av dessa system: systemets loggar, vem som använder det, hur det används, vad som eftersöks, och en ovillkorlig plikt att informera om all användning. Dessutom bör såväl systemet som den som använder det filmas vid varje användning, samt bör en direkt koppling till Datainspektionen införas – vi har ingen anledning att nöja oss med bara ett löfte om schysst användning och ambitiös granskning.

Granska granskaren

Om det hade varit så att diskriminering i data och hos människor berodde på "rötägg" med sunkiga värderingar hade problemet varit mindre komplicerat att adressera. Alla de fördomar och sorteringar vi byggt in i vår kultur och vårt samhälle kommer dock ofta till uttryck utan att vi märker det.

Harvard har tagit fram ett verktyg för den som vill utmana sin fördomsfrihet genom att belysa implicit diskriminering. Testet används för att visa hur osynliga våra egna fördomar kan vara när vi själva försöker se dem. Därför vore det väldigt riskabelt att låta någon använda kraftfull teknik för att spåra och kartlägga individers handlingar utan att kräva likvärdiga instrument för att granska granskaren.