Engelse overheid voerde bewust problematische AI in

Het Engelse Ministerie van Binnenlandse Zaken heeft een geautomatiseerde fotochecker in gebruik genomen waarvan bekend was dat die niet kon omgaan met een donkere huidskleur. Dit blijkt uit documenten die onlangs zijn vrijgegeven door de Engelse regering. Het gaat om software die moet controleren of geüploade foto’s geschikt zijn om te gebruiken in een paspoort.

Donkere huid

In de papieren staat dat bij de test van deze software is gebleken dat foto’s van mensen met een donkere of juist heel lichte huid niet werden geaccepteerd, terwijl ze eigenlijk wel voldeden aan de gestelde eisen. Toch werd de software goed genoeg gevonden om in te voeren.

Ethische bezwaren

Een van de ethische bezwaren die vaak worden ingebracht tegen de AI zoals die nu wordt ontwikkeld is dat het gevaar van discriminatie en vooroordelen in het algoritme op de loer ligt. De casus van het Britse Ministerie van Binnenlandse Zaken laat zien dat dit op verschillende niveaus kan spelen. 

Probleem genegeerd

Ten eerste hebben de ontwikkelaars hier geen oog voor gehad, òf hebben zij dit wel gezien maar vervolgens genegeerd. Ten tweede heeft de afnemer van dit algoritme, die volgens de documenten wel op de hoogte was, dit bewust als irrelevant terzijde geschoven. Hiermee lijkt het een voorbeeld van nieuwe mogelijkheden van geavanceerde technologie, die koste wat kost in gebruik zou moeten worden genomen. 

Zelfrijdende auto

Eerder al claimden onderzoekers van het Georgia Institute of Technology dat AI in zelfrijdende auto’s moeite heeft met het herkennen van mensen met een donkere huidskleur. Volgens de auteurs kunnen de sensoren in zelfrijdende auto’s mensen met een lichte huidskleur beter herkennen, waardoor de kans groter zou zijn dat mensen met een donkere huidskleur worden aangereden. Deze bias kwamen de onderzoekers tegen in acht onderzochte systemen.