Nu steeds vaker gezichtsmaskers worden gedragen om de verspreiding van COVID-19 te helpen verminderen presteren gezichtsherkenningsalgoritmen aanzienlijk minder goed. Dat blijkt uit een onderzoek van het National Institute of Standards and Technology (NIST). Zelfs de beste van de 89 commerciële algoritmen voor gezichtsherkenning hadden een foutpercentage tussen 5% en 50% bij het matchen van digitaal aangebrachte gezichtsmaskers met foto’s van dezelfde persoon zonder masker.
De resultaten zijn gepubliceerd als een NIST Interagency Report (NISTIR 8311), de eerste in een geplande serie van NIST’s Face Recognition Vendor Test (FRVT) -programma over de prestaties van gezichtsherkenningsalgoritmen op gezichten die gedeeltelijk bedekt zijn met beschermende maskers.
Pandemie
“Met de komst van de pandemie moeten we begrijpen hoe gezichtsherkenningstechnologie omgaat met gemaskerde gezichten”, zegt Mei Ngan, een NIST-computerwetenschapper en auteur van het rapport. “We zijn begonnen door ons te concentreren op hoe een algoritme dat vóór de pandemie is ontwikkeld, kan worden beïnvloed door personen die gezichtsmaskers dragen. Later deze zomer zijn we van plan de nauwkeurigheid te testen van algoritmen die opzettelijk zijn ontwikkeld met gemaskerde gezichten in gedachten. ”
6 miljoen foto’s
Het NIST-team onderzocht hoe goed elk van de algoritmen “één-op-één” -matching kon uitvoeren, waarbij een foto wordt vergeleken met een andere foto van dezelfde persoon. De functie wordt vaak gebruikt voor verificatie, zoals het ontgrendelen van een smartphone of het controleren van een paspoort. Het team heeft de algoritmen getest op een set van ongeveer 6 miljoen foto’s die in eerdere FRVT-onderzoeken zijn gebruikt. (Het team testte niet het vermogen van de algoritmen om ‘één-op-veel’-overeenkomsten uit te voeren, die werden gebruikt om te bepalen of een persoon op een foto overeenkomt met een afbeelding in een database met bekende afbeeldingen).
Maskers
Het onderzoeksteam paste de maskervormen digitaal toe op de originele foto’s en testte de prestaties van de algoritmen. Omdat echte maskers verschillen, bedacht het team negen maskervarianten, waaronder verschillen in vorm, kleur en neusbedekking. De digitale maskers waren zwart of lichtblauw dat ongeveer dezelfde kleur heeft als een blauw chirurgisch masker. De vormen omvatten ronde maskers die de neus en mond bedekken en een groter type zo breed als het gezicht van de drager. Deze bredere maskers hadden hoge, gemiddelde en lage varianten die de neus in verschillende mate bedekten. Het team vergeleek de resultaten vervolgens met de prestaties van de algoritmen op ongemaskerde gezichten.
Conclusies
‘We kunnen een paar algemene conclusies trekken uit de resultaten, maar er zijn kanttekeningen’, zei Ngan. “Geen van deze algoritmen is ontworpen om gezichtsmaskers aan te kunnen, en de maskers die we gebruikten zijn digitale creaties, niet het echte werk.” Als deze beperkingen goed in het achterhoofd worden gehouden, zei Ngan, biedt het onderzoek enkele algemene lessen bij het vergelijken van de prestaties van de geteste algoritmen op gemaskerde gezichten versus ongemaskerde gezichten.
Nauwkeurigheid
De nauwkeurigheid van algoritmen met gemaskerde gezichten nam over de hele linie aanzienlijk af. Met behulp van ontmaskerde afbeeldingen slagen de meest nauwkeurige algoritmen er niet in om een persoon ongeveer 0,3% van de tijd te verifiëren. Gemaskeerde afbeeldingen verhoogden zelfs het faalpercentage van deze topalgoritmen tot ongeveer 5%, terwijl veel anders competente algoritmen tussen 20% en 50% van de tijd faalden.
Afstand
Gemaskeerde afbeeldingen zorgden er vaker voor dat algoritmen een gezicht niet konden verwerken, technisch genoemd “niet inschrijven of sjabloon” (FTE). Algoritmen voor gezichtsherkenning werken meestal door de kenmerken van een gezicht te meten – bijvoorbeeld hun grootte en afstand van elkaar – en deze metingen vervolgens te vergelijken met die van een andere foto. Een FTE betekent dat het algoritme de kenmerken van een gezicht niet goed genoeg kan extraheren om in de eerste plaats een effectieve vergelijking te maken.
Bedekt
Hoe meer neus een masker bedekt, hoe lager de nauwkeurigheid van het algoritme. De studie onderzocht drie niveaus van neusdekking – laag, gemiddeld en hoog – waarbij werd vastgesteld dat de nauwkeurigheid afneemt bij grotere neusdekking.
Fouten
Terwijl vals-negatieven toenamen, bleven vals-positieven stabiel of bescheiden gedaald. Fouten in gezichtsherkenning kunnen de vorm aannemen van een ‘vals negatief’, waarbij het algoritme niet overeenkomt met twee foto’s van dezelfde persoon, of een ‘vals positief’, waarbij het ten onrechte een overeenkomst tussen foto’s van twee verschillende mensen aangeeft. De bescheiden afname van vals-positieve percentages laat zien dat occlusie met maskers dit veiligheidsaspect niet ondermijnt.
Kleur
De vorm en kleur van een masker zijn belangrijk. Algoritme-foutenpercentages waren over het algemeen lager met ronde maskers. Zwarte maskers verslechterden ook de algoritmeprestaties in vergelijking met chirurgische blauwe, hoewel het team vanwege tijd- en middelenbeperkingen het effect van kleur niet volledig kon testen.
