De (lokale) overheid zet op steeds grotere schaal computers in bij besluiten over burgers. Een neveneffect is dat risicoprofielen en voorspellende systemen kunnen leiden tot schending van de mensenrechten. Zo kunnen fouten in data en algoritmes zorgen voor discriminatie. Daarnaast wordt het moeilijker om een besluit aan te vechten. Om de rechten van burgers te beschermen heeft het College voor de Rechten van de Mens een handreiking voor ambtenaren opgesteld. Hoe beschermen we burgers bij (semi-)automatische besluiten?
De (lokale) overheid en uitvoeringsinstanties investeren steeds meer in de ontwikkeling van digitalisering om problemen op te lossen, vragen te beantwoorden en voorspellingen te doen. Om snel, efficiënt en consistent besluiten te nemen over burgers maken overheden gebruik van geautomatiseerde systemen voor bijvoorbeeld het toekennen van huur-, zorg- en kinderopvangtoeslag en voorspellen van sociale zekerheidsfraude.
Ondanks grote incidenten als etnisch profileren door de Belastingdienst en ingrijpende controles op bijstandsfraude door verschillende gemeenten, is (semi-)geautomatiseerde besluitvorming nog steeds een onzichtbare ontwikkeling. Door fouten in data en algoritmes kunnen groepen burgers als fraudeur worden aangemerkt. Bovendien wordt het in de praktijk moeilijker om een besluit aan te vechten, want burgers ontvangen niet altijd de achterliggende – digitale – informatie.
(Semi-)geautomatiseerde besluitvorming
Niemand wil bij voorbaat verdacht zijn. Om de rechten van burgers te beschermen heeft het College voor de Rechten van de Mens een handreiking voor ambtenaren opgesteld. Hierin staan drie uitgangspunten voor een verantwoorde ontwikkeling en toepassing van (semi-)geautomatiseerde besluitvorming door beleidsmakers en uitvoerende medewerkers:
1) Breng in kaart wat de impact is van (semi-)automatische besluiten op de mensenrechten
Voer een mensenrechtentoets uit bij het ontwerp van algoritmes voor besluitvorming, maar ook bij de aanbesteding en tijdens het gebruik van dergelijke systemen. Deze toets voorkomt dat een besluit leidt tot inbreuk op de mensenrechten.
2) Informeer burgers op een toegankelijke manier hoe (semi-)automatische besluiten tot stand komen
Wees transparant over het gebruik van data en algoritmes, zodat voor burgers duidelijk is hoe deze processen bijdragen aan een besluit. Deel ook toegankelijke informatie, zodat het besluit getoetst en in een bezwaar- of beroepsprocedure toegelicht kan worden. Zo krijgen zij reële rechtsbescherming.
3) Vergroot kennis over (semi-)automatische besluiten in de organisatie
Zorg dat er voldoende programmeurs, data-analisten en juristen met expertise in kunstmatige intelligentie werken in de organisatie. Mensen die de werking van data en algoritmes begrijpen, onjuiste data in het systeem kunnen corrigeren én een besluit op inhoud kunnen beoordelen.
In deze video van één minuut leggen we aan de hand van een praktijkvoorbeeld uit hoe een (semi-)automatisch besluit kan leiden tot schending van de mensenrechten en hoe de (lokale) overheid dit kan voorkomen: https://youtu.be/nzAKXsBmXj0
Onderzoek naar algoritmes en besluitvorming bij gemeenten
Uit vorige week verschenen onderzoek van NOS en regionale omroepen blijkt dat zeker 25 gemeenten gebruikmaken van voorspellende systemen. Het College voert op dit moment in samenwerking met Hooghiemstra & Partners een kwalitatief onderzoek uit naar (semi-)geautomatiseerde besluitvorming bij gemeenten. In dit onderzoek wordt bekeken of er aandacht is voor de mensenrechtelijke aspecten en of er bijzondere voorzieningen zijn getroffen voor rechtsbescherming. Het doel is om inzicht te bieden in het gebruik van algoritmes bij besluiten over burgers en aanbevelingen te formuleren voor rechtsbescherming. De resultaten worden in mei gepubliceerd.
Bij het gebruik van (semi-)geautomatiseerde besluitvorming is het van belang dat ambtenaren en burgers op de hoogte zijn van de mogelijke gevolgen bij het verzamelen, opslaan en delen van persoonsgegevens, werking van data en algoritmes bij besluitvorming, en procedures en instanties voor het aanwenden van een rechtsmiddel.
Programma Digitalisering & Mensenrechten
Digitalisering verandert onze samenleving in hoog tempo. Dit raakt onze mensenrechten op tal van aspecten en biedt zowel risico’s als kansen. Het programma Digitalisering & Mensenrechten zet zich in voor een samenleving waarin iedereen kan meedoen en eerlijke kansen heeft in een steeds verder digitaliserende wereld.
Lees hier de volledige handreiking
