Gemeenten houden bij de inzet van algoritmen soms expliciet, maar vaker impliciet rekening met mensenrechten. Gemeenten zijn op dit thema welwillend, maar ook nog zoekende. Er zou meer samenwerking kunnen plaatsvinden onderling en met softwareleveranciers om mensenrechten te beschermen. Gemeenten blijken bij de inzet van algoritmen geen speciale voorzieningen te treffen voor rechtsbescherming. Ze vertrouwen op de al bestaande procedures waarmee burgers hun recht kunnen halen. Dat blijkt uit onderzoek van Hooghiemstra & Partners in opdracht van het College voor de Rechten van de Mens.
Het College vroeg Hooghiemstra & Partners te verkennen of gemeenteambtenaren rekening houden met mensenrechten bij het gebruik van algoritmen en hoe ze zorgen dat inwoners hun recht kunnen halen als de gemeente over hen een beslissing heeft genomen met behulp van een algoritme. Het onderzoeksbureau deed hiervoor een literatuurstudie en interviewde verschillende gemeentefunctionarissen van twaalf gemeenten verspreid over Nederland.
Lokale autonomie onder druk
De Rijksoverheid besteedt veel taken uit aan gemeenten. Zij staan dicht bij de burger en kunnen lokale accenten leggen. Zij hebben lokale autonomie. Zij mogen beslissen over bijvoorbeeld de aanleg van fietspaden, bouw van een stadion, het verlenen van een uitkering, het aanbieden van jeugdzorg of het preventief fouilleren op een bepaalde locatie. Veel beslissingen die gemeenten nemen hebben behoorlijke impact op de inwoners.
In de ideale situatie nemen gemeenten beslissingen op een democratische manier en besteden dan ook aandacht aan mensenrechten. Als het gaat om de inzet van algoritmen is dit volgens de onderzoekers geen dagelijkse realiteit. Dat heeft onder andere te maken met de organisatie binnen en tussen gemeenten en het gebruik van software die is gemaakt door commerciële partijen.
Organisatorische obstakels belemmeren goede samenwerking
De onderzoekers zagen twee organisatorische scheidslijnen binnen gemeenten die kunnen leiden tot geïsoleerd denken: één tussen beleid en uitvoering en één tussen datagedreven werk en informatievoorziening (‘traditionele IT’, de mensen die zorgen dat de computers werken).
Daarnaast zijn er zoveel samenwerkingsverbanden dat niet altijd helder is welk orgaan verantwoordelijk is. Deze ‘bestuurlijke spaghetti’ maakt heldere besluiten over de inzet van technologie en het afleggen van verantwoording daarover, extra moeilijk. De onderzoekers zien een meer netwerkachtige manier van werken als een oplossing om ervoor te zorgen dat de mensenrechten in de praktijk ook worden nageleefd.
Softwareontwikkelaars interpreteren wet- en regelgeving
Veel gemeenten gebruiken dezelfde softwarepakketten. Veel van deze systemen, hun werking, hoe de tekst van de wet is geïnterpreteerd of hoe een fraudemodel werkt, worden niet ontworpen of voorgeschreven door gemeenten maar ontwikkeld vanuit bedrijven en ingekocht door gemeenten. Dit kan op gespannen voet staan met de lokale autonomie. Ook ligt er daardoor veel macht bij softwareontwikkelaars: zij zetten wetten om in code.
Aandacht voor mensenrechten
Bij gemeenten is er veel aandacht en zijn er procedures ingericht voor de bescherming van persoonsgegevens, maar voor het toetsen van de impact op mensenrechten is dat nog niet het geval. Gemeenteambtenaren zijn zich meer bewust dan voorheen van de risico’s die het gebruik van algoritmen met zich mee kan brengen. Door de toeslagenaffaire hebben zij meer oog voor risico’s op discriminatie en bias in data.
Sommige gemeenten gebruiken instrumenten om mensenrechten mee te nemen bij de aanschaf van algoritmen. Andere gemeenten doen dat niet, maar stellen wel vragen als: willen, mogen en kunnen we dit? En kunnen we dit uitleggen aan onze inwoners? Gemeenten zouden het fijn vinden als er praktische handvatten komen om te gebruiken bij de aanschaf van algoritmen.
Geen extra maatregelen om je recht te halen
Gemeenten hebben geen extra maatregelen getroffen voor het geval dat een inwoner het niet eens zou zijn met een beslissing die gebaseerd is op een algoritme. Gemeenten wijzen standaard naar bezwaar- en beroepsmogelijkheden, lokale ombudsmannen en de mogelijkheid voor burgers om inzicht te krijgen in eigen persoonsgegevens.
Blinde vlek voor algoritmen die als gewoon worden gezien
Toen de onderzoekers zochten naar gemeenten die geschikt zouden zijn voor het onderzoek, viel het hen op dat sommige gemeenten aangaven geen algoritmen te gebruiken. Ambtenaren denken dan dat algoritmen altijd lerende algoritmen zijn en vergeten dat er ook minder complexe als-dan algoritmen in de softwarepakketten zitten die zij gebruiken.
Ook viel op dat gemeenteambtenaren sommige besluitvormingsprocessen niet noemden als processen waarbij algoritmen worden ingezet, terwijl voor die processen zeer waarschijnlijk algoritmen worden gebruikt. Zo noemden ze niet de regeling rond de kwijtschelding van gemeentelijke belastingen, de berekening van de uitkering op basis van de Participatiewet en online monitoring.
Werk samen als gemeenten
Een manier om te bereiken dat mensenrechten worden beschermd bij de inzet van algoritmen door gemeenten is om samen te werken met andere gemeenten bij de inkoop van software. Zo kunnen ze samen een vuist maken en meer eisen stellen. Eén van de eisen zou moeten zijn dat de regels van het algoritme openbaar worden.
De onderzoekers sporen gemeenteambtenaren aan om de tafel te gaan zitten met softwareontwikkelaars en samen te kijken hoe ze mensenrechten zeker kunnen stellen als ze nieuwe algoritmen ontwerpen.
