Fraude opsporen of gevaar van discriminatie? Gemeenten gebruiken 'slimme' algoritmes
Net als andere overheden leunen gemeenten in toenemende mate op slimme algoritmes en risicoprofilering. Dat blijkt uit onderzoek van de NOS in samenwerking met de regionale omroepen.
Zeker 25 gemeenten maken gebruik van voorspellende systemen en algoritmes om bijvoorbeeld bijstandsfraude op te sporen, te voorspellen waar mogelijk ondermijnende criminaliteit plaatsvindt en om burgers met schulden op tijd te kunnen helpen.
Risicoprofilering ligt onder een vergrootglas. Bij de kinderopvangtoeslagaffaire bleek dubbele nationaliteit namelijk te worden meegewogen bij het opstellen van risicoprofielen. Vorig jaar veegde de rechter bovendien het profileringssysteem SyRI van tafel, onder meer omdat het onvoldoende transparant was en er daarmee risico ontstond op discriminatie.
"Dit nieuws is reden tot zorg", zegt advocaat Anton Ekker, die succesvol tegen het SyRI-systeem procedeerde. "Het kabinet heeft plechtig beloofd dat er geen nieuwe toeslagenaffaire zal komen, maar er is geen goed beeld van wat gemeentes allemaal doen."
Tegelijkertijd hebben slimme algoritmes allerlei voordelen, benadrukt de Vereniging van Nederlandse Gemeenten. "Maar ze moeten wel voldoen aan principes van zorgvuldigheid, transparantie en proportionaliteit." Daarbij kunnen gemeentes nog veel verbeteren, benadrukt de organisatie.
Fraudeur
In de praktijk gebruiken vrijwel alle overheden en bedrijven algoritmen, vaak voor simpele processen zoals het registreren van hardrijders of het automatisch versturen van brieven. Maar specifiek bij deze 25 gemeenten worden burgers en gebieden ingedeeld op profielen, soms om ze sneller te kunnen helpen, maar ook om bijvoorbeeld de kans dat ze fraude plegen te bepalen. In sommige gevallen gaat het nog om experimenten en pilots.
Zo maken de gemeentes Nissewaard en Brielle samen met een extern bedrijf risicoprofielen van bijstandsontvangers. Op basis van de risico-score wordt bepaald of een dossier extra wordt onderzocht. Ook Deventer gaat op deze manier te werk, hoewel het daar om een proef gaat.
De gemeente Twenterand maakt ook profielen van burgers, maar dan om schulden en 'zorgproblematiek' in kaart te brengen. En de Limburgse gemeentes Leudal, Nederweert en Maastricht zetten dergelijke systemen in om ondermijnende criminaliteit op te sporen. Dronten experimenteert daarmee.
En Breda onderzoekt met machine learning of het zin heeft om bijvoorbeeld bepaalde soorten woningen te slopen of juist te bouwen, om zo de leefbaarheid te verbeteren.
Voor gemeenten bieden algoritmes allerlei voordelen: ze zijn slimmer en sneller dan mensen, en kunnen patronen herkennen die anders niet herkend zouden worden. En ook burgers kunnen er beter van worden, stellen gemeentes: zo kunnen mensen die schulden opbouwen, eerder komen bovendrijven en dus eerder worden geholpen.
Maar critici waarschuwen voor het risico van discriminatie. Zo worden slimme algoritmes vaak gevoed met observaties van mensen van vlees en bloed. Maar mensen hebben vooroordelen, die daarmee in de algoritmes terecht kunnen komen.
"Het is lastig om discriminatie helemaal uit te sluiten", zegt Nadia Benaissa van burgerrechtenorganisatie Bits of Freedom. "Ik geloof best dat gemeenten het goed bedoelen, maar je wordt als burger toch al vrij snel in een hoekje gestopt."
Onduidelijkheid
Vaak bestaat onduidelijkheid over de precieze werking van algoritmes en risicoprofilering. De gemeente Nissewaard wil bijvoorbeeld niet precies vrijgeven hoe er wordt bepaald of iemand mogelijk een fraudeur is, om zo fraudeurs niet wijzer te maken. Dat schreef de gemeente eerder aan de raad, die vragen had gesteld over het systeem.
Dat niet precies duidelijk is hoe veel systemen werken, is een probleem, zegt Marlies van Eck van de Radboud Universiteit. Zij is gespecialiseerd in de juridische wereld achter kunstmatige intelligentie. "Als je in de echte wereld wordt gediscrimineerd, kun je dat instinctief aanvoelen. Maar als een algoritme dat doet, merk je dat misschien wel nooit."
Nieuwe rechtszaak
Advocaat Ekker is er niet gerust op. "Ik vraag me af of lokale overheden genoeg kennis in huis hebben om dit op een goede manier te doen. Vaak zijn ze sterk afhankelijk van externe ICT-leveranciers."
De coalitie van organisaties achter de SyRI-zaak houdt de lokale ontwikkelingen in de gaten, benadrukt hij. "En als het opnieuw mis dreigt te gaan, sluiten we een nieuwe gang naar de rechter niet uit."
