Rekenkamer: risicobeheersing bij gebruik algoritmes bij gemeente moet beter

De gemeente Utrecht streeft naar een verantwoorde inzet van algoritmes, maar medewerkers leven de richtlijnen hiervoor onvoldoende na. Het is daardoor niet altijd duidelijk of effectieve maatregelen worden genomen om risico’s bij het gebruik van algoritmes te verminderen. Dat concludeert de Rekenkamer Utrecht op basis van onderzoek naar het gebruik van algoritmes bij de gemeente Utrecht.

Een algoritme is een serie automatische stappen die een computer volgt om een probleem op te lossen of een vraag te beantwoorden. Net als andere overheden gebruikt de gemeente Utrecht tal van algoritmes, bijvoorbeeld om te bepalen of een inwoner wel of geen recht heeft op een parkeervergunning. Het gebruik van algoritmes is niet zonder risico’s. Zonder goede controle werken ze mogelijk discriminatie en privacyschending in de hand. De Rekenkamer Utrecht heeft daarom onderzocht of de gemeente verantwoord met algoritmes omgaat, onder meer door vijf algoritmes die de gemeente Utrecht gebruikt nader te onderzoeken.

Gemeente nog niet transparant genoeg met algoritmeregister

Sommige algoritmes kunnen volgens de gemeente grote impact hebben op inwoners. Alle impactvolle algoritmes die de gemeente gebruikt (45 in totaal) zijn terug te vinden in een openbaar algoritmeregister. Dat is een vooruitstrevende stap, omdat nog lang niet alle gemeenten in Nederland zo’n register hebben. Maar de kwaliteit van de informatie die de gemeente Utrecht in het register zet (bijvoorbeeld over welke risico’s er per algoritme zijn) schiet nog tekort. En de gemeente maakt niet transparant op basis van welke overwegingen een algoritme als impactvol wordt gezien. De rekenkamer beveelt daarom aan om inzichtelijk te maken op basis van welke criteria deze afweging plaatsvindt. En om de informatie in het algoritmeregister te verbeteren, bijvoorbeeld door de informatie actueler en concreter te maken. Daarmee wordt ook de transparantie over het gebruik van algoritmes vergroot.

Interne richtlijnen voor gebruik van algoritmes worden niet consequent genoeg toegepast

Binnen de gemeente Utrecht stelt de directie op centraal niveau beleid voor algoritmes vast. Deze richtlijnen moeten door de verschillende afdelingen (op decentraal niveau) worden toegepast wanneer zij algoritmes gebruiken. Maar de rekenkamer ziet dat afdelingen de richtlijnen niet consequent toepassen. Zo wil de gemeente graag dat niet een algoritme, maar altijd een mens een besluit neemt. De rekenkamer is tijdens het onderzoek één algoritme tegengekomen waarbij er geen sprake was van menselijke tussenkomst. Daarnaast wil de gemeente graag dat ieder algoritme wordt getoetst op ethische waarden voordat het in gebruik wordt genomen. Maar de gemeente houdt niet goed bij of verbeterpunten die uit zo’n toetsing naar voren komen ook worden uitgevoerd. De rekenkamer beveelt daarom aan om dat beter in de gaten te houden.

Risico’s bij algoritmes worden veelal niet opgevolgd en gemonitord

Afdelingen moeten niet alleen risico’s bij het gebruik van algoritmes in beeld hebben, maar ook maatregelen nemen om risico’s te verminderen. Vervolgens moet in de gaten worden gehouden of de maatregelen effectief zijn. Dit laatste gebeurt niet consequent, mede doordat afdelingen veel vrijheid krijgen bij het beheersen van risico’s. De afdelingen gaan verschillend met risicobeheersing om. En medewerkers worden onvoldoende getraind in hoe zij risico’s bij algoritmes moeten beheersen. Het gebrek aan samenhang, controle en eenduidigheid tussen de aanpak van de afdelingen maakt de risicobeheersing van algoritmes kwetsbaar. De rekenkamer beveelt aan om de risicobeheersing te verbeteren. Dat kan door het uitvoeren van maatregelen door afdelingen meer op één lijn te brengen. En door medewerkers daarin goed op te leiden.

Gemeenteraad alleen op hoofdlijnen over algoritmes geïnformeerd

De gemeente Utrecht heeft geen specifieke doelen gesteld voor het gebruik van algoritmes. Er zijn dan ook geen sturingsindicatoren opgesteld om te meten of doelen worden bereikt. Daardoor wordt binnen de gemeente weinig verantwoording afgelegd (bijvoorbeeld aan de directie of aan het college van B&W). Ook de gemeenteraad heeft weinig inzicht in het gebruik van algoritmes, omdat hij daarover alleen op hoofdlijnen wordt geïnformeerd. Raadsleden hebben de behoefte om meer actuele en meer specifieke informatie over algoritmes te ontvangen. De rekenkamer beveelt daarom aan om de interne en externe verantwoording te verbeteren door heldere indicatoren vast te stellen en afspraken te maken met de gemeenteraad over de informatievoorziening over algoritmes.