Gebruik je als organisatie een algoritme voor besluiten over mensen? Dan weet je waarschijnlijk dat de Algemene verordening gegevensbescherming (AVG) om ‘menselijke tussenkomst’ vraagt. Een medewerker die aan het eind van het proces op een knop drukt, lijkt dan al snel voldoende.
Maar is dat ook zo? Volgens de Autoriteit Persoonsgegevens (AP) moet die tussenkomst ‘betekenisvol’ zijn. Geen veredelde stempelmachine dus, maar een mens die kritisch meekijkt. In de praktijk blijkt dat vaak lastig. In deze blog lees je vijf veelvoorkomende valkuilen en hoe jouw organisatie deze kan voorkomen.
Valkuil 1: de behandelaar krijgt niet het hele verhaal
Stel: je organisatie kampt met een personeelstekort en moet snel dossiers verwerken. Een algoritme dat risicoscores uitrekent, lijkt dan een uitkomst. Maar na een tijdje stromen de klachten binnen. Wat blijkt? Het systeem gaf een hogere score vanwege een betalingsachterstand, maar hield geen rekening met een net ingevoerde landelijke compensatieregeling. De menselijke behandelaar had dit kunnen weten, maar vertrouwde blind op de score en nam die over. Omdat er geen ruimte was om zelf de context te beoordelen, ging hun belangrijkste expertise – het overzien van het volledige plaatje – verloren.
Hoe voorkom je dit?
Maak van de score een startpunt, geen eindpunt. Laat zien waar die score op gebaseerd is.
Bouw een verplichte stap in waar er voor de behandelaar ruimte is om te onderzoeken of er actuele omstandigheden zijn die het advies beïnvloeden.
Valkuil 2: de behandelaar wordt gestuurd door het systeem
Soms sturen kleine ontwerpkeuzes je onbewust in een bepaalde richting. Het bekendste voorbeeld is de grote, groene knop ‘goedkeuren’ die psychologisch meer uitnodigt dan de kleine, grijze link voor ‘afwijken’. In de praktijk is dit fenomeen vaak veel subtieler. Denk aan een lijst van sollicitanten die standaard op alfabetische woonplaats wordt gesorteerd. Er is daardoor een kans dat een (vermoeide) behandelaar kandidaten uit Amsterdam meer aandacht geeft dan die uit Zoetermeer.
Hoe voorkom je dit?
Ontwerp systemen die twijfel toelaten. Maak de interface zo neutraal mogelijk; vermijd simpele rood/groen-indicatoren. Laat waar mogelijk de behandelaar eerst een eigen oordeel vormen en toon pas daarna het advies van het algoritme, als second opinion.
Valkuil 3: de behandelaar werkt op autopiloot
Ook als alles netjes in ontworpen, ligt automatisme op de loer. Zeker als het algoritme meestal gelijk heeft, kan je na honderden dossiers in een soort automatische stand belanden. De behandelaar gaat overmatig vertrouwen in de kwaliteit van de output – een fenomeen bekend als ‘overreliance’. Als er vervolgens een belangrijke uitzondering voorbijkomt waar het algoritme géén goed advies voor kan geven, staat de behandelaar niet meer ‘aan’ en faalt de laatste verdedigingslinie.
Hoe voorkom je dit?
Haal de behandelaar uit die routine. Laat bijvoorbeeld af en toe dossiers zónder algoritmisch advies beoordelen, of verwerk bewust ‘foute’ testgevallen in de workflow. Op Schiphol gebeurt dit al jaren. Zogenaamde ‘mystery guests' krijgen dan de opdracht om met verboden voorwerpen door security heen te komen. Hierdoor blijft het personeel scherp op afwijkingen.
Valkuil 4: de behandelaar mag afwijken, maar liever niet
Soms staat er op papier dat je mag afwijken van het algoritme, maar wordt dit in de praktijk onmogelijk gemaakt. Denk aan strikte regels als: ‘alleen afwijken bij een feitelijke fout in de data’. Of aan een organisatiecultuur waarin elke afwijking als een fout voelt. Behandelaars kiezen dan maar de veilige route en volgen het systeem blindelings. Maar zo veilig is dat niet: adviezen onterecht wél volgen kan even schadelijk zijn als adviezen onterecht niét volgen.
Hoe voorkom je dit?
Geef de behandelaar echt de ruimte om af te wijken. Vermijd rigide regels als ‘alleen afwijken als...'. Bouw aan een cultuur waarin kritisch denken wordt aangemoedigd en gewaardeerd. Verschuif de focus naar een lerende cultuur, waar menselijke fouten niet meteen worden bestraft, maar vooral worden gezien als kansen om het proces te verbeteren.
Valkuil 5: de behandelaar vertrouwt het systeem, maar controleert niet
Veel organisaties gaan ervan uit dat hun algoritme goed werkt, maar controleren nauwelijks. Ze meten niet hoe vaak de menselijke behandelaar het advies van het algoritme corrigeert. Een manager die ziet dat het ‘afwijk-percentage' 0 is, kan denken dat het systeem perfect werkt. Maar een percentage van 0% is juist een grote rode vlag – het wijst op een extreme vorm van automation bias.
Hoe voorkom je dit?
Meet hoe vaak het algoritme wordt gevolgd of genegeerd. Kijk naar de redenen waarom en door wie er wordt afgeweken. Alleen dan weet je of de menselijke tussenkomst echt iets toevoegt. Te weinig interventies is een signaal om automation bias te onderzoeken en waar nodig passende maatregelen te nemen.
Conclusie
Betekenisvolle menselijke tussenkomst klinkt eenvoudig, maar gebeurt niet vanzelf. Als je niet oppast, verandert een beoordelaar al snel in een stempelmachine. Door kritisch te kijken naar je proces, systeem en organisatiecultuur zorg je dat de mens het verschil blijft maken. Niet alleen om aan de wet te voldoen, maar vooral om tot eerlijke en nauwkeurige besluiten te komen.
Wij helpen je graag om menselijk toezicht goed te organiseren, op een manier die werkt én voldoet aan de wet.
Wil je controleren of je voldoet aan de AVG? Download onze AVG-checklist.
