Impact Assessments zijn systematische evaluaties van de consequenties – met name risico’s – van een nieuw systeem of activiteit. Bekend is natuurlijk de Data Protection Impact Assessment (DPIA) uit de Algemene verordening gegevensbescherming (AVG). Specifiek voor AI-systemen is er de variant van de AI Impact Assessment (AIIA), waarmee risico’s van inzet van AI in kaart gebracht worden. In korte tijd zijn er meer dan 30 AIIA varianten op de markt gekomen, waarbij ook namen als Algorithmic Impact Assessment, Ethical Impact Assessment en Fundamental Rights Impact Assessment voorkomen. Hoe moet je daar nu mee omgaan?
Opkomst van de AI Impact Assessment
Het concept van een AIIA is afkomstig uit het Verenigd Koninkrijk, waar het Ada Lovelace Institute deze gebruikte voor een evaluatie van AI in de National Health Service. Al snel werd dit in andere Europese landen opgepikt. Het instrument kreeg bijzondere aandacht toen het Europees Parlement bij de invoering van de AI Act voorstelde deze verplicht te maken bij AI met een hoog risico, hoewel het daar de term Fundamental Rights Impact Assessment (FRIA) kreeg.
De AIIA lijkt qua opzet sterk op de DPIA uit de AVG, maar er zijn belangrijke verschillen. Een AI-systeem kan op allerlei punten risico’s geven, niet alleen waar het gaat om databescherming, privacy of besluitvorming. Denk aan veiligheidsrisico's bij zelfrijdende auto's, contentmoderatie met politieke bias of misleiding van consumenten.
Voorbeelden van AI Impact Assessments
Er zijn vele sjablonen voor AI Impact Assessments in omloop. Ik zet hieronder de uitgebreidste en best bij de AI Act passende varianten op een rijtje:
- Rijksoverheid: AI Impact Assessment (ook Engelstalig), primaire insteek is discussiestuk om ethische en praktische risico's bloot te leggen.
- EU: ALTAI Assessment, volgt exact de Guidelines en daarmee indirect de AI Act, is de basis voor ons boek AI and Algorithms.
- ECP: AI Impact Assessment (ook Engelstalig), doelstelling is formuleren normenkader. Wij gebruiken deze AIIA in de CAICO-opleiding.
- Microsoft: Responsible AI Impact Assessment, primair opgezet als documentatie van AI systeem, geen alignment met Guidelines, wel scherpe vragen.
- UNESCO: Ethical impact assessment, gericht op lifecycle en alle ethische aspecten van een AI systeem, sluit aan bij AI Act en Guidelines.
- Rijksoverheid: Fundamental Rights Impact Assessment, insteek is discussiestuk rondom de inzet van algoritmes, automatische besluitvorming et cetera en hun impact op burgerrechten. Dit dekt niet alle risico's uit de AI Act.
- US CIO Council: Algoritmic Impact Assessment, eveneens gericht op inzet van algoritmes en automatische besluitvorming en komt uit de Amerikaanse praktijk.
Inzet van AI Impact Assessment
Een AIIA wordt vaak gezien als toetsingsinstrument: een AI systeem wordt opgeleverd, de werking wordt met een AIIA nagelopen en daaruit volgen risico’s die dan moeten worden beheerst. Een veel sterkere inzet is de AIIA uitvoeren voordat het AI systeem wordt ontwikkeld. De bevindingen kunnen dan in het ontwerpproces worden meegenomen, zodat dit fundamenteel goed aansluit bij de risico’s en de aanbevelingen die daaruit voortvloeien.
Verder is het goed te beseffen dat antwoorden in een AIIA zelden een duidelijk “ja” of “nee” zullen opleveren. Een AIIA is daarom veel meer een discussiestuk, waarbij de uitkomsten richting geven aan de verdere ontwikkeling, dan een checklist waarbij alle antwoorden ‘ja’ moeten zijn voordat men verder mag.
Sterker nog, twee AIIA’s voor verschillende AI-systemen kunnen zeer verschillende antwoorden bevatten en toch beiden een adequaat beheer van risico’s opleveren. De risico’s bij bijvoorbeeld een medisch-diagnostische AI zijn onvergelijkbaar met de risico’s bij een leerlingbegeleidende AI in het voortgezet onderwijs, bijvoorbeeld. Het is dus goed om bij een impact assessment ook te bedenken welke risico’s of impact het meest van belang zijn.
Meer leren over AI Impact Assessments en het inschatten en beheersen van risico’s?
Als AI Compliance Officer is dat je dagelijks werk. Onze CAICO-opleiding geeft je de kennis en skills om hiermee aan de slag te gaan!
