9 december markeert een keerpunt: de goedkeuring van de AI Act is een feit. Deze wet, die strikte richtlijnen oplegt aan het gebruik van algoritmen, autonome systemen en robots, is een primeur op wereldschaal. Gezien de ingrijpende veranderingen die deze wet teweegbrengt, nemen we in deze serie vragen de cruciale aspecten die nu relevant zijn onder de loep. Vandaag: Wanneer is ons AI systeem hoog risico en wat moeten we dan doen?
Onacceptabel, hoog en laag
De AI Act kent drie risiconiveaus: onacceptabel, hoog en laag. Als een AI handelt in strijd met Europese fundamentele normen en waarden, dan mag deze niet op de Europese markt ingezet worden. Een voorbeeld is predictive policing; AI laten voorspellen of iemand crimineel gedrag zal gaan vertonen. Maar ook emotieherkenning op de werkplek staat op de ‘verboden’ lijst. Aan de andere kant staat de laagrisico-AI: denk aan chatbots bij webwinkels of simpele plaatjesgeneratoren. Deze moeten transparante zijn over hun status als AI en mogen niet betrokken zijn bij besluitvorming, maar krijgen verder geen verplichtingen.
De meeste eisen gaan gelden voor AI-systemen die een hoog risico vormen voor de gezondheid, veiligheid, grondrechten of het milieu. Zo moet duidelijk zijn waar de data vandaan komt waarmee de AI is getraind, is menselijk toezicht vereist en moet de technische documentatie op orde zijn. Het afhandelen van verzekeringsclaims, bepaalde medische hulpmiddelen en algoritmes die sollicitanten beoordelen zijn voorbeelden van hoog risico-AI.
Drietrapsraket
De AI Act kent een drietrapsraket om te bepalen of een systeem hoog risico is. (De voorvraag is natuurlijk of het systeem uberhaupt AI is, zie hiervoor onze vorige blog.) De eerste trap is de vraag of het systeem een veiligheidscomponent is van een gereguleerd product. In een bijlage (bijlage II) van de AI Act staan al deze reguleringen genoemd. Een AI die bepaalt of de lift dicht moet, is bijvoorbeeld hierom hoog risico; liften zijn gereguleerd en de deur dicht doen is een veiligheidscomponent. Een leuk liedje kiezen voor de passagiers is dan weer geen veiligheidscomponent.
Als de toepassing geen veiligheidscomponent is van zo’n gereguleerde technologie of product, dan komen we bij de tweede trap: de risicolijst van bijlage III. Toepassingen van AI die daarop staan, zijn in principe hoog risico. Voorbeelden zijn managen van kritieke infrastructuur, toegang tot onderwijs, recruitment, toegang tot publieke diensten en verzekeringsrisico-assessments. Toepassingen die niet op de lijst staan, zijn dus per definitie géén hoog risico, ook al zouden er enorme risico’s denkbaar zijn.
Uitzonderingen
Er zijn echter vier uitzonderingen toegevoegd, die maken dat een AI in zo’n risicogebied toch weer geen hoog risico bevat. Als aan een van deze vier is voldaan, dan is de AI kort gezegd slechts een randzaak en is het gerechtvaardigd dat deze buiten de zware regels valt.
De vier uitzonderingen zijn:
- De AI voert slechts een beperkte, specifieke procedurele taak uit. Denk aan het structureren van een vragenlijst of het toevoegen van actiepunten aan een besluitvormingsproces.
- Detecteren van afwijkingen van gebruikelijke “beslispatronen”, zoals het signaleren dat in dit soort zaken meestal A wordt besloten en dat nu ineens B gekozen is, waarna de mens een dubbelcheck kan geven.
- De AI staat buiten de eigenlijke beslissing. Een AI kan bijvoorbeeld procesbegeleiding uitvoeren, teksten analyseren of opschonen, suggesties toevoegen of de kwaliteit van invoer controleren. Ook een AI die tekstsuggesties doet bij het schrijven van een beslissing, valt binnen deze uitzondering.
- De AI verhoogt alleen de kwaliteit van het werk, zoals door aantekeningen op te werken tot een formele brief, vergelijkbare gevallen aan te dragen of de leesbaarheid te verbeteren.
De Europese Commissie heeft de taak gekregen om een lijst met voorbeelden te maken van AI-systemen die wel of niet hoog risico zijn en de reden(en) waarom dat het geval is.
Blijkt het AI-systeem hoog risico, dan triggert dat een enorme hoeveelheid verplichtingen. Specifiek en nieuw is de plicht om een Fundamental Rights Impact Assessment uit te voeren. Hierover meer in ons volgende blog.
Meer leren over AI en de AI Act?
Om als professional in te kunnen spelen op de AI Act is het belangrijk om goed voorbereid te zijn. Onze AI-opleidingen bieden essentiële kennis, waarbij we de balans onderzoeken tussen ethiek, innovatie en wetgeving. Kies de opleiding die het beste bij jou past!
