In november vorig jaar heeft de Patiëntenfederatie Nederland een onderzoek gepubliceerd met als onderwerp het vertrouwen van patiënten in Artificial Intelligence (AI). Daaruit blijkt dat 81% van de ondervraagden de voorkeur heeft voor een behandeling op basis van keuzes door zowel medisch specialisten als AI. Wellicht dat we als samenleving steeds iets minder terughoudend worden voor deze ontwikkelingen. Zeker nu de Europese Unie meer houvast wil gaan bieden middels een verordening voor veilig gebruik van AI.
Er zijn volop ontwikkelingen in de markt van AI. We zien steeds meer apparaten, applicaties en systemen die geïntegreerd zijn met AI. Zo zijn er applicaties die radiologen ondersteunen bij het beoordelen van longfoto’s, zorgrobots die ouderen gezelschap houden en hen herinneren aan het innemen van hun medicatie en applicaties die kunnen beoordelen of een plekje op de huid verdacht is of niet.
Elke sector kent zijn eigen ontwikkelingen. De zorg is een sector waar de ontwikkelingen in een iets minder rap tempo plaatsvinden. Om innovaties te stimuleren is het van belang dat zorginstellingen en ontwikkelaars weten wat de randvoorwaarden zijn en waar de risico’s liggen zodat deze tastbaar worden en in voldoende mate gedekt kunnen worden. Vrij vertaald naar de praktijk: een zorginstelling of hulpverlener zal pas gebruik gaan maken van AI als hij/zij erop kan vertrouwen dat het gebruik veilig is en bijdraagt aan de levering van goede zorg.
Hoog risico
In april van dit jaar heeft de Europese Commissie een verordening gepubliceerd. In de verordening wordt regelgeving voor AI voorgesteld. Dit is nog niet definitief, maar er worden geen grote veranderingen meer verwacht. In het voorstel wordt een onderscheid gemaakt tussen verschillende risico’s; onaanvaardbaar, hoog, laag of minimaal. Meer basisinformatie over de verordening vindt u hier.
Om van hoog risico te spreken moet er voldaan worden aan twee vereisten:
- de AI is een veiligheidscomponent van een product of is een product wat valt onder de lijst die in de bijlage van de verordening genoemd staat;
- er is een conformiteitsbeoordeling van een derde partij nodig alvorens het op de markt gebracht kan worden.
Wanneer het AI-systeem voor de zorg op grond van de Medical Device Regulation (MDR) gekwalificeerd wordt als medisch hulpmiddel, dan zal dit systeem hoogstwaarschijnlijk vaak vallen onder de categorie ‘hoog risico’. Medische hulpmiddelen staan namelijk in de lijst van de bijlage van de verordening. Daarmee wordt er voldaan aan het eerste vereiste. Daarnaast is er op grond van de MDR in bepaalde gevallen een conformiteitsbeoordeling van een derde partij nodig. Wanneer dit het geval is voor uw AI-systeem, dan voldoet u ook aan het tweede vereiste. Hiermee valt uw applicatie met AI volgens deze verordening onder de categorie ‘hoog risico’.
Wanneer er inderdaad sprake is van AI uit de categorie ‘hoog risico’, dan zijn er flink wat voorschriften die deze nieuwe verordening regelt, waaraan voldaan moet worden. Een aantal van deze voorschriften zijn:
- Risicobeheer. Er is een systeem nodig voor het risicobeheer waarbij de risico’s worden vastgesteld, geanalyseerd, geëvalueerd en waarbij wordt vastgesteld wat de geschikte risicobeheersingsmaatregelen zijn.
- Kwaliteitscriteria voor de datareeksen. De data die gebruikt wordt, moet voldoen aan de kwaliteitscriteria die genoemd staan in de verordening. Het moet bijvoorbeeld representatief, foutenvrij en volledig zijn.
- Technische documentatie. Er moet technische documentatie opgesteld worden en deze moet continu geactualiseerd blijven worden. Met deze documentatie moet aangetoond worden dat het AI-systeem in overeenstemming is met de voorschriften uit de verordening.
- Logs. Tijdens de werking van het AI-systeem moeten er logs gemaakt worden. Dit houdt in dat gebeurtenissen automatisch geregistreerd moeten worden tijdens de werking van het AI-systeem.
- Transparantie. De AI moet dusdanig transparant zijn dat gebruikers de output kunnen interpreteren.
- Menselijk toezicht. Tijdens de periode dat het AI-systeem wordt gebruikt moet er op een doeltreffende wijze toezicht gehouden kunnen worden.
- Nauwkeurig, robuust en veilig. Er moet een passend niveau van nauwkeurigheid en robuustheid en cyberbeveiliging geboden worden.
- Registratieplicht. Het AI-systeem moet in de EU-databank worden geregistreerd.
Toekomst
De verordening is inderdaad nog een voorstel, maar bestaat al wel uit concrete voorschriften. Er worden geen grote veranderingen meer verwacht. Wanneer je als organisatie onderdeel bent van de keten en bijvoorbeeld bijdraagt aan de ontwikkeling van het AI-systeem of juist aan het onderhoud, dan is het verstandig om de organisatie alvast in te richten met deze vereisten als uitgangspunt. De interpretatie van de voorschriften zal veelal gaandeweg duidelijk worden wanneer de verordening daadwerkelijk in de praktijk toegepast moet worden, maar wij kunnen alvast met u meedenken wanneer u wenst uw organisatie en processen in te richten met deze voorschriften als uitgangspunt.
