Dit jaar waren we vanuit ICTRecht weer aanwezig op de Zorg & ICT beurs, die van 14 tot en met 16 april werd georganiseerd in de Jaarbeurs in Utrecht. Als bezoeker namen we deel aan de beurs, met onder andere als doel: meer en nieuwe informatie verkrijgen over de stand van zaken van lopende of nieuwe initiatieven in de zorg. Uiteraard met bijzondere aandacht voor wetgeving en de toepasselijkheid in de zorg.
AI is overal
Op de beursvloer in Utrecht was het niet te missen. AI is overal in de zorg. We zagen allerlei slimme oplossingen voorbijkomen, waarbij veelal hetzelfde doel wordt nagestreefd: meer efficiëntie in de (werk)processen in de zorg. Hierdoor is er meer aandacht voor de patiënt of cliënt. Zoals bekend zijn de mogelijkheden van AI divers en groot, maar zit er nog wel een verschil tussen een demonstratie of een mooie belofte en de daadwerkelijke succesvolle implementatie daarvan binnen een zorgorganisatie.
“AI-readiness”
Tijdens een van de door ons bezochte sessies werd gesignaleerd dat AI-readiness een belangrijk onderwerp is binnen de zorg. Met AI-readiness wordt gedoeld op de vraag hoe men ervoor zorgt dat de organisatie daadwerkelijk klaar is om AI succesvol in te zetten. Daarbij wordt niet enkel gedacht aan één aspect, maar kijkt men breder naar het totaalplaatje.
Hierbij valt te denken aan:
- Het inzetten op databeschikbaarheid binnen de zorgorganisatie.
- Het investeren in training van zorgprofessionals voor AI-geletterdheid.
- Het inzetten op AI-compliance door te voldoen aan wet- en regelgeving.
Niet geheel toevallig zijn dit precies de onderwerpen waar we dagelijks onder andere mee bezig zijn. Zo helpen we zorgorganisaties en andere organisaties om grip te krijgen op de juridische en compliance-aspecten bij het gebruik van AI. We staan organisaties bij die mee willen met de huidige ontwikkelingen of bijvoorbeeld zelf een innovatieve toepassing aan het uitwerken zijn.
Om die reden hebben we hieronder een aantal belangrijke aandachtspunten op een rij gezet. Dit om concrete en praktische handvatten te bieden wanneer je vanuit jouw zorgorganisatie overweegt om AI in te kopen en toe te passen.
Praktische aandachtspunten bij de inkoop van AI
Bepaal het doel van het systeem
Voordat een AI-toepassing wordt ingekocht en ingezet, is het aan te raden om binnen de organisatie twee vragen te beantwoorden: óf de organisatie AI wil inzetten, en waarvoor. Bijvoorbeeld om een administratieve last te verminderen in een bepaalde workflow of als ondersteuning bij het stellen van en diagnose.
Mogelijk klinkt dit als een open deur. Vanwege de eisen en verplichtingen die het gebruik van een bepaald systeem met zich mee kan brengen, kan het echter aan te raden zijn om vooraf na te denken over enkele vragen. Welk knelpunt wordt er met de inzet van AI opgelost? Is AI hiervoor de best passende oplossing, of zou een andere, meer eenvoudige vorm van automatisering ook kunnen volstaan?
Denk na over de impact van gebruik
In geval er gebruik wordt gemaakt van een zogenaamd hoog risico AI-systeem is het vereist dat betrokken personen op wie het systeem wordt toegepast hierover worden geïnformeerd. In lijn met voorgaand punt is aan te raden om vooraf alvast stil te staan bij de impact van het gebruik van het systeem en voor welke personen dit zowel intern als extern gevolgen kan hebben.
Let op trainings- en inputdata van het systeem
Wordt het beoogde systeem ingezet bijvoorbeeld ter ondersteuning van diagnoses? Dan is het extra van belang om zicht te hebben op de trainingsdata die gebruikt is voor de ontwikkeling van het systeem. Een systeem dat bijvoorbeeld uitsluitend getraind is op ziekenhuisdata uit het buitenland, geeft mogelijk andere uitkomsten bij gebruik in ziekenhuizen in Nederland. Dus is het goed om stil te staan bij de vraag of de gebruikte trainingsdata aansluit bij de patiënten- of cliëntenpopulatie. Dit kan worden nagegaan bij de betreffende leverancier van het AI-systeem.
Voor het doeleinde uit dit voorbeeld is het ook relevant om stil te staan bij de MDR, gezien een dergelijke toepassing kan kwalificeren als een medisch hulpmiddel.
Daarnaast kan het bij een hoog risico AI-systeem vereist zijn dat jouw zorgorganisatie ervoor dient te zorgen dat de inputdata relevant en representatief is voor het beoogde doel van het AI-systeem.
Verwacht transparantie vanuit de leverancier
Ga na of de leverancier van het AI-systeem voldoende transparantie kan bieden over de werking van het systeem. Als zorgorganisatie die een AI-toepassing gebruikt, moet je zowel intern aan jouw personeel als extern richting patiënten en cliënten kunnen uitleggen hoe het toegepaste systeem in hoofdlijnen werkt. Ook deze informatie mag u verwachten van de leverancier, vanuit zijn rol als ontwikkelaar van het AI-systeem.
Zorg voor AI-geletterdheid
Een belangrijk component van de eerder genoemde AI-readiness is de AI-geletterdheid. Dit komt neer op een verplichting om ervoor te zorgen dat de personen die met het AI-systeem werken in hoofdlijnen weten hoe de werking van het systeem in elkaar steekt. Ze moeten weten wat de mogelijkheden zijn, maar ook de beperkingen van het systeem. Daarnaast is het belangrijk dat ze kritisch kunnen beoordelen of de output juist is. Ook moeten ze herkennen wanneer problemen met het systeem hun ingrijpen vereisen. Meer hierover leest u in onze eerdere blog: AI-geletterdheid: Wat is het en hoe bereid je jouw organisatie voor?
Hierbij is het ook goed om te benoemen dat er vanuit de AI Act afhankelijk van de kwalificatie van het systeem en de rol van de zorgaanbieder in dit geval, diverse concrete verplichtingen gelden. Daarnaast spelen er bij de inzet van AI in de zorg ook nog andere juridische kwesties. Denk bijvoorbeeld aan eisen of verplichtingen vanuit de MDR, AVG en mogelijk ook de EHDS. Deze opsomming dient dan ook niet als een overkoepelend juridisch overzicht van eisen.
Ben je van plan om AI in te kopen en in te zetten binnen jouw zorgorganisatie? Of ben je hier mogelijk al mee van start gegaan, maar loop je vast op een juridisch vraagstuk? Wij helpen je graag verder met het in kaart brengen van juridische en organisatorische verplichtingen vanuit de AI Act, net als verplichtingen uit overige relevante wetgeving. Neem hiervoor gerust vrijblijvend contact met ons op.
