Medische software wordt gereguleerd door de MDR en nu, of in ieder geval binnenkort, ook door de AI Act. Deze Europese wetten brengen verplichtingen mee zodat medische software veilig en van voldoende kwaliteit is om ingezet te worden in de zorg. Echter kunnen al die regels ook een dusdanige drempel opwerpen dat de instelling niet aan innovatie toekomt. Om die situatie te voorkomen, wordt ruimte geboden om binnen de kaders van de MDR en de AI Act met medische software te experimenteren. In deze blog zoomen we nader in op de mogelijkheden die beide wetten bieden.
Inventarisatie
Voordat je als zorginstelling begint met het ontwikkelen van software, is het van belang om eerst een goede inventarisatie uit te voeren. Waar wil je de medische software precies voor inzetten en is er misschien al bestaande software op de markt die hiervoor gebruikt kan worden? Het inkopen van een bestaande oplossing heeft namelijk voordelen. Zo is de software vaak meteen beschikbaar en maak je als zorginstelling geen ontwikkelingskosten.
Het kan natuurlijk zijn dat uit de inventarisatie blijkt dat er geen bestaande oplossing beschikbaar is. In dit geval kan je als zorginstelling overwegen om de medische software zelf te gaan ontwikkelen. Hierbij moet je rekening houden met de vereisten die voortvloeien uit de MDR en/of AI Act. Beoordeeld moet worden of de te ontwikkelen medische software kwalificeert als medisch hulpmiddel en/of AI.
Kwalificatie
Medisch hulpmiddel
Software die door de fabrikant is bedoeld om gebruikt te worden voor een medisch doeleinde wordt onder de MDR gekwalificeerd als een medisch hulpmiddel. Hierbij kan je denken aan software die wordt ingezet bij het diagnosticeren of behandelen van een ziekte. Het medisch hulpmiddel wordt vervolgens ingedeeld in een bepaalde risicoklasse afhankelijk van de (mogelijke) schadelijke gevolgen en hoe invasief het medisch hulpmiddel is.
AI-systeem
Software kan ook kwalificeren als een AI-systeem. Een AI-systeem is een autonoom systeem dat gebaseerd op input van buitenaf output genereert (zoals een besluit, aanbeveling, tekst of afbeelding) die invloed kan hebben op de omgeving. Hierbij kan gedacht worden aan een AI-systeem dat radiologen helpt om tumoren op te sporen, om zo borstkanker te kunnen vaststellen of uitsluiten. Medische software die gebruik maakt van AI valt vaak in de risicoklasse hoog.
Wanneer je als zorginstelling software gaat ontwikkelen die kwalificeert als een medisch hulpmiddel en/of een AI-systeem, zal je aan de vereisten van de MDR en/of AI Act moeten voldoen. Dit brengt bepaalde compliance verplichtingen met zich mee zoals het inrichten van een kwaliteitsmanagementsysteem, het uitvoeren van een conformiteitsbeoordelingsprocedure (door een notified body) en het aanbrengen van een CE-markering.
De MDR en de AI Act bieden echter ook ruimte om, op kleine schaal, te experimenteren met medische software zonder dat aan alle compliance verplichtingen moet worden voldaan.
In huis ontwikkelen onder de MDR
De MDR biedt de mogelijkheid om, onder voorwaarden, medische software op kleine schaal in huis te ontwikkelen. Wanneer aan deze voorwaarden wordt voldaan, is een CE-markering niet nodig en hoeft de instelling dus niet langs een notified body om deze aan te mogen brengen. Zie onze eerdere blog voor meer informatie over het in huis ontwikkelen van een medisch hulpmiddel.
Wat als de medische software die je in huis wilt ontwikkelen ook gebruik maakt van AI? Biedt de AI Act dezelfde mogelijkheden om op kleine schaal een AI-systeem te ontwikkelen en te gebruiken, zonder dat aan alle compliance verplichtingen moet worden voldaan? Het korte antwoord op deze vraag is nee, in principe heb je voor het ontwikkelen en het gebruik van een AI-systeem (ook wanneer het gebruik hiervan beperkt is tot binnen de instelling) een CE-markering nodig.
Daarom is het voor een zorginstelling nuttig om eerst eens te inventariseren of een bestaande AI-toepassing uitkomst biedt. Bij gebruik van een bestaande AI-toepassing mag je de toepassing niet significant wijzigen, bijvoorbeeld wanneer je de AI-toepassing integreert in een elektronisch patiëntendossier (EPD). Wanneer sprake is van een significante wijziging kwalificeer je als aanbieder van AI en zal je aan alle verplichtingen van de aanbieder onder de AI Act moeten voldoen.1
Experimenteren onder de AI Act
Wanneer een bestaande AI-toepassing niet geschikt is of niet zonder wijzigingen geïntegreerd kan worden in het medische hulpmiddel, biedt de AI Act een aantal opties om AI te ontwikkelen of met AI te experimenteren:
- Het ontwikkelen van AI met als enig doel wetenschappelijk onderzoek;
- Onderzoeks-, test, en ontwikkelingsactiviteiten;
- De regulatory sandbox;
- Het testen van AI in real world conditions.
1. Wetenschappelijk onderzoek
Allereerst is het goed om te benoemen dat de AI Act niet van toepassing is op AI-systemen (en hun output), die specifiek zijn ontwikkeld en uitsluitend in gebruik worden genomen in het kader van wetenschappelijk onderzoek en ontwikkeling.2
2. Onderzoeks-, test, en ontwikkelingsactiviteiten
Onderzoeks-, test, en ontwikkelingsactiviteiten aangaande een AI-systeem, die worden uitgevoerd voordat de AI op de markt wordt gebracht of in gebruik wordt genomen, vallen buiten de scope van de AI Act.3 Het moet dan wel gaan om een test die niet in real world conditions plaatsvindt.
3. Regulatory sandbox
De AI Act biedt de mogelijkheid tot het creëren van een zogenaamde regulatory sandbox.4 In een regulatory sandbox kan in een gecontroleerde omgeving of raamwerk worden geëxperimenteerd met innovatieve AI, onder supervisie van een bevoegde autoriteit. Dit betreft een maatwerkregeling vanuit de nationale toezichthouder voor nieuwe, specifieke, innovatieve toepassingen. Meer specifiek, zal de zorginstelling dan een contract moeten sluiten met de bevoegde autoriteit voor het testen in de regulatory sandbox.
De Europese Unie creëert door middel van de AI Act, zelf geen regulatory sandbox maar laat het aan de nationale toezichthouder om binnen de grenzen van het Europese en nationale recht in ieder geval één AI regulatory sandbox op te zetten. De specifieke invulling van en vereisten voor een dergelijke regulatory sandbox worden nader bepaald. In de AI Act is bepaald dat de Europese Commissie, door middel van uitvoeringshandelingen, hier in de toekomst nadere vereisten aan zal stellen.5
4. Testen in real world conditions
Daarnaast is het mogelijk om hoog risico AI onder voorwaarden te testen in real world conditions buiten een regulatory sandbox.6 Onder het testen in real world conditions wordt verstaan het tijdelijk testen van een AI-systeem voor het beoogde doel in real world conditions buiten een laboratorium of een andere gesimuleerde omgeving.
Om te mogen testen in real world conditions moet de leverancier onder andere een testplan opstellen en laten goedkeuren door de bevoegde autoriteit van de lidstaat. Waar dit testplan precies uit moet bestaan, zal de Europese Commissie in latere documentatie vastleggen. De test mag daarnaast niet langer duren dan noodzakelijk om het doel te bereiken en in ieder geval niet langer dan zes maanden zijn.
Tijdlijn
De AI Act biedt dus een aantal mogelijkheden om op kleine schaal AI te testen. De concrete invulling van deze opties is nog niet geheel duidelijk. Waarom dan toch nu al rekening houden met de AI Act? Het duurt immers nog twee jaar voordat aan de vereisten van de AI Act moet worden voldaan. Dit lijkt ver weg, maar toch is het goed om hier als zorginstelling nu al mee aan de slag te gaan. Waarom? De kwaliteit en veiligheid van het gebruik van AI moeten bij een zorginstelling voorop staan. De AI Act geeft hier concrete handvatten voor. Daarnaast wordt in een zorginstelling vaak voor meerdere jaren ingekocht, bijvoorbeeld voor vijf jaar of langer. De planning ten aanzien van het inkopen of ontwikkelen van medische software ziet dan ook op de lange termijn.
Conclusie
Een proactieve houding met betrekking tot de AI Act is noodzakelijk voor zorginstellingen. Zijn er plannen om in de nabije toekomst te experimenteren met AI? Wees dan bedacht op het feit dat dit binnen twee jaar uitsluitend binnen de kaders van de AI Act (en de MDR) mag plaatsvinden. Als zorginstelling ben je namelijk verantwoordelijk voor de correcte naleving van de toepasselijke regelgeving. In dit kader, is het raadzaam om een nulmeting uit te voeren. Daarnaast kan het aanstellen van een AI Compliance Officer met de nodige expertise waardevol zijn. Zie onze eerdere blog over waarom zorginstellingen een AI Compliance Officer nodig hebben.
Meer weten over dit onderwerp?
Van 9 t/m 11 april zijn we weer aanwezig bij het health tech event Zorg & ict. Wij vertellen hier meer over veel onderwerpen zoals Het gebruik van AI in de zorg. Zien we je daar?
Wil je direct in contact komen met een van onze specialisten? Stel je vraag dan via het contactformulier of bel direct naar 020 663 1941
1 Artikel 43(4) AI Act.
2 Artikel 2(5a) AI Act.
3 Artikel 2(5b) AI Act.
4 Artikel 53 AI Act.
5 Artikel 53a AI Act.
6 Artikel 54a AI Act.
