Er wordt veel onderzoek gedaan naar het inzetten van Artificiële Intelligentie (hierna “AI”) in de zorg. Denk bijvoorbeeld aan een AI-algoritme dat kan aangeven of iemand longkanker heeft door de CT-scan te beoordelen. Voor veel ziektebeelden geldt dat hoe eerder het ontdekt wordt, hoe beter voor de behandeling. Maar omdat technologie voor de zorg zo een hot topic is en volop wordt ontwikkeld en aangeboden, kan het voor inkopers moeilijk zijn om de kwaliteit te bepalen. Deze blog helpt je als inkoper in de zorg op weg met praktische tips.
Wat moet de fabrikant doen om de kwaliteit te borgen?
Het is voor de inkoper van belang om te weten wat de fabrikant van de AI allemaal moet doen voordat het op de markt gebracht kan worden. Op die manier kun je als inkoper de juiste vragen stellen en beoordelen of bepaalde documentatie voldoet aan de eisen. Maar waar is de fabrikant dan verantwoordelijk voor?
De fabrikant is verantwoordelijk voor het product gedurende de hele levenscyclus. De fabrikant is verantwoordelijk voor de kwaliteit, prestaties en veiligheid ervan. In de Medical Device Regulation (hierna: “MDR’’) wordt uitgebreid uiteengezet wat de algemene verplichtingen zijn. Een paar die ik wil uitlichten zijn:
- er moet een risicomanagementsysteem zijn;
- er moeten klinische evaluaties of onderzoeken worden uitgevoerd;
- er moet een kwaliteitsmanagementsysteem zijn;
- post-market surveillance moet uitgevoerd worden;
- er moet een systeem zijn voor het rapporteren van incidenten.
Naast dat de AI moet voldoen aan algemene veiligheids- en prestatie-eisen, moet er een risicomanagementsysteem zijn. Daarbij moet niet alleen gekeken worden naar de risico’s die de AI kent, maar ook de menselijke risicofactor moet meegenomen worden. Voor de inkoper heb ik de volgende tip: controleer of de fabrikant het risicomanagementsysteem zoals in de ISO 14971, heeft geïmplementeerd. Voor het kwaliteitsmanagementsysteem heb ik een soortgelijke tip; als inkoper kun je controleren of de fabrikant een kwaliteitsmanagementsysteem heeft op basis van de ISO 13485.
Om als inkoper inzicht te krijgen in de kwaliteit van bijvoorbeeld een AI-algoritme dat je wil gebruiken om CT-scans te laten beoordelen, is het goed om te vragen naar de klinische evaluaties en onderzoeken die de fabrikant heeft moeten uitvoeren. Hieruit kun je als inkoper inzicht krijgen in bijvoorbeeld de datasets die zijn gebruikt; past dat wel bij de patiëntengroep waar je het voor wil inkopen en zit er mogelijk bias in? Zo kan een model dat gebouwd is rondom vrouwen in de VS anders uitpakken en misschien niet 1-op-1 toegepast worden bij/op vrouwen in Nederland. Of misschien bestaat de dataset voornamelijk uit mensen uit één etnische groep.
Net zo belangrijk is de monitoring van de kwaliteit, wanneer het AI-algoritme al in gebruik is. Daarom moet de fabrikant post-market surveillance uitvoeren en moet er een systeem zijn waar incidenten gerapporteerd kunnen worden. Indien er al informatie bekend is middels de post-market surveillance, is het als inkoper zeker goed om te vragen naar die informatie en vooral ook om te vragen of er bepaalde aanpassingen zijn gedaan na het op de markt brengen en waarom die aanpassingen zijn gedaan.
AI Act
Daarnaast is het van belang om je als inkoper ook bewust te zijn van de aankomende AI Act. De AI Act zal namelijk ook van toepassing zijn op dit soort algoritmes. De wetgeving zal eisen stellen aan transparantie, traceerbaarheid, nauwkeurigheid en veiligheid van AI-algoritmes. AI-systemen die als "hoog risico" worden beschouwd, zullen aan strengere eisen moeten voldoen en mogelijk moeten worden goedgekeurd door een onafhankelijke instantie voordat ze op de markt worden gebracht. Deze strenge regels omvatten het verstrekken van gedetailleerde informatie over hoe het systeem werkt en welke datasets worden gebruikt om het te trainen. Daarnaast moeten fabrikanten een proces hebben voor het monitoren en rapporteren van incidenten met hun AI-algoritmes. Hier zien we dus wat overlap met de MDR, extra belangrijk om als inkoper dus bij stil te staan.
Contracten
Andere tips die ik heb voor de inkoper: maak goede contractuele afspraken. Of je nu contracteert met de fabrikant of de distribiteur; leg de verantwoordelijkheden goed vast. Denk daarbij niet alleen aan wat direct bij de levering belangrijk is, maar denk juist ook aan de periode erna wanneer de AI in gebruik is genomen. Ontwikkelingen gaan snel, daarom is het extra belangrijk dat de fabrikant/distribiteur betrokken en verantwoordelijk blijft. En als laatste tip: de Leidraad kwaliteit AI in de zorg. Deze leidraad is ontwikkeld door en voor het veld met het oog op voorspellende AI-gestuurde algoritmen.
Uiteraard kun je voor meer tips ook contact met ons opnemen!
