Datagedreven werken maakt steeds meer automatisering in de zorg mogelijk. Dit heeft voordelen, maar ook risico’s. Welke voordelen en risico’s zijn dit, en hoe kun je deze ondervangen door middel van data governance? Frank Ferro, sinds kort werkzaam als hoofd-ICT bij Amsterdam UMC, deelt zijn bevindingen over automatisering in de zorg.
De toegevoegde waarde van automatisering in de zorg
Frank: “Als je naar de logistieke kant van de zorg kijkt, zie ik de voorspellende gave van AI als een toegevoegde waarde bij informatievoorziening en planning. Een van de grootste winsten zit echter bij de transcriptie van gesproken tekst. Stel je hebt een consult van een uur, schrijft de zorgverlener dat allemaal op. Generatieve AI kan op basis van de gesproken tekst een document maken met relevante zaken, waaruit blijkt welke acties er uit het gesprek zijn gekomen. De zorgverlener schrijft minder mee tijdens het consult en heeft dus meer aandacht voor zijn of haar gesprekspartner. De acties worden vervolgens geautomatiseerd doorgestuurd naar de desbetreffende systemen, bijvoorbeeld om direct medicijnen te bestellen bij de apotheker. Dat is allemaal te automatiseren”.
AI als assistent
“Het is belangrijk om te onthouden dat AI een copiloot is die een verslag schrijft van een consult en daar taken uithaalt, het is geen autopiloot. Het gebruik van dit soort technologie vraagt om een ‘human in the loop’. Het verslag genereren is één, maar een mens moet dit altijd controleren of het klopt wat er staat én of de acties die eruit voortvloeien logisch zijn. Als er geautomatiseerd medicijnen worden besteld, moet de laatste druk op de knop altijd door een mens gebeuren”, zegt Frank.
Risico van automatisering in de zorg
“We weten allemaal hoe het gaat met algemene voorwaarden als je een product koopt, die lees je niet. Dat is precies het risico met geautomatiseerde verslagen: de arts moet het nalezen. De arts doet dit wellicht negen van de tien keer, en alle negen keer is het goed. Maar bij de tiende keer leest hij of zij het niet, en staat er een fout in”, illustreert Frank.
Drie manieren om data governance op orde te krijgen
Frank: “Mijn stelling is dat je voordat je met generatieve AI begint, je de governance rondom privacy en ethiek op orde moet hebben. De drempel om ermee te werken is nu zo laag, waardoor privacy en ethiek een reëel risico zijn. We gebruiken bij Amsterdam UMC geen openbare generatieve AI, dat is één voor veilig AI-gebruik. Het tweede is mensen AI-geletterd maken, dat is ook verplicht vanuit de AI-act. Ten derde moet je mensen de mogelijkheid bieden om de technologie op een laagdrempelige manier te gebruiken. Maak een proeftuin conform de ethische principes van jouw organisatie waarin collega’s hun gang kunnen gaan”.
Handelen binnen ethische kaders
“De vraag is hoe je als organisatie omgaat met privacy. De richtlijnen van de Data Act zijn redelijk rechtlijnig, maar de AI-Act is meer fluïde. Hierin staan veelal ethische kaders waarbinnen je handelt. De kern hiervan is dat je ethiek niet volledig kan vastleggen, want jouw ethiek is anders dan mijn ethiek. De oplossing is ethisch framework van use cases in je organisatie, waarover je in gesprek gaat”. Frank illustreert: “Er is bijvoorbeeld een fraudedetectie-algoritme dat detecteert of een klant te weinig betaalt. De vraag is of dit algoritme ook detecteert als een klant te veel betaalt? Daar staat niks over in de wetgeving, maar als organisatie bepaal je of dat ethisch is om te doen”.
Monitoring van een algoritme
Frank: “Wat voor mij het belangrijkste is, is dat je weet hoe het algoritme werkt. Een voorspellend algoritme kan en moet anders gaan werken door contextwijzigingen. Als de winkels dicht gaan door Covid, moet je het planningsalgoritme aanpassen. Dat is een contextwijziging die je kent, maar er zijn ook contextwijzigingen die je niet kent. Als een algoritme steeds beter gaat werken, moet je ook onderzoeken hoe dat komt. De monitoring van een algoritme is een fundamenteel element van je governance op AI en data.
Versterk jouw netwerk in de zorg
“Hoewel ik nog niet zo lang actief ben in de zorg, merk ik dat een netwerk in de zorg essentieel is. Je moet elkaar ontmoeten op de inhoud om onderdeel te worden van het totale netwerk in de zorg. Je kunt vervolgens leren van je netwerk, ook van andere instanties dan de academische ziekenhuizen”, sluit Frank af. Wil jij jouw netwerk in de zorg versterken, collega’s van andere zorginstanties ontmoeten en met hen het gesprek aangaan over automatisering en datagedreven werken in de zorg? Kom dan naar het Data Driven Healthcare congres op 5 juni 2025. Download de brochure voor een compleet programmaoverzicht.
