De AI-founder aan het bed

De Nederlandse zorg heeft geen gebrek aan regels. Zij heeft patiëntrechten, beroepsnormen, kwaliteitskaders, privacywetgeving, informatiebeveiliging, medische hulpmiddelenregulering en toezicht. Wie zegt dat zorginstellingen nog ‘even’ AI-regie moeten regelen, begrijpt het domein niet.

Toch knaagt er iets over de bestaande kaders: onder welke voorwaarden mag een extern AI-model deelnemen aan de zorgrelatie?

Die vraag wordt urgent nu AI niet alleen binnenkomt als formeel beoordeeld medisch hulpmiddel, maar ook via patiëntbrieven, dossier-samenvattingen, verslaglegging, triage-ondersteuning, generatieve tools en AI-functies in bestaande software. De AI-founder staat niet aan het bed, maar zijn model kan wel de zin voorstellen die straks in het dossier staat.

Dit stuk betoogt dat zorginstellingen daarom méér nodig hebben dan AI-regie. En dat is niet omdat bestaande kaders waardeloos zijn, maar omdat zij vaak beginnen nadat de diepere vraag al stilzwijgend is gepasseerd: welk oordeel mag een instelling door AI laten beïnvloeden, en welk oordeel blijft onvervreemdbaar menselijk? Daarvoor is een AI-covenant nodig. Geen extra beleidsdocument, maar een institutionele belofte vóór beleid en toezicht.

De zorg begint niet bij nul

Het is verleidelijk om over AI in de zorg te spreken alsof instellingen nog aan het begin van hun bestuurlijke ontwikkeling staan. Dat is onzin. De zorg is een van de meest genormeerde sectoren van Nederland. De WGBO geeft patiënten onder meer recht op duidelijke informatie, overleg met de zorgverlener, inzage in het medisch dossier, correctie van fouten, en vernietiging van gegevens en privacy en geheimhouding van medische gegevens. (Rijksoverheid)

De Wkkgz legt vast dat iedereen recht heeft op goede zorg en regelt onder meer de afhandeling van klachten, het veilig melden van incidenten, het leren van ongewenste gebeurtenissen en een sterkere positie van de cliënt wanneer er in de zorgverlening iets misgaat. (Rijksoverheid) Daarnaast gelden privacy- en beveiligingsverplichtingen, beroepsnormen en Europese kaders voor medische technologie. AI-systemen die in de zorg een medische bestemming hebben, kunnen onder medische hulpmiddelenregulering vallen; hoog-risico AI-systemen vallen onder de Europese AI Act onder verplichtingen rond risicomanagement, documentatie, menselijk toezicht, accuracy, robustness en cybersecurity. (Artificial Intelligence Act)

Ook de internationale kennisbasis groeit snel. FUTURE-AI formuleert een consensuskader voor betrouwbare en inzetbare AI in de zorg, gebaseerd op de principes van fairness, universality, traceability, usability, robustness en explainability. Daarbij benadrukt het initiatief dat betrouwbare medische AI de hele levenscyclus moet beslaan: van ontwerp en validatie tot regulering, implementatie en monitoring. (arXiv) De WHO stelt dat AI in gezondheid alleen verantwoord kan worden gebruikt wanneer ethiek en mensenrechten centraal staan in ontwerp, inzet en gebruik, en wanneer publieke en private partijen aanspreekbaar blijven voor de zorgprofessionals en gemeenschappen die door AI worden geraakt. (Wereldgezondheidsorganisatie)

Dat is de bestaande verdedigingslinie. Niet niets, maar niet genoeg.

Het probleem is niet dat de zorg geen regels heeft. Het probleem is dat regels vaak per domein werken, terwijl AI dwars door die domeinen heen schuift. Privacy kijkt naar gegevens. Medische hulpmiddelenregulering kijkt naar bestemming, veiligheid en performance. Informatiebeveiliging kijkt naar toegang, logging en bescherming. Kwaliteitskaders kijken naar goede zorg, klachten, incidenten en leren. En professionele normen kijken naar verantwoordelijkheid van de zorgverlener. AI raakt al die lagen tegelijk, maar doet dat vaak via iets dat onschuldiger lijkt: taal, samenvatting, prioritering, uitleg of workflow.

Daar zit een enorme blinde vlek.

AI komt binnen als gemak

Een arts laat na een druk spreekuur een conceptbrief herschrijven zodat de patiënt haar beter begrijpt. Een verpleegkundige krijgt een automatische samenvatting van een lang dossier. Een medisch secretaresse gebruikt een slimme tekstsuggestie voor een bericht in het patiëntenportaal. Een leverancier activeert een AI-assistent in software die al jaren door de instelling wordt gebruikt. Niemand noemt dit een strategische overdracht van oordeel. Het voelt als verlichting.

Dat gevoel is begrijpelijk. Klinische documentatie, patiëntcommunicatie en administratieve dossiervorming drukken zwaar op zorgprofessionals. Onderzoek naar generatieve AI voor klinische documentatie wijst ook juist op de aantrekkingskracht van zulke toepassingen: zij kunnen conceptnotities, patiëntgerichte tekst en gestructureerde verslaglegging helpen voorbereiden, maar roepen tegelijk vragen op over privacy, bias en verantwoord gebruik. (arXiv)

Het gevaar is niet dat een zorgprofessional een betere zin zoekt. Het gevaar is dat de organisatie niet heeft vastgesteld wanneer zo’n systeem nog taal ondersteunt, wanneer het de inhoud begint te ordenen, wanneer het het eerste interpretatiekader wordt en wanneer het feitelijk deelneemt aan professioneel oordeel.

Een softwarefunctie die een tekst opslaat is iets anders dan een model dat een tekst herschrijft. Een database die gegevens bewaart is iets anders dan een samenvatter die bepaalt welke gegevens de professional als eerste ziet. Een planningsmodule is iets anders dan een model dat urgentie of risico helpt ordenen. Dat zijn geen details. In de zorg kunnen taal, volgorde, nadruk en samenvatting het werkelijke oordeel beïnvloeden.

Daarmee verandert de regievraag. Het gaat niet alleen om de vraag of een tool veilig is. Het gaat om de vraag of deze vorm van machinale beïnvloeding mag deelnemen aan deze zorgrelatie.

Mandaat vóór beleid en toezicht

Een zorginstelling heeft het mandaat om zorg te verlenen, gegevens te verwerken, professionals te ondersteunen en patiënten te begeleiden. Dat mandaat komt voort uit wetgeving, professionele standaarden, vertrouwen en de concrete behandelrelatie. Het is niet automatisch overdraagbaar aan een model, platform of leverancier.

Dit onderscheid ontbreekt vaak in AI-discussies. Men vraagt of de tool voldoet aan de regels. Men vraagt of het contract klopt. Men vraagt of de data veilig zijn. Men vraagt of de output wordt gecontroleerd. Dat zijn noodzakelijke vragen. Maar zij komen te laat als de instelling niet eerst heeft uitgesproken welk oordeel AI überhaupt mag aanraken.

Een AI-samenvatting kan technisch veilig zijn en toch professioneel riskant worden wanneer zij het eerste interpretatiekader van de arts wordt. Een AI-gegenereerde patiëntbrief kan juridisch correct verwerkt zijn en toch de toon van de behandelrelatie veranderen. Een AI-functie kan onderdeel zijn van reeds goedgekeurde software en toch een nieuwe vorm van machinale deelname aan zorg introduceren. Dat zijn geen beweringen dat dit altijd misgaat. Het zijn voorbeelden van de vraag die iedere zorginstelling per toepassing zich moet durven stellen: welk mandaat krijgt het model hier?

AI-regie vraagt dus eerst om mandaatordening. Welk oordeel mag een zorginstelling aan een model laten meedoen, en welk oordeel blijft menselijk, professioneel en institutioneel?

De AI-founder als onzichtbare deelnemer

Met ‘AI-founder’ bedoel ik (alleen) niet de karikatuur van de techmiljardair die vanuit Silicon Valley de Nederlandse zorg bestuurt. Het punt is subtieler. Modelbouwers en leveranciers maken keuzes over trainingsdata, productontwerp, veiligheidsfilters, modelupdates, dataverwerking, logging, instructies voor gebruik, standaardinstellingen en commerciële prikkels. Die keuzes bepalen mede hoe een systeem taal verwerkt, onzekerheid toont, beperkingen aangeeft en output vormgeeft.

In de zorg kan dat de toon van een patiëntbrief raken, de volledigheid van een samenvatting, de zichtbaarheid van een contra-indicatie, de formulering van een triagesignaal of de manier waarop een professional begrijpt waarom een advies wordt gegeven. Onderzoek naar explainable AI in de zorg wijst er bovendien op dat gebrek aan transparantie en vertrouwen een barrière is voor klinische adoptie; explainability kan bijdragen aan vertrouwen, maar moet worden aangevuld met onder meer datakwaliteit, externe validatie en passende regulering. (arXiv)

De AI-founder bepaalt niet de zorg. Maar zijn organisatie ontwerpt wel de voorwaarden waaronder het model taal, interpretatie en output ondersteunt. En de zorginstelling blijft verantwoordelijk voor wat die ondersteuning betekent in de behandelrelatie.

Daarom is vendor-embedded AI zo belangrijk. Het aangeleverde rapport The Shadow AI Crisis in the Legal Profession onderscheidt twee routes waarlangs Shadow AI ontstaat: ongeautoriseerd gebruik van publieke AI-tools door professionals en AI-functionaliteit die door leveranciers wordt toegevoegd aan bestaande softwareomgevingen zonder nieuwe, bewuste beoordeling door de organisatie. Vertaald naar de zorg betekent dit dat AI niet alleen binnenkomt via formele AI-projecten, maar ook via knoppen die plotseling verschijnen in bekende werkprocessen.

Een zorginstelling kan technologie inkopen. Haar zorgplicht kan zij niet uitbesteden aan een modelbouwer.

Maar… Dit is toch al geregeld?

Het tegenargument is sterk. Voor medische AI bestaat regulering. Voor patiëntdata bestaat privacywetgeving. Voor kwaliteit bestaat de Wkkgz. Voor patiëntrechten bestaat de WGBO. Voor hoog-risico AI komt de AI Act. Voor betrouwbare medische AI bestaan internationale kaders zoals FUTURE-AI. En voor ethiek en mensenrechten in gezondheids-AI heeft de WHO richtinggevende principes geformuleerd. (Rijksoverheid)

Maar deze kaders beantwoorden vaak deelvragen. Zij zeggen iets over rechtmatige gegevensverwerking, productveiligheid, kwaliteitsmanagement, incidenten, dossierrechten, klinische validatie, risicobeoordeling en menselijk toezicht. Zij beantwoorden niet vanzelf de institutionele belofte aan de patiënt wanneer AI meedoet aan taal, verslaglegging, triage, communicatie of besluitvoorbereiding.

Dat verschil lijkt klein, maar is groot. Een instelling kan een DPIA uitvoeren, een contract toetsen, logging regelen en een menselijke review eisen, terwijl voor patiënten en professionals nog steeds onduidelijk blijft wat AI precies mag doen in de zorgrelatie. Is AI slechts een teksthulp? Is het een samenvatter? Is het een triage-ondersteuner? Is het een voorbereider van professioneel oordeel? Is het zichtbaar voor de patiënt? Kan de patiënt uitleg vragen? Mag de professional het model negeren zonder productie- of verantwoordingsdruk? Kan de instelling de functie stilleggen wanneer gedrag of context verandert?

Zonder covenant kun je voldoen aan losse normen en toch onduidelijk laten wat de patiënt van de instelling mag verwachten wanneer AI meedoet.

Waarom de zorg zwaarder weegt

In commerciële dienstverlening kan AI ook schade veroorzaken. Maar de zorg heeft een andere lading. Een patiënt is geen gewone gebruiker. Medische informatie is geen gewone data. Een verslag is geen gewone tekst. Een behandelrelatie is geen gewone transactie.

De patiënt deelt informatie die hij buiten de zorgrelatie nooit zou delen. Hij doet dat vanuit afhankelijkheid, kwetsbaarheid en vertrouwen. Hij gaat ervan uit dat de zorgverlener en de instelling zijn belang dienen, dat medische gegevens worden beschermd, dat fouten worden besproken en dat schade kan worden hersteld. Die verwachting is niet sentimenteel; zij is ingebed in wettelijke rechten en kwaliteitsverplichtingen. (Rijksoverheid)

AI verandert die verhouding niet omdat zij digitaal is. AI verandert haar omdat zij een nieuwe deelnemer introduceert in taal, ordening, samenvatting en besluitvoorbereiding. Niet ieder AI-gebruik hoeft zichtbaar te worden gemaakt alsof het een ingrijpende medische handeling is. Maar wanneer AI betekenisvol meedoet aan communicatie, prioritering, triage of verslaglegging, raakt het aan het vertrouwen waarop zorg berust.

In de zorg is vertrouwen geen merkwaarde. Het is een voorwaarde om überhaupt zorg te kunnen verlenen.

Het AI-covenant

Daarom komt het AI-covenant vóór beleid en toezicht. Het is geen vervanging van wetgeving, medische validatie, informatiebeveiliging of kwaliteitsbeleid. Het is ook geen extra complianceformulier. Het is de expliciete institutionele belofte tussen zorginstelling, professionals, patiënten en technologie over de voorwaarden waaronder AI mag deelnemen aan zorgprocessen.

De regievraag is: voldoet deze tool aan onze regels? De covenantvraag is: mag deze vorm van machinale beïnvloeding deelnemen aan deze zorgrelatie?

Een covenant maakt zichtbaar waar AI mag ondersteunen, waar menselijk oordeel verplicht blijft, welke patiëntdata nooit mogen worden gebruikt voor ongewenste training of hergebruik, wanneer AI-gebruik betekenisvol genoeg is om zichtbaar te zijn, wie output mag negeren of corrigeren, wie een toepassing kan stilleggen en hoe schade wordt hersteld.

De volgorde doet ertoe. Eerst de belofte. Daarna pas beleid, tooling, contracten, monitoring, audit en training.

Het convenant is de plek waar de zorginstelling uitspreekt wat zij niet aan de machine weggeeft.

Van covenant naar uitvoering

Een convenant dat in mooie taal blijft hangen, is waardeloos. Het moet worden vertaald naar bestuurbare praktijk. De eerste stap is inventarisatie van AI-deelname. Niet alleen officiële AI-projecten, maar ook publieke tools, copilots, samenvatters, generatieve functies in bestaande software en leveranciersupdates. Shadow AI ontstaat juist wanneer de organisatie alleen ziet wat formeel is goedgekeurd en niet wat feitelijk wordt gebruikt.

Daarna moet per toepassing worden benoemd welk oordeel wordt geraakt. Administratieve ondersteuning is iets anders dan patiëntcommunicatie. Een samenvatting is iets anders dan triage. Een planningssuggestie is iets anders dan behandeladvies. Een AI-gegenereerde brief is iets anders dan een AI-beslissing, maar ook taal kan zorginhoudelijke betekenis hebben.

Vervolgens moet de instelling niet-overdraagbare oordelen formuleren. Definitieve diagnose, behandelbesluit, ingrijpende triage, communicatie over ernstige diagnoses, beoordeling van wilsbekwaamheid en complexe afwegingen tussen patiëntwens, richtlijn en professionele inschatting vragen om menselijke verantwoordelijkheid. AI kan helpen voorbereiden, ordenen en signaleren. Zij mag niet ongemerkt drager van het oordeel worden.

De patiëntbelofte moet even concreet worden. Wanneer is AI-gebruik zichtbaar? Wanneer kan een patiënt uitleg vragen? Wanneer wordt AI-gebruik vastgelegd? Wanneer is interne professionele controle genoeg? En wanneer heeft de patiënt recht om te weten dat AI een betekenisvolle rol speelde?

Leveranciers moeten aan die belofte worden gebonden. Niet alleen via verwerkingsovereenkomsten, maar ook via afspraken over modeltraining, opslag, logging, updates, performance, wijzigingsbeheer, exit, incidentmelding en uitlegbaarheid. De AI Act legt providers en deployers van hoog-risico AI verplichtingen op rond onder meer risicomanagement, technische documentatie, instructies voor gebruik en menselijk toezicht; de zorginstelling moet vertalen wat die verplichtingen betekenen in haar eigen zorgprocessen. (Artificial Intelligence Act)

Menselijk toezicht moet ten slotte als bevoegdheid worden ontworpen. Een “human in the loop” zonder tijd, informatie, kennis en mandaat is decor. De professional moet output kunnen controleren, negeren, corrigeren en escaleren. Anders gebruikt de instelling de mens als aansprakelijkheidsschild.

Wat bestaat al, en wat voegt het covenant toe?

Onderstaand overzicht laat zien waar bestaande kaders richting geven en waar aanvullende institutionele keuzes nodig blijven.

AI Covenant Checklist voor zorginstellingen

In de praktijk begint dat met de volgende vragen:

1. Weten wij waar AI al meedoet in zorg, administratie en patiëntcommunicatie?

2. Is per toepassing duidelijk welk oordeel of vertrouwen wordt geraakt?

3. Hebben wij bepaald welke beslissingen niet aan AI mogen worden overgedragen?

4. Is patiëntdata beschermd tegen ongewenste training, opslag of hergebruik?

5. Weten professionals wanneer zij AI-output moeten controleren, negeren of escaleren?

6. Is AI-gebruik zichtbaar wanneer het betekenisvol is voor de patiënt?

7. Kunnen patiënten uitleg vragen of bezwaar maken?

8. Zijn leveranciers gebonden aan onze zorgspecifieke belofte, niet alleen aan hun eigen voorwaarden?

9. Kunnen wij AI-gebruik stilleggen bij twijfel, drift of incidenten?

10. Is herstel georganiseerd wanneer AI-bijdrage tot schade of misleiding leidt?

11. Wordt het covenant periodiek herzien met professionals en patiënten?

12. Is bestuurlijk eigenaarschap expliciet belegd?

Tot slot

De zorg heeft altijd gewerkt met een bijzondere vorm van vertrouwen. Een patiënt laat zich onderzoeken, beschrijft klachten, deelt angst, geeft toestemming, volgt advies en accepteert soms ingrijpende behandeling omdat hij vertrouwt op de professional en de instelling.

AI kan die relatie ondersteunen. Zij kan werk verlichten, taal verbeteren, informatie ordenen en professionals helpen hun aandacht beter te richten. Maar nuttig is niet hetzelfde als gelegitimeerd. De vraag is niet alleen of AI werkt. De vraag is onder welk contract zij mag meedoen.

In de zorg is AI pas verantwoord wanneer de patiënt niet afhankelijk is van de moraal, defaults of commerciële logica van de modelbouwer, maar van de expliciete belofte van de instelling die voor hem zorgt.