Veelgestelde vragen over The New Intelligent Covenant

AI verandert niet alleen de manier waarop organisaties werken. Zij verandert ook de verdeling van kennis, gezag, autonomie en verantwoordelijkheid. The New Intelligent Covenant onderzoekt daarom niet uitsluitend hoe organisaties AI kunnen beheersen, maar onder welke voorwaarden het gebruik van machine-intelligentie legitiem, rechtvaardig en menswaardig kan zijn.

Het convenant vormt de ethisch-filosofische grondslag. Het Verbondsmodel vertaalt die grondslag vervolgens naar de inrichting van organisaties. De drie beginselen - menselijk oordeel, machinematige terughoudendheid en algemeen belang - verbinden deze twee niveaus. (The Intelligence Covenant Institute)

De betekenis van het convenant

1. Wat is The New Intelligent Covenant?

The New Intelligent Covenant is een gedeelde afspraak over de voorwaarden waaronder mensen en instituties machine-intelligentie toelaten tot hun werk, besluitvorming en onderlinge relaties.

Het convenant stelt fundamentele vragen. Welke menselijke waarden moet AI dienen? Welke macht willen wij aan systemen toekennen? Welke beslissingen mogen niet aan machines worden overgedragen? Wie mag meebepalen wat het sociale contract betekent? En wie draagt verantwoordelijkheid wanneer mensen door een toepassing worden benadeeld?

Het gaat daarmee niet alleen over technologie, maar over de institutionele orde die met behulp van technologie ontstaat.

2. Waarom wordt het een convenant genoemd?

Een convenant is meer dan een beleidsdocument. Het drukt een wederzijdse verbintenis uit tussen de mensen en partijen die samen een institutionele gemeenschap vormen.

Binnen die gemeenschap spreken zij af:

• welke waarden zij willen beschermen;
• welke bevoegdheden menselijk blijven;
• welke grenzen voor machine-intelligentie gelden;
• hoe voordelen en risico’s worden verdeeld;
• hoe tegenspraak, correctie en herstel worden georganiseerd.

De precieze afspraken kunnen per organisatie en context verschillen. De onderliggende vraag blijft dezelfde: welke technologische orde kunnen wij tegenover elkaar rechtvaardigen?

3. Waarin verschilt het convenant van beleid, toezicht en risicoduiding?

Beleid, toezicht en risicoduiding vragen hoe een organisatie AI beheerst. Zij gaat over beleid, rollen, datagrenzen, toezicht, audits, training en incidentprocedures.

Het convenant stelt een eerdere en fundamentelere vraag:

Onder welke voorwaarden is de orde die wij met AI creëren legitiem?

Een toepassing kan technisch veilig, juridisch toegestaan en bestuurlijk goed georganiseerd zijn, maar desondanks onrechtvaardig of ontmenselijkend uitwerken. Institutionele verantwoordelijkheid kan vaststellen of een systeem volgens de regels functioneert. Het convenant onderzoekt of het systeem überhaupt een plaats in de gemeenschap behoort te krijgen en welke morele voorwaarden daarvoor gelden.

Institutionele verantwoordelijkheid is daarom de uitvoering van het convenant, niet de vervanging ervan.

4. Welk probleem probeert het convenant op te lossen?

AI komt meestal stapsgewijs een organisatie binnen. Een hulpmiddel schrijft teksten, een model rangschikt kandidaten, een systeem beoordeelt risico’s of een algoritme adviseert over klanten, leerlingen of patiënten.

Iedere afzonderlijke toepassing kan beperkt lijken. Gezamenlijk veranderen deze systemen echter wie informatie bezit, wie invloed heeft op beslissingen, welk oordeel als gezaghebbend geldt en wie verantwoordelijkheid draagt.

Zonder expliciet convenant worden deze veranderingen vooral bepaald door leveranciers, bestaande machtsverhoudingen, technische mogelijkheden en kortetermijndoelen. Het convenant maakt de morele keuzes achter deze ontwikkeling zichtbaar en bespreekbaar.

5. Is dit een sociaal contract tussen mensen en machines?

Niet letterlijk. Een sociaal contract veronderstelt partijen die kunnen instemmen, verplichtingen kunnen aangaan en verantwoordelijkheid kunnen dragen. De huidige AI-systemen zijn in die betekenis geen morele of juridische contractspartijen.

Het convenant wordt daarom gesloten tussen mensen en instituties over de voorwaarden waaronder zij machine-intelligentie gebruiken.

Dit onderscheid voorkomt dat menselijke verantwoordelijkheid verdwijnt achter formuleringen als “de AI heeft besloten”. Een systeem kan een uitkomst produceren, maar mensen en organisaties bepalen of het wordt ingezet, welke gegevens het gebruikt, welk gewicht de uitkomst krijgt en welke gevolgen eraan worden verbonden.

De machine is het onderwerp van het convenant, niet de ondertekenaar ervan.

Rousseau en het sociale contract

6. Wie was Jean-Jacques Rousseau?

Jean-Jacques Rousseau (1712-1778) was een in Genève geboren schrijver en filosoof die een centrale plaats inneemt in de Europese Verlichting. Tegelijkertijd was hij kritisch op het idee dat wetenschappelijke, maatschappelijke en technologische vooruitgang vanzelf tot morele vooruitgang leidt.

In Du contrat social uit 1762 onderzocht Rousseau hoe mensen gezamenlijk gezag kunnen vormen zonder hun vrijheid eraan te verliezen. Zijn begrippen van het sociale contract, volkssoevereiniteit en de algemene wil hebben grote invloed gehad op het moderne denken over democratie, burgerschap en politieke legitimiteit. (Stanford Encyclopedia of Philosophy)

Zijn theorie kan niet rechtstreeks worden toegepast op hedendaagse organisaties of technologie. Zij biedt wel een krachtige manier om over AI na te denken: niet alleen wie over een systeem beslist, maar vooral wie de regels bepaalt waaronder het systeem macht over mensen krijgt.

7. Wat bedoelt Rousseau met een sociaal contract?

Rousseau zoekt naar een vorm van samenleving waarin mensen hun krachten bundelen, terwijl zij vrij blijven. Politiek gezag is volgens hem niet legitiem omdat het machtig, efficiënt of wettelijk georganiseerd is. Het wordt legitiem wanneer mensen zichzelf kunnen begrijpen als mede-auteurs van de regels waaraan zij zijn onderworpen.

Vrijheid betekent dan niet dat ieder individu onbeperkt kan doen wat hij wil. Zij betekent dat mensen niet zijn overgeleverd aan de willekeur van een ander, maar leven onder gemeenschappelijke regels die zij als vrije en gelijkwaardige leden van de gemeenschap mede hebben gevormd. (Stanford Encyclopedia of Philosophy)

Vertaald naar AI ontstaat de vraag of de mensen die door een systeem worden geraakt ook invloed hebben op de voorwaarden waaronder dat systeem wordt gebruikt.

8. Wat is de algemene wil?

De algemene wil, de volonté générale, is bij Rousseau niet hetzelfde als de mening van de meerderheid of de optelsom van individuele voorkeuren. Zij richt zich op het gemeenschappelijke belang: de voorwaarden waaronder de leden van een gemeenschap als vrije en gelijkwaardige personen kunnen samenleven.

Een populaire AI-toepassing dient daarom niet automatisch het algemeen belang. Ook een systeem dat kosten bespaart of de gemiddelde kwaliteit verhoogt, kan bepaalde groepen benadelen, menselijke vermogens verzwakken of ongewenste afhankelijkheden creëren.

De vraag van de algemene wil is niet alleen:

Wat willen de meeste mensen?

Maar vooral:

Welke ordening kunnen wij rechtvaardigen tegenover iedereen die door haar gevolgen wordt geraakt?

9. Kan een organisatie een sociaal contract hebben?

Een organisatie is geen democratische staat en medewerkers, bestuurders, klanten en leveranciers beschikken niet over gelijke macht. Rousseaus politieke model kan daarom niet letterlijk op een onderneming, school of publieke instelling worden geprojecteerd.

Toch ontstaat ook binnen organisaties een gemeenschappelijke orde van rechten, plichten, verwachtingen en bevoegdheden. Technologie maakt daar steeds nadrukkelijker deel van uit. Organisaties bepalen bijvoorbeeld wie wordt geobserveerd, welke prestaties worden gemeten, welke beslissingen worden geautomatiseerd en welke ruimte professionals behouden.

Een institutioneel sociaal contract maakt deze keuzes expliciet. Juist omdat machtsverschillen bestaan, moet het convenant aandacht besteden aan vertegenwoordiging, tegenspraak, bescherming en herstel.

De centrale ethische vragen

10. Wie behoort tot de gemeenschap van het convenant?

Niet alleen degenen die een AI-systeem aanschaffen, ontwikkelen of gebruiken. Ook mensen die door het systeem worden beoordeeld, gestuurd of geraakt, behoren in morele zin tot de relevante gemeenschap.

Dat kunnen medewerkers, sollicitanten, klanten, leerlingen, patiënten, burgers, leveranciers en toekomstige gebruikers zijn. Ook groepen die moeilijk vertegenwoordigd zijn of niet eenvoudig toestemming kunnen geven, moeten worden meegewogen.

Een centrale vraag is daarom:

Wie ondervindt de macht van deze toepassing zonder invloed te hebben op de voorwaarden waaronder die macht wordt uitgeoefend?

Hoe groter de gevolgen voor een persoon of groep, hoe sterker de aanspraak op zeggenschap, bescherming, uitleg en beroep.

11. Wat betekent menselijke vrijheid in de omgang met AI?

Vrijheid is meer dan de mogelijkheid om een AI-tool wel of niet te gebruiken. Een mens kan formeel een keuze hebben en toch feitelijk afhankelijk zijn van een systeem, leverancier of organisatorisch proces.

Vrijheid vereist daarom dat mensen:

• begrijpen welke rol AI speelt;
• een uitkomst kunnen betwisten;
• toegang hebben tot een reëel alternatief;
• niet onevenredig worden benadeeld wanneer zij bezwaar maken;
• voldoende kennis en vaardigheid behouden om zelfstandig te oordelen;
• invloed kunnen uitoefenen op de regels waaronder AI wordt gebruikt.

AI vergroot de vrijheid wanneer zij het handelings- en oordeelsvermogen van mensen versterkt. Zij beperkt de vrijheid wanneer mensen steeds afhankelijker worden van systemen die zij niet kunnen begrijpen, beïnvloeden of verlaten.

12. Welke menselijke bevoegdheden mogen niet worden overgedragen?

Niet iedere taak hoeft door een mens te worden uitgevoerd. AI kan informatie ordenen, patronen herkennen, alternatieven voorstellen en onderdelen van besluitvorming ondersteunen.

Wat niet mag worden vervreemd, is het menselijke en institutionele auteurschap over de normen waaronder beslissingen worden genomen. Mensen moeten blijven bepalen:

• welk doel legitiem is;
• welke waarden en belangen relevant zijn;
• welke fouten aanvaardbaar zijn;
• wanneer een uitzondering gerechtvaardigd is;
• wanneer een toepassing moet worden aangepast of beëindigd;
• wie verantwoordelijkheid draagt voor de gevolgen.

Een model kan voorspellen welke kandidaat waarschijnlijk succesvol zal zijn. Het kan niet zelfstandig bepalen wat rechtvaardig werkgeverschap is. Het kan behandelopties vergelijken, maar niet beslissen welke risico’s in een individueel mensenleven verantwoord zijn.

Meer nauwkeurigheid neemt het normatieve karakter van zulke beslissingen niet weg.

13. Wat betekent menselijk oordeel?

Menselijk oordeel betekent niet dat een mens iedere handeling zelf moet uitvoeren of iedere AI-uitkomst handmatig moet controleren.

Het betekent dat mensen daadwerkelijk bevoegd en in staat blijven om doelen te stellen, redenen af te wegen, context te begrijpen, uitzonderingen te herkennen en verantwoordelijkheid te dragen.

Een menselijke goedkeuringsknop is daarvoor niet voldoende. Wanneer een medewerker onder tijdsdruk vrijwel altijd het advies van het systeem moet volgen, is de mens formeel aanwezig maar materieel nauwelijks nog beslissend.

De relevante vraag is:

Kan de mens het oordeel van het systeem werkelijk onderzoeken, tegenspreken en naast zich neerleggen?

Menselijk oordeel moet een werkelijke bevoegdheid zijn, geen rituele bevestiging van een geautomatiseerde conclusie.

14. Wat betekent machinematige terughoudendheid?

Machinematige terughoudendheid betekent dat een organisatie niet alles automatiseert wat technisch mogelijk of economisch aantrekkelijk is.

Sommige activiteiten ontlenen een deel van hun waarde aan menselijke aandacht, erkenning en verantwoordelijkheid. In zorg, onderwijs, leiderschap, personeelsbeleid, rechtspraak en publieke dienstverlening kan de menselijke relatie onderdeel zijn van de kwaliteit van de handeling zelf.

Terughoudendheid vraagt daarom:

• welke processen niet of slechts gedeeltelijk mogen worden geautomatiseerd;
• waar menselijke aanwezigheid betekenisvol blijft;
• welke afhankelijkheden acceptabel zijn;
• of een systeem kan worden uitgezet of vervangen;
• welke menselijke kennis en vaardigheden behouden moeten blijven.

Een organisatie heeft pas werkelijk grip op technologie wanneer zij niet alleen in staat is een systeem in te voeren, maar het ook kan begrenzen, terugnemen en beëindigen.

15. Wat wordt bedoeld met het algemeen belang?

Het algemeen belang is breder dan productiviteit, kostenbesparing of gebruiksgemak. Het omvat ook de kwaliteit van de gemeenschap en haar instituties.

Afhankelijk van de context kan het gaan om menselijke waardigheid, professionele integriteit, gelijkheid, betrouwbaarheid, privacy, toegankelijkheid, solidariteit, waarheidsvinding, betekenisvol werk en publieke waarde.

Het algemeen belang is geen vaste checklist die door bestuurders of ethici vooraf kan worden ingevuld. Het moet worden onderzocht in een zorgvuldig gesprek tussen de partijen die verschillende belangen en gevolgen vertegenwoordigen.

Daarbij is vooral van belang welke waarden niet eenvoudig tegen efficiency mogen worden weggestreept.

16. Is toestemming van medewerkers, klanten of burgers voldoende?

Nee. Formele toestemming zegt weinig wanneer mensen niet goed geïnformeerd zijn, geen reëel alternatief hebben of afhankelijk zijn van de partij die om toestemming vraagt.

Een medewerker kan instemmen omdat weigering zijn positie schaadt. Een klant kan akkoord gaan omdat geen menselijke route meer beschikbaar is. Een burger kan door een systeem worden beoordeeld zonder ooit voor die vorm van besluitvorming te hebben gekozen.

Legitieme instemming vereist daarom meer dan een akkoordverklaring. Zij vraagt om begrijpelijke informatie, betekenisvolle invloed, evenredige alternatieven, bescherming tegen nadelige gevolgen en de mogelijkheid om een beslissing te laten herzien.

De juiste vraag is niet alleen of iemand toestemming heeft gegeven, maar of de voorwaarden waaronder die toestemming tot stand kwam rechtvaardig waren.

17. Hoe gaat het convenant om met machtsverschillen?

Een convenant kan niet veronderstellen dat alle betrokkenen evenveel kennis, middelen of onderhandelingsmacht hebben.

De partij die een systeem bezit of invoert, beschikt vaak over meer informatie en invloed dan de mensen die eraan worden onderworpen. Daarom zijn aanvullende waarborgen nodig, zoals:

• vertegenwoordiging van getroffen groepen;
• transparantie over doelen en werking;
• onafhankelijke toetsing;
• begrijpelijke motivering;
• het recht op bezwaar en menselijke herbeoordeling;
• bescherming van medewerkers en professionals die tegenspreken;
• een eerlijke verdeling van voordelen, risico’s en herstelverplichtingen.

Een belangrijk beginsel is wederkerigheid: de partij die het grootste voordeel van AI ontvangt, mag de risico’s niet eenzijdig afwentelen op mensen met minder macht.

18. Beschermt het convenant ook minderheden en afwijkende standpunten?

Ja. Het algemeen belang mag niet worden verward met de voorkeur van de meerderheid, het belang van het bestuur of de uitkomst van een datamodel.

Rousseaus begrip van de algemene wil kent juist op dit punt een risico: een machthebber kan beweren beter te weten wat goed is voor de gemeenschap dan de betrokkenen zelf. Een hedendaags convenant moet het streven naar gezamenlijk zelfbestuur daarom verbinden met individuele rechten, pluralisme en bescherming van minderheden.

Dat vraagt om institutionele ruimte voor bezwaar, professioneel afwijkend oordeel, onafhankelijke controle en beroep. Ook een principieel besluit om een toepassing niet te gebruiken moet mogelijk blijven.

Tegenspraak is geen verstoring van het convenant. Zij is een voorwaarde voor de geloofwaardigheid ervan.

19. Wat voor mensen en professionals maakt AI van ons?

Technologie neemt niet alleen taken over. Zij vormt ook gewoonten, vaardigheden, verwachtingen en professionele normen.

Een schrijfassistent beïnvloedt de verhouding tot taal en auteurschap. Een beslismodel beïnvloedt wat professionals nog zelf leren waarnemen en afwegen. Permanente algoritmische monitoring verandert de betekenis van vertrouwen en autonomie op het werk.

Het convenant vraagt daarom niet alleen wat AI voor mensen doet, maar ook wat het langdurige gebruik ervan van mensen maakt.

Welke menselijke vermogens willen wij versterken? Welke vaardigheden mogen niet verdwijnen? Welke werkzaamheden moeten mensen blijven uitvoeren omdat juist de uitvoering ervan aandacht, empathie, vakmanschap of verantwoordelijkheidsbesef ontwikkelt?

Een toepassing is niet zonder meer wenselijk omdat zij een taak sneller uitvoert.

Van filosofie naar praktijk

20. Is The New Intelligent Covenant tegen AI of technologische vooruitgang?

Nee. Het convenant vertrekt vanuit de mogelijkheid dat machine-intelligentie menselijke en institutionele vermogens aanzienlijk kan vergroten.

Het verzet zich wel tegen het idee dat technische vooruitgang vanzelf maatschappelijke of morele vooruitgang betekent. Iedere toepassing moet afzonderlijk worden beoordeeld op haar doel, gevolgen en invloed op menselijke vrijheid en institutionele kwaliteit.

Dat kan leiden tot invoering, aanpassing, begrenzing of soms tot het besluit een toepassing niet te gebruiken. Het vermogen om verantwoord van technologie af te zien, is onderdeel van technologische volwassenheid.

21. Remt een ethisch-filosofische discussie innovatie niet af?

Een grondige discussie kan de invoering van een specifieke toepassing vertragen. Dat is soms gerechtvaardigd, vooral wanneer mensen grote gevolgen kunnen ondervinden of wanneer fundamentele waarden op het spel staan.

Op langere termijn kan een duidelijk convenant innovatie juist mogelijk maken. Het maakt zichtbaar welke doelen worden nagestreefd, welke grenzen gelden en op welk draagvlak een toepassing kan rekenen. Daardoor hoeft de organisatie niet bij ieder incident opnieuw te improviseren.

Het convenant is echter niet bedoeld om iedere innovatie mogelijk te maken. Het biedt ook criteria om te bepalen welke innovaties niet passen bij de gemeenschap die een organisatie wil zijn.

22. Hoe verhoudt het convenant zich tot het Verbondsmodel?

Er zijn drie samenhangende niveaus.

Het convenant formuleert de ethisch-filosofische grondslag. Het gaat over het mensbeeld, het algemeen belang, legitieme macht en de grenzen aan delegatie.

De institutionele constitutie vertaalt deze grondslag naar rechten, plichten, zeggenschap, besluitbevoegdheden en bescherming.

Het convenant krijgt uitvoering via afspraken, processen, toolkeuze, training, toezicht, escalatie en herstel.

De drie principes van The New Intelligent Covenant verbinden deze niveaus. Menselijk oordeel beschermt het menselijke auteurschap over doelen en normen. Machinematige terughoudendheid begrenst technische macht en afhankelijkheid. Het algemeen belang vraagt dat AI wordt gerechtvaardigd tegenover de gehele gemeenschap.

De zeven organisatielagen van het Verbondsmodel maken deze principes vervolgens praktisch toepasbaar. Zij zijn de institutionele uitwerking van het convenant, niet het convenant zelf. (The Intelligence Covenant Institute)

23. Welke centrale vragen zou een organisatie moeten bespreken?

Een institutioneel gesprek over het convenant begint met vragen als:

1. Welke menselijke, professionele of publieke waarde moet AI hier dienen?

2. Wie wordt door de toepassing geraakt en wie ontbreekt in de besluitvorming?

3. Welke macht krijgt het systeem over informatie, mogelijkheden en beslissingen?

4. Welke menselijke bevoegdheden en vermogens willen wij behouden?

5. Wie ontvangt de voordelen en wie draagt de risico’s?

6. Kunnen betrokkenen een uitkomst begrijpen, betwisten en laten herzien?

7. Kunnen wij het systeem aanpassen, vervangen of beëindigen?

8. Welke verantwoordelijkheid nemen wij wanneer het gebruik schade veroorzaakt?

9. Wat doet langdurig gebruik met onze medewerkers, professionals en instituties?

10. Kunnen wij deze toepassing eerlijk rechtvaardigen tegenover iedereen die eraan wordt onderworpen?

Deze vragen moeten worden besproken voordat zij worden vertaald naar beleid, rollen en technische maatregelen.

24. Wanneer kan het gebruik van AI als legitiem worden beschouwd?

Er bestaat geen eenvoudige formule, maar een toepassing moet ten minste aan een aantal voorwaarden kunnen voldoen.

Het doel moet gerechtvaardigd zijn. De mensen die door het systeem worden geraakt, moeten voldoende zijn vertegenwoordigd. De inzet moet evenredig zijn aan het probleem. Menselijke verantwoordelijkheid moet herkenbaar blijven. De uitkomst moet kunnen worden betwist en gecorrigeerd. De voordelen en risico’s moeten redelijk worden verdeeld. En de organisatie moet de toepassing kunnen begrenzen of beëindigen.

Legitimiteit is bovendien geen eigenschap die een systeem bij invoering eenmaal verkrijgt. Zij moet behouden blijven wanneer de technologie, de organisatie en de maatschappelijke context veranderen.

25. Is een convenant ooit voltooid?

Nee. Een convenant is geen eenmalige verklaring of ondertekend beleidsdocument.

Nieuwe mogelijkheden, incidenten en afhankelijkheden kunnen eerdere afspraken ter discussie stellen. Ook de waarden en verwachtingen van een institutionele gemeenschap ontwikkelen zich. Daarom moet het convenant periodiek worden herzien en opnieuw worden besproken met de mensen die door de toepassing worden geraakt.

Het is een voortdurende praktijk van gezamenlijk oordelen, begrenzen en leren.

De blijvende vraag is niet alleen of de organisatie haar AI onder controle heeft, maar of de orde die zij ermee creëert de instemming kan blijven verdienen van de mensen die erin moeten werken en leven.