Het gebruikelijke advies klopt voor zover het gaat. Laat een agent beginnen met intensieve review. Verruim wat hij mag doen zodra hij zich bewijst. Houd een mens verantwoordelijk voor de uitkomst. We schreven zelf een versie daarvan en stelden dat bewijs autonomie moet kunnen verlagen én verhogen, zonder uit te werken wat dat in de praktijk betekent.
Dat werken we hier uit. Niet de exacte cijfers, die horen in beleid dat we met een specifieke klant vastleggen, maar de opzet: welke niveaus er zijn, hoeveel reviewtijd elk niveau kost, welk bewijs een agent laat bewegen en wat autonomie terugneemt zonder te wachten tot iemand het opmerkt.
Een supervision level voor een AI-agent bepaalt wat de agent mag doen, hoeveel van zijn werk een mens moet beoordelen en welk bewijs de autonomie kan verhogen of verlagen.
Waar is iedereen het al over eens?
Dat autonomie in stappen moet worden toegekend en niet simpelweg aangezet. Dat inzicht is niet nieuw. Thomas Sheridan en William Verplank beschreven in 1978 al een tienpuntsschaal voor menselijke controle. Die loopt van een mens die alles zonder hulp doet, via een machine die opties beperkt en er één voorstelt, tot een machine die handelt zonder iemand te informeren. Later werk van Parasuraman, Sheridan en Wickens verdeelde automatisering in vier functies: informatie verzamelen, interpreteren, een handeling kiezen en die uitvoeren.
Een ladder met gradaties bestaat dus al bijna vijftig jaar. Huidige richtlijnen over agents en hun operationele loops komen uit bij hetzelfde brede principe: autonomie moet stapsgewijs toenemen. De discussie gaat niet over de ladder.
Die gaat over de treden. Veel voorgestelde promotiecriteria zijn kwalitatief: het correctiepercentage wordt acceptabel, de uitzonderingslijst stabiliseert, reviewers veranderen steeds minder. Ze beschrijven een gevoel over de agent. Iemand die niet bij het gesprek was, kan ze niet controleren. Later auditen kan dus evenmin. Daarmee beslist uiteindelijk degene die in de vergadering het meeste vertrouwen uitstraalt of de scope wordt verruimd.
Waarom kan menselijke review dit niet alleen dragen?
Omdat betrouwbare automatisering verandert waar mensen hun aandacht aan geven. Het probleem is geen gebrek aan zorgvuldigheid.
Raja Parasuraman en Dietrich Manzey beoordeelden het empirische onderzoek hierover in 2010 in Human Factors. Hun bevindingen zijn ongemakkelijk als een mens die output controleert de enige control is. Automation complacency komt voor bij experts én beginners en verdwijnt niet door simpelweg te oefenen. Training of instructies voorkomen automation bias niet betrouwbaar. Het veroorzaakt beide soorten fouten: accepteren wat de machine fout deed en missen wat de machine nooit signaleerde.
Een eerder experiment laat het onderliggende effect zien. In een gesimuleerde vliegtaak uit 1999 presteerden deelnemers zonder geautomatiseerd hulpmiddel beter op monitoring dan deelnemers met een zeer, maar niet volledig betrouwbare tool. De groep met ondersteuning maakte omissiefouten wanneer de automatisering een gebeurtenis niet markeerde, en commissiefouten wanneer ze een slecht advies volgden terwijl andere geldige informatie beschikbaar was.
Dit onderzoek stamt van vóór AI-agents in productie en gaat over geautomatiseerde beslisondersteuning, grotendeels in de luchtvaart. Het stelt geen foutpercentage voor agentreview vast. Het laat wel zien waarom menselijke review niet de enige control moet zijn: aandacht is begrensd en betrouwbare automatisering verandert waar mensen die aandacht aan besteden.
Menselijke review blijft nodig. Het reviewpercentage, de steekproef en de escalatieregels moeten structureel zijn. Leg in beleid vast hoeveel van de agentoutput een mens moet zien en laat het systeem dat afdwingen. Laat het niet afhangen van het oordeel van de reviewer op die dag.
Wat zijn de drie niveaus?
Elke agent die we runnen staat op een van drie niveaus. Het niveau is een instelling in Aitonomy Control. Iedereen met toegang ziet op welk niveau een agent vandaag staat en welk bewijs hem daar heeft gebracht.
| Wat de agent doet | Wat een mens doet | |
|---|---|---|
| Suggests | Doet een aanbeveling en verandert niets | Beoordeelt elk resultaat inhoudelijk en voert de handeling uit of keurt die goed |
| Drafts | Rondt het werk af en zet de handeling klaar | Keurt elke handeling goed, met gerichte review van uitzonderingen en geselecteerde details |
| Auto | Rondt afgesproken routinecases af en handelt binnen de scope | Beoordeelt een steekproef en elke escalatie, en kan de agent pauzeren |
Elke agent begint bij Suggests. Er is geen versnelde route voor een proces waar iemand veel vertrouwen in heeft. Een agent begint ook niet bij Auto omdat een vergelijkbare agent elders dat niveau heeft verdiend.
De derde kolom is de belangrijkste. Een niveau is een afspraak over hoeveel menselijke aandacht het werk verbruikt. Dat maakt het onderdeel van de operationele kosten én van de controls. Een agent van Suggests naar Drafts verplaatsen kan tijd vrijmaken, mits goedkeuring minder inspanning kost dan het oorspronkelijke werk en de vrijgekomen capaciteit wordt benut. Daarom verruimen we een niveau nooit achteloos.
Wat laat een agent een niveau stijgen?
Vijf soorten bewijs, in een vaste combinatie. Control meet ze alle vijf voortdurend aan drempels die vóór de eerste run zijn vastgesteld.
Tijd op het huidige niveau. Lang genoeg om de variatie van het proces zichtbaar te maken, ook in delen van de maand of het kwartaal die anders verlopen.
Volume. Genoeg afgeronde cases om de interventiegraad betekenis te geven. Een handvol foutloze resultaten is geen bewijs.
Interventiegraad. Het aandeel van de agentoutput dat een mens wijzigde voordat het effect kreeg. Dat aandeel moet dalen en onder de norm van het niveau blijven.
Blijvende kwaliteit. Het aandeel dat na de afgesproken periode nog standhoudt. Dat is een ander cijfer dan het aandeel dat op de dag zelf werd geaccepteerd. Het verschil tussen beide is werk dat iemand opnieuw opende, corrigeerde of terugdraaide. Een agent die alleen op acceptatie van dag één promoveert, promoveert op het verkeerde signaal.
Geen kritieke fouten. Een kritieke fout is een uitkomst die een vooraf bepaalde grens voor die agent overschrijdt. Het beleid beschrijft welke uitkomsten hieronder vallen, welk bewijs nodig is en wie een fout mag vastleggen. Tijdens de kwalificatieperiode mag er geen optreden.
We beginnen met standaardbeleid en spreken de drempels per agent af. Daarna laden we ze in Control, zodat altijd het afgesproken getal wordt afgedwongen. Ook een processpecifieke afwijking wordt daar geconfigureerd, met de reden erbij. De cijfers blijven in het ondertekende beleid. De juiste drempel voor factuurmatching is niet de juiste drempel voor werk waarbij fouten een klant bereiken. Wat niet varieert: de drempels staan vast vóór de agent draait en blijven de maatstaf voor latere beoordeling.
Waarom je ze vooraf vastlegt
Een drempel die je afspreekt nadat de resultaten binnen zijn, is geen drempel. Als het getal kan meebewegen met het bewijs, verliest het bewijs zijn functie. De promotiebeslissing ligt dan stilletjes weer bij degene met het meeste zelfvertrouwen in de vergadering.
Wat zet de agent weer een niveau lager?
Dezelfde cijfers. Een ladder die alleen omhooggaat, beschrijft een lancering. De weg omlaag maakt het supervision. Juist die blijft vaak onbeschreven.
Een kritieke fout verlaagt het niveau direct. Zodra een fout volgens de afgesproken definitie is vastgelegd, verlaagt Control het niveau. Eén fout is genoeg. Het systeem wacht niet op de maandelijkse review en weegt de fout niet af tegen hoe goed de agent verder draaide.
Een stijgende interventiegraad bevriest de scope. Dat is op zichzelf geen verlaging, maar de agent breidt niet verder uit totdat de oorzaak bekend is. De scope groeit niet terwijl mensen steeds vaker corrigeren.
Een modelwijziging stuurt de agent terug naar de testset. Een ander model maakt het bewijs bij de vorige configuratie ongeldig totdat de apart gehouden cases opnieuw zijn gedraaid. De agent behoudt zijn niveau alleen als de nieuwe configuratie dezelfde norm haalt.
Control voert de geconfigureerde reactie uit zodra het bewijs aan een van deze voorwaarden voldoet. Het systeem vertrouwt er niet op dat een reviewer tijdens routinegoedkeuring afwijkingen opmerkt. Dan zou juist de zwakte terugkeren die de niveaus moeten verkleinen.
Waar worden de niveaus beheerd?
In Aitonomy Control. Daar staan voor elke agent het huidige niveau, het onderliggende bewijs, de afgedwongen drempels en de beslisgeschiedenis. Een mens keurt een stijging goed. Bereikt het vastgelegde bewijs een geconfigureerde verlagingsvoorwaarde, dan bevriest of verlaagt Control de autonomie zonder op de maandelijkse review te wachten. Zo ontstaat een traceerbare operationele vastlegging die een auditor of toezichthouder kan beoordelen, geen reconstructie achteraf.
Elke agent krijgt maandelijks een besluit: verruimen, behouden, terugzetten of stoppen. Het bewijs ligt al klaar. De vergadering gaat dus over het oordeel, niet over het verzamelen van de onderbouwing. Behouden hoort een normale uitkomst te zijn. Als elke agent in een portfolio wordt verruimd, moet je je afvragen of de interventiegraad en blijvende kwaliteit wel genoeg gewicht krijgen.
Met een korte toets zie je of dit binnen een organisatie werkelijk bestaat. Toegang tot het systeem is niet nodig. Vraag wanneer een agent voor het laatst een niveau omlaag ging. Vraag wie daartoe bevoegd is en of die persoon daarvoor toestemming nodig heeft. Kan niemand uitleggen hoe een verlaging werkt of heeft niemand de bevoegdheid, dan zijn de niveaus slechts labels.
Een agent wordt niet betrouwbaar doordat hij al een tijd draait. Betrouwbaarheid ontstaat doordat de agent bewijs levert tegen een norm die is vastgesteld vóór iemand wist of hij die zou halen. En doordat dezelfde norm dat vertrouwen ook weer kan terugnemen.
Veelgestelde vragen
Wat zijn supervision levels voor AI-agents?+
Hoe verdient een AI-agent meer autonomie?+
Kan menselijke review elke fout van een AI-agent onderscheppen?+
Wanneer moet een AI-agent autonomie verliezen?+
Bronnen
- Thomas Sheridan and William Verplank, Human and Computer Control of Undersea Teleoperators, MIT Man-Machine Systems Laboratory (1978), the ten-point scale of human supervisory control that later levels-of-automation work is built on
- Raja Parasuraman, Thomas Sheridan and Christopher Wickens, A Model for Types and Levels of Human Interaction with Automation, IEEE Transactions on Systems, Man, and Cybernetics 30:3 (2000), separating automation into information acquisition, analysis, decision selection and action implementation
- Linda Skitka, Kathleen Mosier and Mark Burdick, Does Automation Bias Decision-Making?, International Journal of Human-Computer Studies 51:5 (1999), comparing monitoring with and without a highly but imperfectly reliable automated aid
- Raja Parasuraman and Dietrich Manzey, Complacency and Bias in Human Use of Automation: An Attentional Integration, Human Factors 52:3 (2010), reviewing automation complacency, automation bias and the limits of practice, training and instructions
- De drie niveaus, het bewijs voor verhoging en de regels voor verlaging zijn van Aitonomy zelf. Ze komen uit het autonomiebeleid dat we per agent ondertekenen en in Aitonomy Control afdwingen. De drempels zelf staan in dat beleid en publiceren we hier niet.