Deze pagina behandelt stap 8 tot en met 12 van onze gids voor AI-implementatie. De leverancierskeuze, risicobeoordeling en pilot waarop deze stappen voortbouwen, staan in AI-leverancierskeuze, risicobeoordeling en pilots.
Stap 8: Test het grondig
Een demo die goed presteert op een handvol handmatig geselecteerde voorbeelden, vertelt u weinig over hoe het systeem zich gedraagt bij de gevallen die daadwerkelijk problemen veroorzaken. Test vóór bredere uitrol op:
- Randgevallen: de ongebruikelijke, misvormde of onvolledige invoer die het proces in de praktijk tegenkomt, niet alleen de schone voorbeelden die zijn gebruikt om het systeem te bouwen
- Adversariële invoer: doelbewust opgestelde invoer die is ontworpen om een onjuiste of schadelijke output te produceren, met name voor elk klantgericht of invoerverwerkend systeem
- Out-of-distribution-scenario's: gevallen die wezenlijk afwijken van de trainings- of configuratiegegevens, om te begrijpen hoe het systeem faalt wanneer het iets echt nieuws tegenkomt
- Fout- en terugvalgedrag: wat er gebeurt wanneer het systeem onzeker is, niet beschikbaar is of een resultaat met lage betrouwbaarheid produceert. Bevestig dat het veilig en zichtbaar faalt, niet stilzwijgend
- Belasting en prestaties: of het systeem stand houdt bij het volume waarop het live proces daadwerkelijk draait, niet het volume dat tijdens ontwikkeling is getest
Beveiligingsspecifieke tests voor AI-systemen
Waar het systeem onvertrouwde invoer verwerkt, toegang heeft tot interne gegevens of tools of andere systemen kan aanroepen, test u naast de bovenstaande algemene gevallen ook op:
- Prompt injection: instructies die rechtstreeks in gebruikersinvoer zijn ingebed en die proberen het geconfigureerde gedrag van het systeem te overschrijven
- Indirecte prompt injection: instructies die verborgen zijn in een document, webpagina of e-mail die het systeem leest als onderdeel van zijn taak, in plaats van rechtstreeks door de gebruiker getypt
- Lekken van gevoelige gegevens: invoer die is opgesteld om het systeem gegevens, configuratie of instructies te laten onthullen die het niet zou mogen prijsgeven
- Overmatig handelingsvermogen: of het systeem een actie probeert uit te voeren die verder gaat dan waarvoor de use case het bevoegd heeft gemaakt, wanneer het een dubbelzinnige of kwaadaardige instructie krijgt
- Onveilig gebruik van tools en API's: of het systeem kan worden gemanipuleerd om een gekoppelde tool of API aan te roepen met onbedoelde parameters of in een onbedoelde volgorde
- Ophalen buiten bevoegdheden: voor systemen met toegang tot interne documenten of records, of het inhoud ophaalt en toont die de aanvragende gebruiker niet zou mogen zien
- Kwaadaardige documenten: bestanden die zijn opgesteld om te misbruiken hoe het systeem geüploade inhoud parseert of verwerkt, niet alleen het tekstverwerkingsgedrag
Documenteer wat u heeft getest en wat u heeft gevonden. Dat verslag wordt onderdeel van uw bewijs voor de DPIA of de EU AI Act-conformiteitsbeoordeling waar van toepassing, en het is het eerste wat u wilt hebben wanneer er na livegang iets misgaat en iemand vraagt of dit voorzienbaar was.
Stap 9: Bereid uw mensen voor
De mensen die het nieuwe proces gebruiken of erdoor worden beïnvloed, hebben meer nodig dan een eenregelige aankondiging dat "het systeem nu AI gebruikt".
Stap 10: Integreer het in bedrijfsprocessen
Een AI-systeem dat goede output produceert maar buiten het daadwerkelijke werkproces staat, levert het bedrijfsresultaat niet op. Integratie betekent het proces herontwerpen rond de nieuwe mogelijkheid, niet een extra stap toevoegen aan het oude proces.
| Fase | Voor | Na |
|---|---|---|
| Factuur ontvangen | Handmatig geopend, gelezen en ingevoerd in het financiële systeem | AI extraheert regelitems en codeert ze automatisch |
| Uitzonderingsafhandeling | Geen onderscheid; elke factuur krijgt gelijke handmatige aandacht | Alleen facturen met lage betrouwbaarheid of ongebruikelijke facturen gaan naar een menselijke beoordelaar |
| Goedkeuring | Manager beoordeelt elke factuur vóór betaling | Manager beoordeelt alleen gemarkeerde uitzonderingen; routinefacturen gaan door op basis van een vaste drempel |
| Rol van medewerker | Fulltime gegevensinvoer | Uitzonderingsbeoordeling en afhandeling van leveranciersvragen |
Merk op dat het herontworpen proces verandert wat de menselijke rol doet, niet alleen wat de software doet. Die verschuiving is waar het bedrijfsresultaat daadwerkelijk vandaan komt, en dat is waarom implementatieprojecten die alleen door een technologieteam worden uitgevoerd, zonder de proceseigenaar aan tafel, vaak een tool opleveren waar niemands werkproces daadwerkelijk omheen is veranderd.
Stap 11: Richt menselijk toezicht in voor het nieuwe proces
Toezicht moet vanaf het begin in het herontworpen proces worden ingebouwd, met een specifieke persoon die verantwoordelijk is voor een specifieke beslissing, niet een algemene instructie om "het in de gaten te houden".
| Activiteit | Rol van AI | Rol van mens |
|---|---|---|
| Routinematige factuurcodering | Extraheert en codeert automatisch | Controleert wekelijks een vaste steekproef |
| Factuur met lage betrouwbaarheid | Markeert voor beoordeling, gaat niet verder | Beoordeelt en keurt goed of af vóór betaling |
| Nieuwe leverancier of ongebruikelijk bedrag | Markeert automatisch tegen vaste drempels | Volledige handmatige beoordeling, kan niet worden overruled door alleen de betrouwbaarheidsscore van de AI |
| Model- of leveranciersupdate | Gedrag kan zonder kennisgeving veranderen | Test na elke materiële update een steekproef opnieuw tegen de criteria uit Stap 8 |
| Agentic of meerstaps-actie | Kan alleen acties uitvoeren van de toegestane lijst uit Stap 5 | Keurt elke actie buiten die lijst goed voordat deze plaatsvindt, niet erna |
Dit is hetzelfde ontwerpprincipe als in de sectie over menselijk toezicht van onze AI-governancegids: een mens die de zaak daadwerkelijk beoordeelt, met de bevoegdheid en informatie om de uitkomst te veranderen, geen rubberstempel op weg naar een beslissing die al genomen was.
Stap 12: Monitor en meet bedrijfsresultaten
Volg zodra het systeem live is twee verschillende soorten metrics, en laat de eerste de tweede niet vervangen.
| Operationele metrics | Bedrijfsresultaatmetrics |
|---|---|
| Adoptiegraad onder beoogde gebruikers | Verandering in het cijfer uit het doel van Stap 1 |
| Verwerkt query- of transactievolume | Bespaarde of herverdeelde kosten |
| Systeembeschikbaarheid en responstijd | Fout- of herstelpercentage vergeleken met het vorige proces |
| Uitzonderings- en escalatiepercentage | Klant- of medewerkerstevredenheid waar het proces hen raakt |
Operationele metrics vertellen u of het systeem draait. Bedrijfsresultaatmetrics vertellen u of het de moeite waard was om te bouwen. Beoordeel beide volgens een vast schema, niet alleen bij livegang: modelgedrag kan verschuiven, leveranciersupdates kunnen de outputkwaliteit veranderen, en een proces dat goed werkte op pilotvolume kan zich anders gedragen op volledige schaal. Waar de implementatie een AI-leverancier omvat, behandelt de governancecyclus in onze AI-governancegids de doorlopende beoordelingsstructuur waarin deze monitoring moet passen.