Skip to Content
ISO 42001AI-risicomanagement

AI-risicomanagement

AI-systemen brengen specifieke risico’s met zich mee. Model drift, bias, onuitlegbare beslissingen, dataproblemen. ISO 42001  vraagt om deze risico’s systematisch te identificeren en te beheersen. Het NIST AI Risk Management Framework  biedt aanvullende guidance. Op deze pagina leggen we uit hoe.

Waarom is AI-risicomanagement anders?

Traditionele IT-risico’s ken je: servers die uitvallen, data die lekt, software met bugs. AI voegt daar een laag aan toe.

AI leert. Een traditioneel systeem doet wat je programmeert. AI leert van data en kan onverwacht gedrag vertonen.

AI is probabilistisch. AI geeft geen definitieve antwoorden maar waarschijnlijkheden. Er is altijd een kans op fouten.

AI verandert. Modellen kunnen degraderen over tijd (model drift) als de wereld verandert maar het model niet.

AI is moeilijk te doorgronden. Complexe modellen zijn black boxes. Je weet niet altijd waarom een beslissing wordt genomen.

Dit vraagt om specifieke risicomanagementpraktijken.

De categorieën AI-risico’s

Technische risico’s

Model drift. Het model presteert slechter over tijd omdat de werkelijkheid verandert. Het model is getraind op data van vorig jaar, maar de wereld van vandaag is anders.

Voorbeeld: Een fraudedetectiesysteem is getraind op pre-COVID fraudepatronen. Na COVID verandert gedrag. Het model mist nieuwe vormen van fraude.

Overfitting. Het model is te specifiek getraind op de trainingsdata en generaliseert slecht naar nieuwe situaties.

Data poisoning. Kwaadwillenden manipuleren trainingsdata om het model verkeerd te laten leren.

Adversarial attacks. Aanvallers voeden het model met specifieke input om verkeerde output te genereren.

Technische schuld. Slecht gedocumenteerde modellen, hardcoded parameters, geen versiebeheer. Niemand weet meer hoe het werkt.

Eerlijkheids- en bias-risico’s

Historische bias. De trainingsdata bevat historische vooroordelen die het model leert.

Voorbeeld: Een wervingssysteem getraind op historische beslissingen leert dat mannen vaker worden aangenomen, en gaat mannen hoger scoren.

Meetbias. De features die je meet zijn niet representatief of zijn zelf bevooroordeeld.

Proxy-discriminatie. Het model discrimineert indirect via proxies. Postcode correleert met etniciteit, opleiding correleert met sociaaleconomische achtergrond.

Aggregatiebias. Het model werkt goed gemiddeld, maar slecht voor specifieke subgroepen.

Data-risico’s

Datakwaliteit. Fouten in de data leiden tot fouten in de output. Garbage in, garbage out.

Representativiteit. De trainingsdata is niet representatief voor de werkelijke populatie.

Privacy. Trainingsdata bevat persoonsgegevens. Kan het model deze lekken?

Data lineage. Onduidelijk waar data vandaan komt en wat ermee is gedaan.

Operationele risico’s

Verkeerd gebruik. Het systeem wordt gebruikt voor doelen waarvoor het niet is ontworpen.

Overmatig vertrouwen. Gebruikers vertrouwen de AI blind en schakelen eigen oordeelsvermogen uit.

Systeemuitval. Wat gebeurt er als de AI niet beschikbaar is? Is er een fallback?

Schaling. Het systeem werkt in de test, maar faalt bij productiebelasting.

Maatschappelijke risico’s

Impact op werkgelegenheid. Automatisering van taken kan banen kosten.

Ongelijkheid versterken. AI kan bestaande maatschappelijke ongelijkheden versterken.

Publiek vertrouwen. AI-incidenten schaden het vertrouwen in je organisatie en in AI in het algemeen.

De AI impact assessment gaat dieper in op de maatschappelijke risico’s. Risicomanagement en impactanalyse vullen elkaar aan.

Het risicomanagementproces

ISO 42001 vraagt om een gedocumenteerd proces voor AI-risicomanagement. Het proces volgt vier stappen.

Stap 1: Risico-identificatie

Breng alle potentiële risico’s in kaart. Per AI-systeem vraag je:

  • Wat kan er technisch misgaan?
  • Welke data wordt gebruikt en wat zijn de risico’s daarvan?
  • Hoe kan het systeem verkeerd worden gebruikt?
  • Wie wordt geraakt als het misgaat?
  • Welke externe factoren kunnen het systeem beïnvloeden?

Technieken:

  • Brainstormsessies met diverse stakeholders
  • Checklist-reviews tegen bekende AI-risico’s
  • Analyse van incidenten bij vergelijkbare systemen
  • Threat modeling

Stap 2: Risico-analyse

Per geïdentificeerd risico bepaal je:

Waarschijnlijkheid: Hoe groot is de kans dat dit risico zich materialiseert?

  • Hoog: Gebeurt waarschijnlijk binnen een jaar
  • Midden: Kan gebeuren, maar niet waarschijnlijk
  • Laag: Onwaarschijnlijk

Impact: Wat zijn de gevolgen als het risico zich materialiseert?

  • Hoog: Ernstige schade aan mensen, grote financiële schade, wettelijke consequenties
  • Midden: Significante maar beheersbare gevolgen
  • Laag: Minimale gevolgen

De combinatie geeft een risicoscore.

Stap 3: Risico-evaluatie

Vergelijk de risicoscores met je risicobereidheid. Welke risico’s zijn acceptabel? Welke niet?

Typisch:

  • Hoog risico: Niet acceptabel, moet worden behandeld
  • Midden risico: Behandelen of accepteren met monitoring
  • Laag risico: Accepteren met documentatie

Stap 4: Risicobehandeling

Per risico dat behandeling nodig heeft, kies je een strategie:

Vermijden: Stop de activiteit die het risico veroorzaakt. Gebruik dit AI-systeem niet.

Verminderen: Implementeer beheersmaatregelen die de waarschijnlijkheid of impact verlagen.

Overdragen: Draag het risico over, bijvoorbeeld via verzekering of uitbesteding.

Accepteren: Accepteer het risico bewust en documenteer dit.

Beheersmaatregelen voor AI-risico’s

De Annex A beheersmaatregelen bieden concrete maatregelen. Hier zijn de belangrijkste per risicotype.

Tegen technische risico’s

Monitoring en alerting. Continu monitoren van modelprestaties. Alerts bij afwijkingen.

Validatie en testing. Grondig testen voor deployment. Regelmatig hertesten.

Versiebeheer. Alle modelversies bewaren. Rollback mogelijk maken.

Documentatie. Modellen documenteren: architectuur, trainingsdata, parameters, beperkingen.

Tegen bias-risico’s

Bias-detectie. Test modellen op bias voor en na deployment. Gebruik tools zoals IBM AI Fairness 360, Amazon SageMaker Clarify.

Diverse trainingsdata. Zorg dat trainingsdata representatief is voor alle groepen.

Fairness metrics. Definieer en meet eerlijkheidsmetrieken.

Menselijke review. Laat mensen beslissingen controleren, vooral bij hoge impact.

Tegen data-risico’s

Data governance. Beleid voor dataverzameling, -opslag en -gebruik.

Datakwaliteitscontroles. Automatische checks op volledigheid, consistentie, actualiteit.

Data lineage. Documenteer de herkomst en transformaties van data.

Privacy by design. Minimaliseer persoonsgegevens, anonimiseer waar mogelijk.

Tegen operationele risico’s

Fallbacks. Plan wat er gebeurt als de AI faalt. Handmatig proces als backup.

Gebruikerstraining. Train gebruikers in verantwoord gebruik. Zie AI-geletterdheid.

Scope-definitie. Definieer duidelijk waarvoor het systeem wel en niet is bedoeld.

Load testing. Test of het systeem productiebelasting aankan.

Bias-detectie in de praktijk

Bias is een van de grootste AI-risico’s. Hoe pak je dit aan?

Vooraf (pre-deployment)

Analyseer trainingsdata. Is elke groep voldoende vertegenwoordigd? Zijn er historische vooroordelen?

Test op subgroepen. Meet de prestaties apart per demografische groep. Zijn er grote verschillen?

Fairness metrics berekenen.

  • Statistical parity: Krijgen alle groepen even vaak een positief resultaat?
  • Equal opportunity: Is de true positive rate gelijk voor alle groepen?
  • Disparate impact: Is de ratio tussen groepen binnen acceptabele grenzen?

Tijdens (in-production)

Monitor uitkomsten. Blijf meten of de uitkomsten eerlijk verdeeld zijn.

Feedback verzamelen. Geef mensen de mogelijkheid om beslissingen aan te vechten.

Periodieke audits. Laat regelmatig een bias-audit uitvoeren.

Achteraf (bij problemen)

Mitigatietechnieken. Pre-processing (data aanpassen), in-processing (model aanpassen), post-processing (output aanpassen).

Transparantie. Communiceer eerlijk als er bias is ontdekt en wat je eraan doet.

Volledig bias-vrije AI bestaat niet. Het doel is bias te minimaliseren en te beheersen, niet te elimineren. Wees eerlijk over de beperkingen.

Tools voor AI-risicomanagement

Bias en fairness

Model monitoring

Uitlegbaarheid

  • SHAP  - SHapley Additive exPlanations
  • LIME  - Local Interpretable Model-agnostic Explanations
  • InterpretML  - Microsoft’s interpretability toolkit

Documentatie

ISO 42001 vraagt om gedocumenteerd risicomanagement. Leg vast:

  • Het risicomanagementproces
  • De geïdentificeerde risico’s per AI-systeem
  • De analyse (waarschijnlijkheid, impact)
  • De gekozen behandeling
  • De geïmplementeerde maatregelen
  • De restrisico’s na behandeling
  • Reviews en updates

Een risicoregister (spreadsheet of tool) is het centrale document.

Naast ISO 42001 is er het NIST AI Risk Management Framework . Dit Amerikaanse framework is complementair.

NIST AI RMF focust op:

  • Govern: governance van AI-risico’s
  • Map: context en risico’s in kaart brengen
  • Measure: risico’s meten en monitoren
  • Manage: risico’s beheersen

Als je ISO 42001 implementeert, kun je NIST AI RMF gebruiken als aanvullende guidance. De concepten overlappen, de invulling kan helpen.

Meer lezen

AI impact assessmentAI-ethiek principes