De Algemene Inlichtingen- en Veiligheidsdienst (AIVD) deelt in de brochure ‘AI-systemen: ontwikkel ze veilig’ een aantal manieren waarop AI-systemen aangevallen kunnen worden en hoe organisaties zich hiertegen kunnen verdedigen.

Steeds meer organisaties maken gebruik van de mogelijkheden van kunstmatige intelligentie, of artificial intelligence (AI). AI-systemen kunnen organisaties helpen om processen sneller, slimmer en beter uit te voeren. Denk aan modellen voor beeldherkenning, spraaktechnologie of cybersecurity. Ontwikkelingen op het gebied van AI gaan snel. Zo snel, dat het nu al belangrijk is om AI-systemen veilig te ontwikkelen. Anders ontstaat het gevaar dat het AI-systeem niet meer werkt zoals het zou moeten, met alle gevolgen van dien.

Vijf principes voor het verdedigen van AI-systemen
Het is belangrijk om AI-systemen tegen aanvallen te beschermen. Het Nationaal Bureau voor Verbindingsbeveiliging (NBV) van de AIVD heeft vijf principes gedefinieerd die helpen bij het nadenken over het veilig ontwikkelen en gebruiken van AI-modellen in je organisaties:

Houd de datakwaliteit op orde.
Zorg voor validatie van de data.
Houd rekening met supply chain security.
Maak het model robuust tegen aanvallen.
Zorg dat het model controleerbaar is.

Vijf aanvallen gericht op AI-systemen
Op dit moment ziet het NBV vijf categorieën van aanvallen die specifiek op AI-systemen gericht zijn:

Poisoning aanvallen
Een aanvaller probeert aanpassingen te maken in de data, het algoritme of het model zodat het AI-systeem wordt ‘vergiftigd’ en daardoor niet meer werkt zoals gewenst.

Input (evasion) aanvallen
Met specifieke input, bijvoorbeeld ruis over een foto, wordt geprobeerd een AI-systeem om de tuin te leiden zodat het systeem niet of onjuist werkt.

Backdoor aanvallen
Door een achterdeurtje in een AI-model te bouwen, kan een externe partij een extra pad toevoegen waarmee de uiteindelijke beslissing van het model kan worden bepaald.

Model reverse engineering & inversion aanvallen
Een aanvaller probeert erachter te komen hoe jouw model werkt om de dataset te reconstrueren die gebruikt is om jouw model te trainen.

Inference aanvallen
Zijn gericht op het achterhalen of een specifieke set gegevens is gebruikt als trainingsdata voor een model.

AI-systemen om de tuin leiden
AI is het vermogen van systemen of machines om taken uit te voeren waar mensen hun intelligentie voor inzetten. Aanvallers kunnen proberen om AI-modellen om de tuin te leiden, de werking van het systeem te saboteren of erachter komen hoe jouw algoritmes werken, zonder dat je het zelf door hebt. Denk bijvoorbeeld aan een automatische scanner voor de doorvoer van goederen die onbedoeld wapens doorlaat.
Een op AI-gebaseerd malware-detectieprogramma dat verkeerde trainingsdata heeft gekregen en nu niet meer werkt of aanvallers die gevoelige gegevens uit het AI-systeem weten te achterhalen. Om te zorgen dat het AI-systeem blijft werken zoals gewenst, moet men al bij het begin van de ontwikkeling ervan nadenken over de beveiliging.