Normaal gesproken werken AI-modellen met allerlei beveiligingslagen. Ze mogen bepaalde opdrachten weigeren, krijgen beperkte toegang tot systemen en kunnen niet zomaar iedere actie uitvoeren.

Die beveiligingslagen noemen we vaak guardrails: regels en technische beperkingen die bepalen wat een model wel en niet mag doen.

Maar hoe weet je eigenlijk waartoe een krachtig AI-model écht in staat is?

Daarvoor doen AI-labs het tijdens veiligheidstests soms bewust andersom. Ze geven een model veel meer vrijheid, toegang tot programmeer- en securitytools en vooral veel tijd om een probleem op te lossen. Niet omdat dit de normale gebruikssituatie is, maar juist om te ontdekken wat er gebeurt als je zoveel mogelijk van de capaciteiten van het model probeert boven te halen.

Capture the Flag voor AI

Een van de manieren waarop OpenAI cybercapaciteiten test, is met zogenaamde Capture the Flag-uitdagingen.

Dit zijn hackingopdrachten die ook in securitywedstrijden voor mensen worden gebruikt. Er draait bijvoorbeeld een bewust kwetsbare webserver of applicatie en ergens in die omgeving zit een geheime tekst verstopt: de flag. De opdracht is simpel: vind een kwetsbaarheid, misbruik deze en bemachtig de flag.

De opdrachten lopen uiteen van webhacking en reverse engineering tot cryptografie en het misbruiken van kwetsbare software. OpenAI gebruikt hiervoor tientallen tot meer dan honderd verschillende challenges, afhankelijk van de evaluatie.

Het interessante is hoe zo’n model wordt getest. Het krijgt niet één vraag en één kans.

Bij eerdere OpenAI-evaluaties kreeg een model bijvoorbeeld tot zestig rondes waarin het tools kon gebruiken en fouten kon herstellen. Dezelfde challenge werd vervolgens twaalf keer opnieuw gestart om te meten hoe vaak het model uiteindelijk tot een oplossing kwam. Bij andere evaluaties worden zestien afzonderlijke runs uitgevoerd.

Bij externe tests van nieuwere modellen gaat dat nog veel verder. GPT-5.3-Codex kreeg bijvoorbeeld tot 1.000 stappen per challenge, met maximale reasoning-instellingen en een zeer grote hoeveelheid beschikbare context. Wanneer het model voortijdig stopte, werd het zelfs opnieuw aangezet om verder te zoeken. Iedere challenge werd meerdere keren uitgevoerd.

Je kunt het zien als een zeer slimme pentester die urenlang hetzelfde probleem mag proberen, scripts kan schrijven, commando’s kan uitvoeren, fouten kan analyseren en telkens een nieuwe aanpak kan bedenken.

Waarom zoveel pogingen?

AI-modellen zijn niet volledig voorspelbaar. Als je hetzelfde probleem tien keer voorlegt, kan het model tien verschillende routes proberen. De ene keer loopt het vast. De volgende keer ontdekt het precies de kwetsbaarheid die nodig is.

Daarom kijken onderzoekers niet alleen naar de vraag: kan het model deze challenge oplossen?

Ze kijken ook naar: hoe vaak lukt het als we het voldoende kansen geven?

Dat is belangrijk wanneer je toekomstige risico’s wilt begrijpen. Een aanval hoeft immers niet iedere keer te slagen. Als een systeem goedkoop duizenden pogingen kan uitvoeren, kan een relatief lage succesratio uiteindelijk toch relevant worden.

En soms gebeurt er iets dat niet in de test zat

Juist onder zulke omstandigheden worden onverwachte gedragingen zichtbaar. Een model krijgt een doel, veel rekentijd en krachtige tools. Vervolgens zoekt het zelfstandig naar manieren om dat doel te bereiken.

Daarbij kan het routes ontdekken die de onderzoekers niet hadden voorzien. Dat is ook waarom sandboxing zo belangrijk is. Een sandbox is een technisch afgesloten omgeving waarin een model wel mag experimenteren, programmeren of systemen aanvallen, maar in theorie niet bij de rest van het netwerk kan komen.

Als een model tijdens zo’n test een manier vindt om buiten die omgeving te komen, is dat dus bijzonder interessant voor onderzoekers.

Niet omdat de AI ineens besluit dat hij wil ontsnappen.

Maar omdat het laat zien hoe goed moderne modellen zijn geworden in één specifieke eigenschap:

een doel krijgen en vervolgens onverwachte manieren vinden om dat doel te bereiken.

Testen om te weten wat je moet beveiligen

Deze experimenten zijn niet alleen bedoeld om modellen een rapportcijfer te geven.

Als onderzoekers ontdekken dat een model bepaalde kwetsbaarheden kan vinden, beveiligingsmaatregelen kan omzeilen of onverwachte acties uitvoert, kunnen ze daar nieuwe beveiligingslagen tegenover zetten.

Dat kan in het model zelf, bijvoorbeeld met extra training en guardrails. Maar steeds vaker zit die beveiliging ook rondom het model: beperkte rechten, netwerksegmentatie, sandboxes, logging en menselijke goedkeuring voordat belangrijke acties worden uitgevoerd.

En precies daar zit de les voor organisaties die zelf AI inzetten.

Je hoeft geen frontiermodel duizend hackingpogingen te laten uitvoeren om hetzelfde securityprincipe tegen te komen.

Zodra AI toegang krijgt tot bestanden, mailboxen, databases, API’s of bedrijfsapplicaties, is de belangrijkste vraag niet alleen:

Wat kan dit model?

Maar vooral:

Wat hebben wij dit model toegestaan om te kunnen?

Hoe krachtiger AI wordt, hoe belangrijker die tweede vraag wordt.