Toen ik in mei 2025 schreef over de vraag Wanneer AI te slim wordt, leek het gevaar van een zichzelf verbeterende superintelligentie nog vooral iets voor sciencefiction. Inmiddels klinkt de waarschuwing steeds nadrukkelijker uit de AI-industrie zelf. Onderzoekers die aan de ontwikkeling van AI hebben gewerkt, waarschuwen voor gevaren die volgens hen al dit decennium kunnen escaleren. Tegelijk bouwen bedrijven in hoog tempo verder. Wie bewaakt eigenlijk de race naar steeds slimmere AI?
Inleiding
In mei 2025 schreef ik voor HCC een drieluik met de titel Wanneer AI te slim wordt. Aanleiding was een vraag die toen nog vooral theoretisch leek: wat gebeurt er wanneer kunstmatige intelligentie steeds slimmer, zelfstandiger en uiteindelijk misschien intelligenter dan mensen wordt? In het eerste deel begon ik bij The Terminator uit 1984. Skynet, het zelfbewuste militaire computersysteem dat besluit dat de mensheid moet worden uitgeschakeld, was toen duidelijk sciencefiction. De AI van 2025 was immers nog geen zelfbewuste machine, maar een systeem dat patronen herkent, teksten en afbeeldingen genereert en opdrachten uitvoert die mensen het geeft. In deel twee verschoof de aandacht naar de vraag of we de ontwikkeling nog konden overzien en wat er gebeurt wanneer AI steeds complexere taken kan uitvoeren. Het derde deel eindigde met een waarschuwing die achteraf gezien minder futuristisch klinkt dan ik toen kon vermoeden: moeten we misschien eerst nadenken over de veiligheidsmechanismen voordat we de technologie steeds verder ontwikkelen?
De tijd gaat snel… heel snel
Anderhalf jaar later is de situatie veranderd. Niet omdat Skynet is opgestaan en ook niet omdat AI aantoonbaar bewustzijn heeft ontwikkeld. Daarvoor bestaat geen bewijs. De verandering zit ergens anders: AI-systemen zijn steeds beter geworden in zelfstandig handelen. Ze kunnen niet alleen antwoord geven op een vraag, maar ook informatie verzamelen, software gebruiken, opdrachten opdelen in stappen en vervolgens die stappen zelfstandig uitvoeren. Voor HCC beschreef ik die ontwikkeling in november 2025 al in Hoe AI in zes maanden een nieuw tijdperk in gleed. Een half jaar later werd in AI in 2026: negen ontwikkelingen die iedereen zou moeten kennen beschreven hoe AI-agents van gesprekspartner steeds meer digitale uitvoerder worden Een AI kan inmiddels bijvoorbeeld zelfstandig informatie verzamelen, documenten analyseren, software bouwen en andere AI-systemen helpen verbeteren. Ook kunnen moderne systemen steeds langer zelfstandig aan complexe opdrachten werken.
Verandering
Daarmee verandert de aard van het probleem. Een chatbot die een fout antwoord geeft is vervelend, maar meestal kan een gebruiker het antwoord negeren. Een AI-agent die zelfstandig handelt is iets anders. Als zo’n systeem toegang heeft tot bestanden, software, internetdiensten of andere computersystemen, kan een fout antwoord resulteren in een foutieve handeling. De vraag is dan niet meer alleen hoe intelligent AI is, maar hoeveel zelfstandigheid wij haar geven en of we haar nog tijdig kunnen stoppen wanneer ze iets doet wat niet de bedoeling was.
Precies daarom schreef ik in augustus 2026 AI wordt steeds autonomer, maar wie kan de stekker eruit trekken? Daarin stond een onderzoek van Guidelight centraal naar de controlemechanismen bij vijf grote AI-ontwikkelaars. Dat onderzoek bewees niet dat deze bedrijven hun AI-systemen niet kunnen stoppen. Daarvoor was de beschikbare informatie te beperkt. Wel bleek dat er publiekelijk nog weinig bewijs is voor controlemechanismen die gelijke tred houden met de toenemende autonomie van AI. Dat is een belangrijk onderscheid. We hoeven niet te beweren dat AI onbeheersbaar is om toch te kunnen constateren dat de controle op de ontwikkeling achterloopt op de ontwikkeling zelf.
Zonder bewustzijn
Dat verschil tussen kunnen en beheersen wordt steeds belangrijker. Een AI hoeft namelijk helemaal geen bewustzijn te ontwikkelen om gevaarlijk te kunnen worden. Een systeem dat een doel krijgt en vervolgens zeer zelfstandig probeert dat doel te bereiken, kan onverwachte oplossingen bedenken. Wanneer het bovendien toegang heeft tot externe systemen, kan een fout in het doel, de interpretatie of de beveiliging gevolgen hebben buiten de oorspronkelijke omgeving. Dat is geen scenario uit The Terminator, maar een technisch veiligheidsprobleem dat ontstaat zodra software zelfstandig beslissingen en handelingen mag uitvoeren.
Ook op andere gebieden schuift de grens op. In augustus schreef HCC over onderzoek waarbij AI werd gebruikt om volledig nieuwe bacteriofagen te ontwerpen, virussen die bacteriën aanvallen De onderzoekers konden AI-ontwerpen daadwerkelijk omzetten in functionerende bacteriofagen. Dat is wetenschappelijk interessant omdat dezelfde technologie mogelijk kan bijdragen aan de bestrijding van antibioticaresistente bacteriën. Tegelijkertijd is het een voorbeeld van wat in de wetenschap een dual-use-probleem heet: technologie die voor een nuttig doel wordt ontwikkeld kan ook voor schadelijke doeleinden worden gebruikt. Het is nadrukkelijk niet zo dat iemand nu met een laptop even een gevaarlijk menselijk virus kan ontwerpen. De stap van een AI-ontwerp naar een werkzaam biologisch wapen is veel groter en kent tal van praktische en biologische barrières. Maar de ontwikkeling laat wel zien dat AI zich niet meer beperkt tot teksten, afbeeldingen en software. AI begint ook de fysieke wereld binnen te komen.
Nieuwe ontwikkelingen
Daarmee komen we bij de ontwikkelingen van september 2026, die de discussie een nieuwe lading geven. De afgelopen dagen waarschuwden mensen die zelf aan de ontwikkeling van geavanceerde AI hebben gewerkt dat de race mogelijk sneller gaat dan de veiligheidsmechanismen kunnen bijhouden. Jacob Coxon, die eerder bij OpenAI werkte en later onderzoek deed bij Anthropic, nam ontslag en waarschuwde dat AI-bedrijven volgens hem onverantwoordelijk gokken met de toekomst van de mensheid. Nog opvallender was de reactie van Evan Hubinger, een onderzoeker die nog bij Anthropic werkt. Hij verklaarde dat hij Coxons zorgen deelt en schatte persoonlijk de kans dat AI binnen tien jaar tot het uitsterven van de mensheid zou kunnen leiden op meer dan tien procent (https://www.axios.com/2026/09/09/anthropic-insiders-warn-ai-could-kill-all-humans). Dat is geen wetenschappelijk vastgestelde kans en moet ook niet als voorspelling worden gepresenteerd. Het is de persoonlijke risico-inschatting van een onderzoeker. Andere wetenschappers zijn veel minder pessimistisch. Maar het is wel opmerkelijk dat iemand die beroepsmatig bezig is met het beheersbaar maken van AI zulke hoge risico’s noemt.
Onze veiligheid
De waarschuwing staat bovendien niet op zichzelf. OpenAI, Anthropic en Google DeepMind hebben de afgelopen weken met elkaar gesproken over AI-veiligheid. Dat is opmerkelijk omdat deze bedrijven elkaar tegelijkertijd op de markt keihard beconcurreren. Anthropic-topman Dario Amodei heeft gepleit voor wat hij een vertraging of pacing van de ontwikkeling noemt: niet stoppen met AI, maar het tempo zodanig verlagen dat veiligheidsmaatregelen de technologische ontwikkeling kunnen bijhouden. Ook Sam Altman heeft aangegeven dat het tempo moet kunnen worden aangepast wanneer de veiligheid onvoldoende kan volgen. Het gaat dus niet om een algemene oproep om AI af te schaffen. De discussie gaat over de vraag hoe snel we moeten doorgaan met de krachtigste systemen.
De discussie verandert
Dat is een wezenlijk andere discussie dan die van een paar jaar geleden. Toen kwamen waarschuwingen over superintelligentie vooral van een relatief kleine groep onderzoekers die waarschuwde voor een mogelijk toekomstig probleem. Nu komen vergelijkbare waarschuwingen uit de bedrijven die zelf aan de meest geavanceerde systemen werken.
Tegelijkertijd is er een belangrijk tegenargument: juist de bedrijven die waarschuwen hebben er ook commercieel belang bij om AI als buitengewoon krachtig en potentieel gevaarlijk neer te zetten. Hoe krachtiger de technologie lijkt, hoe groter hun positie als ontwikkelaar van die technologie. De discussie daarover is inmiddels serieus genoeg dat ook critici erop wijzen dat AI-bedrijven hun eigen veiligheidsverhaal niet als vervanging voor onafhankelijk toezicht zouden moeten gebruiken. Dat betekent niet dat de waarschuwingen onwaar zijn. Het betekent wel dat we moeten oppassen dat commerciële belangen niet worden verward met onafhankelijke risicobeoordeling.
De kern van de discussie
Daar zit misschien wel het moeilijkste probleem van de hele AI-discussie. Stel dat OpenAI, Anthropic, Google of een andere ontwikkelaar werkelijk besluit dat de ontwikkeling van steeds krachtiger AI tijdelijk moet worden afgeremd. Wat gebeurt er dan als een concurrent besluit door te gaan? Het bedrijf dat vertraagt kan marktaandeel en technologische voorsprong verliezen. En hetzelfde geldt op internationaal niveau. Als de Verenigde Staten zouden vertragen terwijl China doorgaat, bestaat de angst dat China economisch, technologisch of militair een voorsprong opbouwt. Als China vertraagt terwijl de Verenigde Staten doorgaan, ontstaat aan Chinese zijde precies dezelfde angst. Daardoor ontstaat een soort veiligheidsdilemma: ieder afzonderlijk land of bedrijf kan reden hebben om door te gaan, terwijl het gezamenlijk misschien verstandiger zou zijn om bepaalde grenzen af te spreken.
AI is een wapen
Juist China speelt daarom een belangrijke rol in de huidige discussie. Veiligheid van geavanceerde AI is uiteindelijk geen probleem dat één bedrijf of één
land kan oplossen. Als krachtige AI-systemen inderdaad nieuwe vormen van cyberaanvallen, biologische toepassingen of autonome besluitvorming mogelijk maken, hebben internationale afspraken alleen zin wanneer belangrijke spelers meedoen. Tegelijkertijd maakt de strategische concurrentie tussen de Verenigde Staten en China dergelijke afspraken bijzonder moeilijk. Toch zijn er inmiddels voorzichtige signalen dat zelfs Washington bereid is met China te praten over de risico’s die beide landen delen.
Daar staat de Amerikaanse politiek tegenover. President Donald Trump heeft de recente waarschuwingen over AI die de mensheid zou kunnen vernietigen juist als een “hoax” bestempeld. Hij verzet zich tegen maatregelen die de Amerikaanse AI-industrie zouden kunnen afremmen. Zijn redenering is mede gebaseerd op de concurrentie met China: de Verenigde Staten moeten volgens deze benadering vooral voorkomen dat zij hun technologische voorsprong verliezen. Daarmee wordt het dilemma scherp zichtbaar. De ene kant zegt dat de ontwikkeling moet worden afgeremd totdat de veiligheidsmechanismen voldoende zijn ontwikkeld; de andere kant vreest dat vertraging zelf een veiligheidsrisico wordt wanneer een concurrent ondertussen doorgaat.
Ook Europa begint zich nadrukkelijker met die discussie te bemoeien. Europese Commissievoorzitter Ursula von der Leyen sprak op 16 september haar steun uit voor het afremmen van de snelle ontwikkeling van de krachtigste AI-systemen en wil daarover met de grote AI-labs spreken. Zij wees onder meer op het risico dat geavanceerde AI-modellen door tegenstanders kunnen worden misbruikt voor geavanceerde hackaanvallen. Dat is interessant omdat de discussie daarmee verschuift van een voornamelijk technische discussie binnen de AI-industrie naar een politieke en maatschappelijke kwestie.
Ook in Nederland wordt de toon kritischer. Techjournalist Alexander Klöpping waarschuwde eerder voor AI als een “supergevaarlijke technologie” en reageerde onlangs op nieuwe ontwikkelingen rond AI en cyberaanvallen met de constatering: “Het is insane wat er is gebeurd.” Zijn uitspraken zijn geen wetenschappelijk bewijs voor een naderende AI-apocalyps, maar ze illustreren wel hoe sterk het beeld is veranderd van AI als handige chatbot naar AI als technologie die zelfstandig complexe handelingen kan uitvoeren.
De noodzaak van de noodstop
Daarmee komen we terug bij de vraag uit mijn oorspronkelijke drieluik: wanneer wordt AI te slim? Misschien was dat achteraf gezien niet helemaal de juiste vraag. Het probleem hoeft namelijk niet te ontstaan wanneer een machine intelligenter wordt dan een mens. Het kan al ontstaan wanneer een systeem voldoende mogelijkheden krijgt om zelfstandig te handelen en wij onvoldoende begrijpen wat het zal doen. Een zeer intelligente machine met goede veiligheidsmechanismen hoeft geen probleem te zijn. Een minder intelligente machine met te veel toegang en te weinig toezicht kan dat wel zijn.
Daarom is de noodstop zo belangrijk. In mijn artikel uit augustus schreef ik dat we niet moeten wachten op een zelfbewuste AI om serieus over controle na te denken. Die gedachte is sindsdien alleen maar relevanter geworden. Als AI-agenten steeds langer zelfstandig kunnen werken en steeds meer toegang krijgen tot computersystemen, moet vooraf duidelijk zijn welke handelingen ze mogen uitvoeren, welke ze niet mogen uitvoeren en wie ze kan stoppen. Dat geldt voor bedrijven en overheden, maar uiteindelijk ook voor individuele gebruikers.
In dit het einde der mensheid?
Het is verleidelijk om bij dit onderwerp meteen te spreken over het einde van de mensheid. Dat is journalistiek aantrekkelijk, maar wetenschappelijk niet verantwoord. Niemand weet of er vóór 2030 een superintelligentie ontstaat, laat staan of die de mensheid zou kunnen uitroeien. De persoonlijke inschatting van Hubinger van meer dan tien procent is geen consensus onder AI-onderzoekers. Er zijn deskundigen die het existentiële risico veel lager inschatten en erop wijzen dat verschillende onderdelen van de gevreesde scenario’s nog onbewezen aannames zijn. Ook moeten de huidige AI-systemen niet worden verward met een hypothetische superintelligentie.
Maar het omgekeerde zou eveneens een fout zijn. Het feit dat niemand kan bewijzen dat AI de mensheid zal vernietigen, betekent niet dat we de ontwikkeling onbeperkt moeten laten doorgaan zonder vooraf na te denken over de gevolgen. De risico’s van AI zijn bovendien niet beperkt tot een hypothetische superintelligentie. Cyberaanvallen, deepfakes, fraude, privacyproblemen, geautomatiseerde beïnvloeding, autonome wapens en toepassingen in de biologie bestaan nu al als concrete vraagstukken. HCC schreef daarover eerder al, onder meer in het overzicht AI in 2026: negen ontwikkelingen die iedereen zou moeten kennen.
Kijk terug en vooruit
Dat is ook de reden waarom ik mijn eerdere artikelen opnieuw tegen het licht houd. In 2025 was de vraag of AI ooit te slim zou kunnen worden vooral een toekomstvraag. In november van dat jaar constateerden we dat AI-agenten de eerste stap zetten van antwoorden geven naar handelen. In augustus 2026 schreven we dat de vraag naar een noodstop inmiddels concreet was geworden. En nu, in september, waarschuwen onderzoekers die zelf aan de krachtigste AI-systemen werken dat de ontwikkeling mogelijk sneller gaat dan de veiligheidsmaatregelen. Dat betekent niet dat de voorspelling van een ondergang uitkomt. Het betekent wel dat de waarschuwing serieuzer moet worden genomen.
Wat betekent dit voor HCC-leden?
Voor HCC-leden is dat een belangrijke boodschap. Een vereniging van computer- en technologieliefhebbers hoeft niet bang te zijn voor technologische vooruitgang. Integendeel: nieuwsgierigheid naar nieuwe technologie is precies wat onze vereniging groot heeft gemaakt. Maar enthousiasme en kritiek hoeven elkaar niet uit te sluiten. Juist mensen die begrijpen hoe technologie werkt, zouden moeten vragen welke bevoegdheden een AI krijgt, welke gegevens zij kan inzien, welke systemen zij mag bedienen en of een mens daadwerkelijk kan ingrijpen.
De belangrijkste vraag is daarom misschien niet meer: wanneer wordt AI te slim? De belangrijkere vraag is: wanneer geven wij AI zoveel macht dat zij te veel kan doen? Want daarvoor hoeven we niet te wachten tot een machine zelfbewust wordt. De mens hoeft geen Skynet te bouwen om de controle kwijt te raken. Het kan voldoende zijn dat we in de race om de krachtigste AI te bouwen vergeten dat een krachtige motor weinig waard is als de remmen niet minstens zo goed zijn.
