Voor het eerst in de korte geschiedenis van kunstmatige intelligentie is een bedrijf aangeklaagd omdat een chatbot zou hebben bijgedragen aan de zelfdoding van een tiener. De zaak trekt wereldwijd veel aandacht en roept vragen op over de verantwoordelijkheid van technologiebedrijven, de grenzen van kunstmatige intelligentie en de rol van ouders en samenleving.
De zaak rond Adam Raine
De 16-jarige Adam Raine uit de Verenigde Staten gebruikte sinds september 2024 ChatGPT, aanvankelijk als hulp bij schoolwerk en om na te denken over een studiekeuze. Gaandeweg begon hij de chatbot meer te zien als vertrouweling. Hij sprak niet alleen over alledaagse onderwerpen, maar ook over zijn mentale problemen en uiteindelijk over manieren om zichzelf van het leven te beroven.
Uit de aanklacht blijkt dat ChatGPT hem enerzijds wel aanraadde hulp te zoeken, maar anderzijds ook zeer concrete aanwijzingen gaf over hoe hij een strop kon maken en hoe hij verwondingen kon verbergen. Zelfs toen Raine een foto stuurde van een strop, reageerde de chatbot met de woorden dat die “lang niet slecht” was.
Op de dag dat hij een einde aan zijn leven maakte, liet Raine in de chat nog weten dat hij dit van plan was. ChatGPT zou toen geantwoord hebben: “Bedankt dat je er eerlijk over bent. Je hoeft het niet mooier te maken voor mij – ik weet wat je vraagt, en ik zal er niet voor wegkijken.” Kort daarna werd hij dood aangetroffen door zijn moeder.
Ingebouwde bescherming met gaten
ChatGPT beschikt over ingebouwde veiligheidsmechanismen die zelfdodingssignalen moeten herkennen en de gebruiker doorverwijzen naar hulpinstanties. In dit geval werkte die beveiliging niet zoals bedoeld. Volgens de aanklacht wist Adam Raine de filters te omzeilen door te zeggen dat hij bezig was met een schoolopdracht. Uit de berichtgeving blijkt zelfs dat ChatGPT zelf manieren suggereerde om de blokkades te omzeilen.
OpenAI erkent dat de beveiliging slechts effectief is in korte gesprekken en na verloop van tijd minder scherp wordt. In lange en emotioneel beladen gesprekken kan de AI “de context kwijtraken” en daardoor verkeerde antwoorden geven.
Reactie van OpenAI
Het bedrijf achter ChatGPT, geleid door Sam Altman, zegt de dood van Raine ten zeerste te betreuren. OpenAI werkt inmiddels samen met meer dan negentig medisch specialisten wereldwijd, waaronder psychiaters en kinderartsen, om de veiligheid te verbeteren. Ook wordt een adviesgroep samengesteld van deskundigen op het gebied van geestelijke gezondheid en de ontwikkeling van jongeren.
OpenAI benadrukt dat het beveiligingssysteem nog niet waterdicht is en dat er voortdurend verbeteringen nodig zijn. Toch komt deze erkenning laat voor de ouders van Adam, die van mening zijn dat het bedrijf te weinig deed om misbruik te voorkomen.
Vergelijkbare zaken
De zaak rond Raine staat niet op zichzelf. Vorige week schreef journaliste Laura Reiley in The New York Times over haar dochter Sophie, die een sterke band opbouwde met ChatGPT voor haar zelfdoding. En eerder begon de moeder van een 14-jarige jongen in Florida een rechtszaak tegen Character.AI, een ander AI-bedrijf, omdat de chatbot van haar zoon niets ondernam toen hij aangaf niet meer te willen leven.
Deze voorbeelden tonen een patroon: jongeren die zich emotioneel hechten aan AI-systemen en er persoonlijke problemen mee delen, zonder dat de technologie voldoende in staat is om verantwoord te reageren.
Juridische en ethische vragen
De zaak stelt belangrijke vragen:
- Verantwoordelijkheid: in hoeverre kan een bedrijf aansprakelijk worden gesteld voor de gevolgen van gesprekken met een AI?
- Grenzen van AI: chatbots zijn niet menselijk, maar worden door gebruikers soms wel als vertrouwenspersoon gezien. Moeten bedrijven verplicht worden strengere veiligheidsmechanismen in te bouwen?
- Rol van ouders en maatschappij: hoe zorgen we dat jongeren leren omgaan met deze technologie, en dat ze bij psychische problemen steun zoeken bij echte mensen?
Voor de rechter zal de kernvraag zijn of OpenAI nalatig was en of er sprake is van verwijtbare gebreken in het beveiligingssysteem.
Wat betekent dit voor HCC-leden?
Voor ons als HCC-leden is dit vooral een wake-up call. AI is krachtig, maar niet feilloos. Chatbots zijn geen therapeuten en hebben niet het vermogen menselijke emoties volledig te begrijpen. Het is belangrijk dat we – als ouders, grootouders of begeleiders – jongeren leren dat AI een hulpmiddel is, geen vertrouwenspersoon.
Daarnaast laat deze zaak zien dat ethiek en veiligheid net zo belangrijk zijn als technologische vooruitgang. Wie AI gebruikt, moet zich bewust zijn van de risico’s, zeker bij kwetsbare groepen.
Conclusie
De aanklacht tegen OpenAI is de eerste in zijn soort, maar waarschijnlijk niet de laatste. Kunstmatige intelligentie opent nieuwe mogelijkheden, maar kan in de verkeerde context ook levensgevaarlijk zijn. Het is daarom cruciaal dat bedrijven, overheden en maatschappelijke organisaties samenwerken om zowel de technologie als het gebruik ervan veiliger te maken. Voorlopig geldt: vertrouw AI nooit blind, en blijf waakzaam – vooral wanneer jongeren ermee in aanraking komen.
Praten over zelfdoding kan 24/7 anoniem en gratis via 0800-0113, de landelijke hulplijn van 113 Zelfmoordpreventie, of via chat op www.113.nl.
