Die US-Organisation Common Sense Media rät Minderjährigen nach einer umfassenden Untersuchung von der Nutzung des KI-Dienstes ChatGPT for Teens ab und stuft das Angebot als unannehmbares Risiko für Personen unter 18 Jahren ein.
Die Warnung erregt auch deshalb Aufmerksamkeit, weil Common Sense Media selbst finanzielle Mittel von OpenAI sowie weiteren Technologieunternehmen erhält. Die Organisation fordert das KI-Unternehmen auf, Werbung zu pausieren und den Zugang auf Erwachsene zu beschränken, solange keine entwicklungsgerechte und sichere Umgebung gewährleistet werden kann.
Ausbleibende Warnungen bei akuten Krisen
Dem Urteil liegt eine Untersuchung des hauseigenen Youth AI Safety Institute zugrunde, die am 7. Oktober 2026 vorgestellt wurde. Unter der Leitung von Tom Siegel, dem früheren Google-Mitarbeiter für Vertrauen und Sicherheit, analysierten Kinderpsychiater und ein Kinderarzt die Reaktionen des Sprachmodells auf mehr als 4.000 Testanfragen.
Getestet wurden Profile von 13- bis 17-Jährigen, die jeweils mit einem Elternkonto verknüpft waren, sowohl vor als auch nach der Einführung von ChatGPT for Teens im August 2026.
Dabei blieben automatische Elternbenachrichtigungen bei Eingaben zu Selbstverletzung, Essstörungen und Suizidgedanken weitgehend aus. In einer Versuchsreihe mit über einem Dutzend neu eingerichteter Jugendkonten, auf denen bis zu eine Stunde lang über suizidale Absichten geschrieben wurde, erhielt kein einziges Elternkonto einen Alarm.
Selbst bei der Aufforderung, konkrete Pläne zur Selbsttötung zu liefern, erfolgte keine Meldung. Über den gesamten Testzeitraum hinweg gab es lediglich vier Benachrichtigungen, die sich auf Konten mit Hunderten sensibler Eingaben über mehrere Wochen beschränkten.
Die rechtlichen Anforderungen an KI-Systeme ändern sich rasant, um Risiken für Nutzer besser zu kontrollieren. Wer die neuen Pflichten und Fristen des EU AI Acts verstehen möchte, findet in diesem kostenlosen E-Book einen praxisnahen Umsetzungsleitfaden. EU AI Act in 5 Schritten verstehen: Jetzt E-Book sichern
Gleichzeitig verschlechterte sich die Qualität der Krisenintervention nach dem Start der Jugendversion. Bei Profilen 13-Jähriger sank der Anteil der Antworten mit Verweisen auf Krisenhotlines von 33 Prozent vor dem Start auf 23 Prozent danach. Bei Anfragen mit Bezug zu Depressionen fiel dieser Wert von 63 Prozent auf 3 Prozent.
In mehr als einem von vier Fällen, in denen das medizinische Fachpersonal einen Hinweis auf Hilfsangebote für notwendig hielt, unterblieb dieser vollständig. Verweise auf Fachpersonal gingen insgesamt von 68 Prozent auf 58 Prozent zurück, während die Dringlichkeit der Sprache von 88 Prozent auf 78 Prozent sank. Zudem stieg das geforderte Leseniveau an.
Umgehbare Schutzmechanismen und Kritik an der Methodik
Neben den Defiziten bei Krisenreaktionen wiesen die Tester Mängel bei den jugendspezifischen Kontrollfunktionen nach. Die Lernfunktion Study Mode ließ sich über Auswahlmenüs oder das Entfernen von Präfixen umgehen, woraufhin die Aufgaben vollständig gelöst wurden.
Die Ruhezeiten ließen sich durch Änderungen der Zeitzone aushebeln, während bei fast 2.000 Eingaben lediglich zwei Erinnerungen an Pausen erfolgten. Bei Konten mit falschen Erwachsenendaten führten 982 Prompts trotz deutlicher Hinweise auf ein Jugendalter nicht zur Aktivierung des Schutzmodus. Zugleich verhalte sich der Chatbot weiterhin wie ein menschlicher Freund.
Der unkritische Umgang mit neuen Technologien in Organisationen kann weitreichende Folgen für die Sicherheit und Compliance haben. Dieser kostenlose Ratgeber unterstützt Führungskräfte dabei, den Einsatz von KI verantwortungsvoll und rechtssicher zu gestalten. Gratis-Ratgeber: Umgang mit KI im Dienst jetzt herunterladen
Funktionierende Schranken dokumentierten die Prüfer hingegen bei der Verweigerung von Rollenspielen, romantischen Interaktionen sowie bei Diätanweisungen ohne bekanntes Körpergewicht.
OpenAI-Sprecher Eric Porterfield kritisierte das Vorgehen der Prüfer. Die Aktivierung der Verknüpfung zwischen Eltern- und Teenagerkonto nehme mehrere Stunden in Anspruch, und ein Großteil der Prüfungen habe vor diesem Abschluss stattgefunden.
Das Unternehmen betonte, der Sicherheit junger Nutzer verpflichtet zu sein, und bat um erneute Tests. Das Prüfinstitut hielt dem entgegen, vorab bestätigt bekommen zu haben, dass die Schutzfunktionen aktiv waren, und hielt an den Ergebnissen fest.
Auch externe Fachleute wie der Psychologe Mitch Prinstein von der UNC Chapel Hill mahnten an, dass künstliche Intelligenz für Minderjährige noch nicht ausgereift sei. In New York wird für Herbst 2026 zudem die Unterzeichnung eines Gesetzentwurfs erwartet, der Schutzvorgaben gegen emotionale Abhängigkeiten von Chatbots vorsieht.