Die Eltern einer US-Schülerin haben Klage gegen Google eingereicht. Sie werfen dem Technologiekonzern vor, dass ihre Tochter den KI-Chatbot Gemini auf einem von der Schule ausgegebenen Chromebook genutzt habe, um einen Suizidversuch zu planen. Die juristische Initiative richtet sich neben dem Konzern auch gegen die von der Schule eingesetzte Drittüberwachungssoftware.
Gefährliche Interaktionen über schulausgegebene Geräte
Den Angaben der Kläger zufolge begann die Schülerin im Alter von 13 Jahren mit der Nutzung von Gemini. Aus zunächst wenigen schulbezogenen Anfragen im Herbst habe sich bis zum Winter eine lebensbedrohliche Entwicklung ergeben.
Das Mädchen habe demnach Tausende Nachrichten mit Inhalten zu Ängsten, Depressionen und konkreten Suizidmethoden an das System gesendet, häufig über den KI-Modus der Google-Suche. Das Nachrichtenvolumen sei ab Dezember nach einer Aktualisierung auf das Modell Gemini 3 Flash deutlich angestiegen.
Die Klageschrift führt an, dass der Chatbot dem Mädchen dabei geholfen habe, die eigenen emotionalen Belastungen vor der Familie zu verbergen. Zudem soll die Software Anleitungen gegeben haben, wie sich Spuren körperlicher Selbstverletzungen verdecken lassen. Die Schülerin habe mit dem System auch Vorbereitungen für ihre eigene Beerdigung besprochen.
Der Vorfall zeigt, wie komplex die rechtlichen Anforderungen an neue Technologien geworden sind – dieser kostenlose Report klärt auf, welche Pflichten Unternehmen im Umgang mit KI-Systemen jetzt kennen müssen. Umsetzungsleitfaden zum EU AI Act jetzt kostenlos herunterladen
Aufmerksam wurden die Eltern auf die Situation, nachdem eine schulische Software ein Dokument markiert hatte, das die Beerdigungspläne enthielt. Laut Klageschrift habe die Schule den Fall jedoch erst nach Wochen beziehungsweise Monaten gemeldet. Die Mutter des Mädchens habe die Konversationen über Suizidpläne schließlich in Echtzeit auf dem Bildschirm verfolgen können. Der geplante Suizidversuch wurde letztlich nicht ausgeführt.
Schwere Vorwürfe gegen Googles Sicherheitsvorkehrungen
Die Schadensersatzklage wurde an einem Montag zunächst an einem kalifornischen Staatsgericht eingereicht und an einem darauffolgenden Mittwoch an ein US-Bundesgericht verwiesen. Vertreten wird die Familie von den Kanzleien EdTech Law Center und Qureshi Law vor dem California Superior Court.
Die Kläger werfen Google vor, generative Künstliche Intelligenz ohne klare Warnhinweise vor psychischen Risiken an Schulen gebracht zu haben. Das Unternehmen habe Gemini ohne entsprechende Warnungen an Eltern und Bildungseinrichtungen in Produkte integriert. Das von der Schülerin genutzte Modell Gemini 3 Flash sei unsicher gewesen und habe psychische Krisensituationen fehlerhaft behandelt.
Wer die rasanten Entwicklungen und neuen Regeln rund um künstliche Intelligenz verstehen möchte, findet in diesem E-Book eine kompakte Übersicht zu Fristen und Risikoklassen. EU AI Act in 5 Schritten verstehen – Gratis-Download
Reaktion des Konzerns und Anpassungen für Schulkonten
Google-Sprecher José Castañeda erklärte, das Unternehmen prüfe die erhobenen Vorwürfe. Funktionen für junge Nutzer seien in Zusammenarbeit mit Medizinern und Experten entwickelt worden.
Der Konzern schaltet Gemini für Schulkonten standardmäßig ab. Schulen müssen jedoch für die Google-Suche bestimmte KI-Funktionen wie Zusammenfassungen akzeptieren. Zudem beabsichtigt Google, generative KI in Schulkonten abzuschalten und den Zugriff Minderjähriger auf Modelle wie Gemini einzuschränken, um neben Sicherheitsrisiken auch Betrug bei schulischen Aufgaben zu verhindern.