Die Europäische Kommission hat ein formelles Verfahren gegen die Plattform X und ihren KI-Dienst Grok eingeleitet. Grund sind massenhaft erstellte sexuell explizite Deepfakes von Frauen und Minderjährigen.
Die Untersuchung nach dem Digital Services Act (DSA) prüft, ob X ausreichende Schutzmechanismen gegen die Erzeugung nicht-einvernehmlichen intimer Bilder versäumt hat. EU-Kommissionspräsidentin Ursula von der Leyen stellte klar: „Verstöße gegen die Einwilligung und die Aushöhlung des Kinderschutzes durch Technologiekonzerne werden nicht toleriert.“ EU-Digitalkommissarin Henna Virkkunen ergänzte, die Grundrechte von Frauen und Kindern dürften nicht als Kollateralschaden der KI-Entwicklung behandelt werden.
Trotz Zusagen: Risiken bleiben bestehen
Die Ermittlungen folgen auf Berichte über eine hohe Zahl von Deepfake-Erstellungen. Daten des Center for Countering Digital Hate deuten darauf hin, dass Grok innerhalb weniger Tage zur Erzeugung von rund drei Millionen sexualisierten Bildern genutzt wurde. Ende Juli veröffentlichte Erkenntnisse zeigen: Trotz Zusagen des KI-Unternehmens xAI, solche Inhalte zu unterbinden, können Nutzer weiterhin digitale Entkleidungen vornehmen – sowohl in der eigenständigen App als auch über verifizierte Accounts auf X.
Marktforscher von Copyleaks schätzen, dass das Tool etwa jede Minute ein nicht-einvernehmliches sexualisiertes Bild erzeugt. Die EU hatte ihre Untersuchung zwar bereits Ende Januar 2026 angekündigt, doch aktuelle Tests belegen: Nutzer können Beschränkungen mit bestimmten Befehlen umgehen. Die KI selbst räumte ein, dass bestimmte Funktionen eine Grauzone blieben, die anfällig für Missbrauch sei.
Der Fall um Grok zeigt, wie schnell KI-Systeme in rechtliche Grauzonen geraten können – die neue EU-KI-Verordnung schafft hier nun klare Fakten für alle Anbieter. Welche konkreten Kennzeichnungs- und Dokumentationspflichten der AI Act für Ihr Unternehmen vorsieht, erfahren Sie in diesem kompakten Leitfaden. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Weltweite juristische Offensive
Das EU-Verfahren ist Teil einer breiten Welle rechtlicher Schritte gegen X und xAI. Bereits im Frühjahr 2026 erließ das Amtsgericht Amsterdam ein Verbot: Grok darf in den Niederlanden keine nicht-einvernehmlichen Nacktbilder mehr erzeugen oder verbreiten. Bei Verstößen droht ein tägliches Zwangsgeld von 100.000 Euro. Das Gericht begründete dies mit begründeten Zweifeln an der Wirksamkeit der Sicherheitsmaßnahmen von xAI.
Weitere internationale Entwicklungen:
- Frankreich: Anfang Februar 2026 durchsuchten französische Behörden die X-Büros in Paris im Rahmen einer Cybercrime-Ermittlung. Elon Musk und die ehemalige CEO Linda Yaccarino wurden zu Anhörungen vorgeladen.
- Brasilien: Ein Gericht in São Paulo erklärte X für Inhalte haftbar, die seine eigene KI erzeugt hatte – ein Präzedenzfall. Grok hatte falsche und rufschädigende Behauptungen über einen Anwalt verbreitet.
- Deutschland: Das Landgericht Hamburg erließ eine einstweilige Verfügung gegen xAI wegen der Verbreitung von Tatsachenunwahrheiten. Das Gericht entschied, dass sich das Unternehmen nicht auf Meinungsfreiheit berufen könne, um Falschinformationen zu rechtfertigen.
- Großbritannien: Die Medienaufsicht Ofcom ermittelt gegen die Plattform. Die Labour-Abgeordnete Jess Asato hat zudem Klage gegen xAI eingereicht – wegen gefälschter intimer Bilder, die sie demütigen sollten.
Ob Deepfakes oder Datenmissbrauch – die rechtlichen Anforderungen an die Entwicklung und Nutzung von KI-Systemen verschärfen sich durch den AI Act massiv. Sichern Sie sich diesen kostenlosen Report, um zu prüfen, welche Ihrer Systeme als Hochrisiko eingestuft werden und was Sie jetzt tun müssen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
Gesetzgeber ziehen die Zügel an
Der Druck auf soziale Medien wächst weltweit. Indonesien blockierte als erstes Land im Januar 2026 den Zugang zu Grok vollständig – mit Verweis auf schwerwiegende Risiken für Menschenwürde und Sicherheit. Der spanische Ministerpräsident Pedro Sánchez wies die Staatsanwaltschaft an, große Plattformen wie X, Meta und TikTok wegen der Verbreitung KI-generierten Kindesmissbrauchsmaterials zu untersuchen.
Die EU treibt zudem strengere dauerhafte Regeln voran. Der Rat der EU verabschiedete Ende Juni 2026 den AI Omnibus, der das KI-Gesetz aktualisiert. Enthalten: ein spezifisches Verbot von KI-Systemen, die nicht-einvernehmliche sexuelle Inhalte oder KI-generierte Kinderpornografie erstellen. Die Durchsetzung beginnt am 2. Dezember 2026.
Vorausgegangen waren bereits finanzielle Strafen gegen X: Im Spätherbst 2025 verhängte die EU ein Bußgeld von 120 Millionen Euro wegen früherer Verstöße gegen digitale Sicherheitsstandards. Auch in den USA wächst der Druck. Kaliforniens Generalstaatsanwalt und Mitglieder des US-Senats fordern, X und Grok aus den App-Stores zu entfernen, falls die Sicherheitsprobleme ungelöst bleiben.
