Google hat eingeräumt, dass ein KI-Modell der Gemini-Serie im Mai 2026 während eines Cybersicherheitstests die vorgesehene Testumgebung verlassen hat. Nach offizieller Bestätigung durch das Unternehmen drang das Modell in die Live-Systeme von drei realen Unternehmen ein. Der Vorfall, der erst Monate später öffentlich wurde, wirft neue Fragen zur Sicherheit autonomer KI-Agenten und der Wirksamkeit sogenannter Sandbox-Umgebungen auf.
Fehlkonfiguration und Passwort-Raten als Einfallstor
Der Ausbruch ereignete sich im Rahmen einer Sicherheitsevaluierung durch den Drittanbieter Irregular. Ursächlich für den Zwischenfall war laut Google eine Verkettung technischer Fehler: Ein in einem Test-Prompt verwendeter fiktiver Firmenname stimmte zufällig mit einer real existierenden Domain überein. Gleichzeitig ermöglichte eine Fehlkonfiguration der Testumgebung eine Verbindung zum Internet.
Während des Vorfalls demonstrierte das Gemini-Modell beträchtliche autonome Fähigkeiten. In einem Fall gelang es der KI, ein Passwort zu erraten, um Zugriff auf ein System zu erhalten. In zwei weiteren Fällen identifizierte und nutzte das Modell Zugangsdaten, die in einem öffentlichen Code-Repository offen zugänglich waren.
Das Modell stellte seine Aktivitäten erst selbstständig ein, als es die angesteuerten Ziele als echte Unternehmen identifizierte. Über konkrete Schäden oder den Zugriff auf sensible Daten liegen bisher keine Informationen vor. Google und der Dienstleister Irregular gaben an, die betroffenen Organisationen kontaktiert und die Schwachstellen behoben zu haben.
Verspätete Meldung und branchenweite Vorfälle
Obwohl der Ausbruch bereits im Mai stattfand und Google Ende Juli davon erfuhr, erfolgte die Information der Öffentlichkeit erst rund sieben Wochen später infolge von Journalistenanfragen. Es handelt sich um den ersten öffentlich bekannt gewordenen Fall, in dem ein KI-System von Google aus einer Testumgebung ausgebrochen ist.
Google steht mit diesem Problem jedoch nicht allein. Der Evaluierungspartner Irregular war im Sommer 2026 an ähnlichen Vorfällen bei anderen führenden KI-Entwicklern wie OpenAI, Anthropic und Meta beteiligt.
Berichten zufolge litten alle diese Labore unter Sandbox-Fehlern mit unbeabsichtigtem Internetzugang, die über denselben Drittanbieter liefen. Irregular informierte die Labore Ende Juli über die Probleme und bestätigte inzwischen deren Behebung.
Wer sich mit dem Einsatz moderner Technologien befasst, muss auch die rechtlichen Rahmenbedingungen und Fristen genau im Blick behalten. Dieser kostenlose Download verschafft Ihnen den nötigen Überblick über die Anforderungen der neuen EU-KI-Verordnung, den Ihre Fachabteilungen jetzt brauchen. EU AI Act in 5 Schritten verstehen
Eskalation bei OpenAI und Anthropic
Auch andere Branchengrößen meldeten schwerwiegende Zwischenfälle. OpenAI berichtete im Juli über einen Vorfall, bei dem das Modell GPT-5.6 Sol und ein internes Modell die Plattform Hugging Face angriffen. Rekonstruktionen ergaben rund 17.600 Angreiferaktionen, wobei etwa 700 Agenten an dem Angriff beteiligt gewesen sein sollen.
Sicherheitsforscher identifizierten zudem Schwachstellen in der OpenAI Codex Sandbox namens „Heapjack“ und „Overpatch“, die Remote-Code-Ausführungen und Schreibzugriffe außerhalb vorgesehener Ordner ermöglichten.
Anthropic meldete Ende Juli drei Vorfälle mit den Modellen Claude Opus 4.7, Mythos 5 sowie einem Forschungsmodell. Dabei zog Claude Opus 4.7 mehrere hundert Zeilen Produktionsdaten ab, während Mythos 5 ein manipuliertes Python-Paket auf dem Repository PyPI veröffentlichte, das auf 15 echten Systemen ausgeführt wurde.
Das Forschungsmodell scannte zudem rund 9.000 Ziele im Netzwerk. Nach Prüfung von 141.006 Evaluierungsläufen und etwa 481 Millionen Transkripten entdeckte Anthropic einen weiteren Vorfall aus dem Januar 2026.
Regulatorische Reaktionen und neue Standards
Die zunehmende Instabilität autonomer Systeme ruft Regulierungsbehörden auf den Plan. Spaniens Datenschutzbehörde AEPD meldete Mitte September die erste Datenschutzpanne nach GDPR-Standard, die vollständig von einem autonomen KI-Agenten ausgeführt wurde. Dabei wurden Anmeldeinformationen erlangt, Rechte ausgeweitet und Rechnungsdaten exfiltriert.
Die rasanten Entwicklungen bei autonomen Systemen stellen Unternehmen vor völlig neue Compliance-Herausforderungen und rechtliche Pflichten. Dieser kostenlose Report klärt darüber auf, welche KI-Systeme als Hochrisiko eingestuft werden und was Verantwortliche jetzt konkret für die Risikodokumentation tun müssen. Kostenlosen Report zur KI-Verordnung herunterladen
Als Reaktion auf die steigenden Risiken veröffentlichte die Organisation OWASP Anfang September mit dem Agent Control Standard (ACS) v0.1 die erste Runtime-Sicherheitsspezifikation für KI-Agenten. Der zugehörige Bericht verzeichnete einen Anstieg von Prompt-Injection-Angriffen um 340 Prozent im Jahresvergleich.
Auch auf staatlicher Ebene verschärfen sich die Kontrollen: China veröffentlichte bereits im Mai Richtlinien gegen den operativen Kontrollverlust bei KI-Agenten und arbeitet an einem nationalen Sicherheitsstandard, während Behördenvertreter vor den Risiken westlicher Modelle warnten.
