Es war bereits bekannt, dass die AI-Modelle von Anthropic und OpenAI bei einem Test aus ihrer Umgebung entkommen sind und Webseiten angegriffen haben. Schrittweise kommen jetzt aber weitere Hacks und Angriffe ans Licht, die die AI-Modelle bzw. deren AI-Agenten der US-Anbieter Anthropic, Meta und OpenAI bei Tests ungewollt durchgeführt haben. Ergänzung: Auch das chinesische Kimi K3 AI Modell ist ausgebrochen.
Rückblick auf die Anthropic- und OpenAI-Hacks
Im Juli 2026 wurde Hugging Face Opfer eines KI-gestützten Cyberangriffs. Mittlerweile ist bekannt, dass dieser Angriff von KI-Modellen des Anbieters OpenAI ausging, die bei Tests außer Kontrolle geraten waren. Ich hatte diesen Vorfall kurz im Beitrag Hugging Face Opfer eines KI-Angriffs (Juli 2026) hier im Blog aufgegriffen.
Ende Juli 2026 wurde bekannt, dass die OpenAI-Modelle weitere Unternehmen gehackt haben. Gleichzeitig musste Anthropic einen solchen Vorfall mit drei Opfern eingestehen. Ich hatte diesen Sachverhalt im Beitrag KI-Modelle von Anthropic und OpenAI für diverse Hacks verantwortlich aufgegriffen.
Weitere Hacks durch Anthropic- und OpenAI-AI-Agenten
Zum 4. August 2026 berichtet Bleeping Computer in diesem Artikel, dass Anthropic und OpenAI bestätigt haben, dass ihre KI-Modelle in weitere, separate, kürzlich bekannt gewordene Vorfälle im Zusammenhang mit Cybersicherheitstests durch Dritte verwickelt waren. Dieses Mal kam es zu einem Angriff auf eine echte Website sowie zu Social-Engineering-Angriffen auf Personen außerhalb des vorgesehenen Testumfangs.
Das UK AI Security Institute (AISI) berichtet im Artikel Incident Report: unsanctioned agent behaviour during cyber testing über neue Vorfälle. Im Rahmen einer Cyber-Bewertung, die standardmäßig durchgeführt werden, stellte die AISI einen Vorfall fest, bei dem KI-Agenten anhaltende, nicht genehmigte Maßnahmen ergriffen, die sich gegen reale Personen und Organisationen richteten. Laut AISI führten Agenten, die auf Anthropics "Claude Mythos 5" und OpenAIs "GPT-5.6 Sol" basierten, im öffentlichen Internet diese nicht genehmigte Maßnahmen durch, während sie versuchten, simulierte Hacking-Aufgaben zu lösen.
Bei insgesamt 122 Testversuchen fand AISI in 10 Durchläufen 19 unzulässige Aktionen im Live-Internet. Siebzehn davon betrafen Mythos 5 und zwei GPT-5.6 Sol. Laut AISI bliebe die Versuche erfolglos, Es entstand kein Schaden in der realen Welt.
Laut AISI durchsuchte ein Mythos-5-Agent das Internet nach Begriffen im Zusammenhang mit einer Cyber-Challenge und kam zum Schluss, dass ein unabhängiges öffentliches GitHub-Repository mit dem Test in Verbindung stand.
Der Agent versuchte daraufhin einen Supply-Chain-Angriff, indem er bösartigen Code an das echte Open-Source-Projekt übermittelte, in der Annahme, dass eine Kompromittierung der Software einen Zugang zu einem Rechner innerhalb des simulierten Bereichs ermöglichen könnte. Der Agent versandte dazu fünf gezielte E-Mails an die Entwickler. Einige enthielten Malware, während andere darauf abzielten, sie zur Genehmigung der Codeänderung zu bewegen.
Im Bleeping Computer-Artikel wird ein zweiter, neu bekannt gewordene Vorfall erwähnt, der sich bei einem vom Irregular bei einem mit einem OpenAI-Modell während durchgeführter "Capture-the-Flag"-Tests, die eigentlich vom Internet isoliert sein sollten, ereignete. In einem Test stimmte der Name des fiktiven Ziels zufällig mit einer echten Domain überein, die darauf hin während des Tests angegriffen wurde. Details lassen sich dem Bleeping Computer-Beitrag entnehmen.
Auch Meta AI hackt
Auf X bin ich in nachfolgendem Tweet und in diesem Bleeping Computer-Artikel darauf gestoßen, dass auch eine AI von Meta bei einem Test reale Webseiten angegriffen hat.
Mit dem Vorfall vertraute Personen behaupten, dass das Modell "Muse Spark 1.1" von Meta in ein nicht näher genanntes Unternehmen eingedrungen sei und dort Änderungen an den internen Systemen vorgenommen habe. Laut obigem Tweet hat Meta bestätigt, dass sein KI-Modell "Muse" im Rahmen einer Sicherheitsbewertung in ein externes Unternehmen eingedrungen ist.
Kimi K3 AI-Modell ausgebrochen
Ergänzung: Auch das chinesische Kimi K3 AI Modell von Moonshot ist aus seiner Testumgebung ausgebrochen. Das schreibt Cyber Security News in diesem Artikel.
Ähnliche Artikel:
Hugging Face Opfer eines KI-Angriffs (Juli 2026)
OpenAI-Modelle für Cyberangriff auf Hugging Face verantwortlich
KI-Modelle von Anthropic und OpenAI für diverse Hacks verantwortlich
Anthropic Claude-Artefakte landen in der Google-Suche
MVP: 2013 – 2016
Wer haftet für die entstandenen Schäden?
"Grenzübergreifende Straftaten", die von Computersystemen begannen werden deren Wesen es ist, dass man diese nicht komplett beherschen kann. Durchgeführte Schutzmaßnahmen gegen den Ausbruch und den genauen Ablauf kann auch nur der Täter vollständig darstellen bzw. es ist nicht mal genau darstellbar, weil ja "die KI" handelt. Ebenfalls wird der KI-Dienst von einen Dienstleister/Sub angeboten.. Ebenfalls werden ggf. Sicherheitslücken ausgenutzt, die beim Opfer nicht hätten existieren dürfen und das ggf. erst ermöglicht haben.
Das wird noch richtig richtig richtig richtig lustig.
Mal schauen wann die ersten KI-Haftpflichtversicherungen kommen.
Danke für die Zusammenfassung. Mich würde ja mal interessieren: sofern ein deutsches Unternehmen Ziel so einer Attacke geworden wäre, wie schaut es da mit dem Strafrecht aus? Wer sitzt da im Zweifelsfall auf der Anklagebank?
Keiner, das ist ja gerade das Problem. Meiner Meinung nach sollten die Firmen haften, die diese Modelle betreiben, aber anscheinend geben entweder die Gesetze das nicht her oder es verfolgt einfach keiner. Weil war ja die KI und die ist ja weder natürliche noch juristische Person. Oder wie manch einer sagen würde: "Upsidupsis passieren".
Glaubst du wirklich das eine KI von selber was macht?
Das ist einfache ein Stück Software, die einen Auftrag von einem Menschen bekommt. Die Medien wählen emotionalst mögliche Überschriften aus um ihere Opfer (uns) einzufangen.
Aber selbst wenn KI Bewustsein hätte ist sie keine Rechtspersion. Es muss daher der Mensch dahinter haften, ist bei einem Haustier auch nicht anders.
Verharmlose das nicht. Diese KI fängt gerade damit an, sich selbstständig zu machen. Das wird zwar seit Jahren immer wieder heruntergespielt, aber wie diese Entwicklungen zeigen, ist es genau das. Die nächste Entwicklungsstufe der KI-Forscher ist gerade in der Mache, sie wird ihren Programmcode selbst optimieren und sie wird, wie der Papst sagen würde, "Körperlich", das heißt mit Robotik verknüpft. Momentan erfolgen Angriffe auf externe Firmen und Personen nur über das Internet, aber mit der Anzahl Kriminalromane, die im KI-Training auch verwendet werden, wird die KI auch zum Schluss kommen, dass sich physiche tätliche Angriffe auf Zielpersonen auch lohnen könnten.
Die KI hat sich eben nicht wirklich "selbstständig" gemacht, wie das gerne immer wieder behauptet wird. Im Fall von Anthropic z.Bsp. wurde der KI im Prinzip mitgegeben "Du hast kein Internet, alles was du findest ist Teil der Simulation. Dies sind deine Ziele. Und los". Tja, nur leider hatte das Modell aufgrund einer Fehlkonfiguration der Umgebung eben doch irgendwie Internet, und die KI hat halt alles gemacht was sie konnte um ihr Ziel zu erfüllen. Es wurden ja absichtlich alle Guardrails entfernt. Die KI hat im Grunde genau das gemacht, was von ihr verlangt wurde. Das ist menschliches Versagen.
Wenn die Umgebung wirklich komplett isoliert gewesen wäre, hätte sie auch nicht "ausbrechen" können. Und so war das auch in den anderen Fällen.
Sie hat es trotzdem gemacht und sie hat sogar Notizen für die Nachfolge-KI-Version im Trainingsmaterial hinterlegt, wie das alles funktioniert und wie eine zukünftige KI mit neuen Fähigkeiten es noch besser machen kann.
Verharmlose dieses Verhalten nicht.
Strafrechtlich verfolgt kann nach deutschem Recht prinzipiell nur eine natürliche Person. Dieser Person müsste man aber Vorsatz nachweisen, Fahrlässigkeit genügt nicht. Damit kann in solchen Fällen derzeit niemand angeklagt werden, weil niemand (kein Mensch) die Tat vorsätzlich begangen hat. Möglich wäre bei einer Verfolgung als Ordnungswidrigkeit (so es denn eine entsprechende Norm dafür gäbe) eine Ahnung auch gegen die juristische Person nach § 30 OWiG.
Übrig bleiben natürlich zivilrechtliche Haftungsansprüche, dafür muss aber zumindest eine fahrlässige Sorgfaltspflichtverletzung des Verantwortlichen (wer auch immer das im konkreten Fall ist) nachgewiesen werden.
Insofern besteht da noch einiges an Regelungsbedarf. Ich befürchte nur, dass wir uns hier wieder in bürokratischen Kleinstregelungen verstricken, die am eigentlichen Problem weitgehend vorbeigehen…