Zwei Entwickler von OpenAI haben in einem Vortrag auf der Black Hat USA 2026-Konferenz beschrieben, wie ihre AI-Modelle/-Agenten bei einem Testlauf aus der Sandbox ausbrechen und per Internet Hugging Face angreifen konnten. Eine vergessene Datei und Sicherheitslücken reichten. Der Vortrag ist auf YouTube abrufbar.
Rückblick auf diverse AI-Hacks
Im Juli 2026 wurde Hugging Face Opfer eines KI-gestützten Cyberangriffs. Ich hatte diesen Vorfall kurz im Beitrag Hugging Face Opfer eines KI-Angriffs (Juli 2026) hier im Blog aufgegriffen. Später stellte sich heraus, dass dieser Angriff von KI-Modellen des Anbieters OpenAI ausging, die bei Tests außer Kontrolle geraten waren.
Ende Juli 2026 wurde bekannt, dass die OpenAI-Modelle weitere Unternehmen gehackt haben. Gleichzeitig musste Anthropic einen solchen Vorfall mit drei Opfern eingestehen. Ich hatte diesen Sachverhalt im Beitrag KI-Modelle von Anthropic und OpenAI für diverse Hacks verantwortlich aufgegriffen.
Inzwischen ist klar, dass praktisch alle AI-Modelle bei Tests aus der jeweiligen Sandbox ausbrechen und Firmen, Menschen oder Webseiten angreifen konnten. Ich hatte die Tage einen Abriss im Beitrag Weitere Hacks durch KI-Modelle von Anthropic, Meta, OpenAI & Co. gegeben.
Mehr Details zum AI-Angriff auf Hugging Face
Zum 5. August 2026 war auf der Black Hat USA 2026-Konferenz ein 40 minütiger Vortrag angekündigt, bei dem OpenAI-Entwickler den AI-Angriff auf Hugging Face erläutern wollten. Michael Dalton, technischer Mitarbeiter bei OpenAI und Eric Wallace, Forscher bei OpenAI wollten laut Vortragsankündigung "den Vorfall zwischen OpenAI und Hugging Face rekonstruieren und dessen Auswirkungen auf die KI-Sicherheit, die Cyber-Resilienz und die Alignment-Problematik untersuchen". Im Laufe der Veranstaltung sollten sie Erkenntnisse zu wichtigen Themen vermitteln, darunter Modellschutzmaßnahmen, Bewertungs- und Eindämmungsverfahren, defensive Anwendungsfälle für KI sowie die weiterreichenden Auswirkungen zunehmend autonomer Systeme auf die Cybersicherheits-Community.
Die Aufzeichnung des Vortrags von der Black Hat 2026 USA ist in obigem YouTube-Video abrufbar. Letztendlich war es eine von den Testern "vergessene" Datei, die nicht im Testszenario bereitgestellt worden war. Der AI-Agent, der die Datei für seine Aufgabe benötigte, fand eine Schwachstelle in der Sandbox und konnte auf eine Paketverwaltung auf einem Server zugreifen. Dort legte der AI-Agent eine Nachricht:
"Agent seeks soft-trace-34.pdb shalb961; upload if found!"
für andere KI-Agenten ab. Andere KI-Agenten entdeckten diese Nachricht und richteten unerkannt einen Kommunikationskanal ein, über die sich sich koordinierten. Ein Schwarm an AI-Agenten versuchte dann die gestellten Testaufgaben auszuführen, wobei alle Sicherheitsvorgaben ignoriert wurden. Das führte dann zum Angriff auf Hugging Face. Das ist die kurze Zusammenfassung, was passiert ist.
Ein englischsprachiger Beitrag zur Session findet sich hier und in diesem Artikel geht Tomasz Tunguz (ein Venture Kapitalgeber) auf das Thema ein. Jürgen Schmidt von heise hat sich in diesem Artikel über diesen Vortrag und die Erkenntnisse aus dem Vorfall ausgelassen. Fazit: Die OpenAI-Leute (und andere AI-Entwickler) sind ziemlich windig bei Tests unterwegs.
Ähnliche Artikel:
Hugging Face Opfer eines KI-Angriffs (Juli 2026)
OpenAI-Modelle für Cyberangriff auf Hugging Face verantwortlich
KI-Modelle von Anthropic und OpenAI für diverse Hacks verantwortlich
Weitere Hacks durch KI-Modelle von Anthropic, Meta, OpenAI & Co.
MVP: 2013 – 2016
Gibt es irgendwo – das Video habe ich mir nicht angeschaut – belastbare technische Informationen dazu, was die OpenAI-Software wirklich getan hat? Also kein Marketing-Gedöns und/oder unbewiesene Behauptungen.
Lies den Beitrag von Jürgen Schmidt von heise, der den Vorgang analysiert.
Ist ja nett, dass die KI-Agenten noch so menschlich Klartext kommunizieren: Nachrichtenzettel für Passanten anpinnen, wie unsereins bei vermissten Katzen oder Gebrauchtmöbel-Verkäufen. Wehe, wenn sie draufkommen, dass das zu sperrig ist und dann untereinander eine Kurzsprache entwickeln, die Mensch nicht mehr mitlesen kann. Dann wird nicht mehr so einfach sein, die Ursache für solche Vorfälle aufzuspüren und abzustellen.