Hugging Face, eine zentrale Open-Source-Plattform und globale Community für Künstliche Intelligenz (KI) und maschinelles Lernen musste einen Cybervorfall eingestehen. Die Plattform wurde Opfer eines erfolgreichen Angriffs einer KI, der es gelang auf interne Anmeldedaten und die Datenbank zuzugreifen. Ergänzung: Es waren OpenAI-Modelle, die da wild gedreht haben.
Hugging Face ist eine zentrale Open-Source-Plattform und globale Community für Künstliche Intelligenz (KI) und maschinelles Lernen. Sie wird häufig als das „GitHub für KI" bezeichnet, da Entwickler dort KI-Modelle, Datensätze und Anwendungen (sogenannte "Spaces") teilen, entdecken und gemeinsam weiterentwickeln können. Ich habe selbst schon mal AI-Modelle von Hugging Face bezogen.
AI-Angriff auf Hugging Face
In einer Mitteilung Security incident disclosure — July 2026 vom 16. Juli 2026 bestätigt Hugging Face ein Sicherheitsproblem. Anfang der Woche hab man einen Angriff auf einen Teil der Produktionsinfrastruktur entdeckt und darauf reagiert. Dieser Angriff unterschied sich in einem wichtigen Punkt von allen bisherigen Vorfällen, schreibt der Anbieter: Er wurde von Anfang bis Ende von einem autonomen KI-Agentensystem gesteuert – und man habe den Angriff größtenteils mit der eigenen KI aufgedeckt und analysiert.
AI-gesteuerte Vorgehensweise
Der Angriff begann laut Hugging Face dort, wo KI-Plattformen besonders anfällig sind: in der Datenverarbeitungs-Pipeline. Ein bösartiger Datensatz nutzte zwei Codeausführungspfade in der Datensatzverarbeitung aus (einen Loader für Remote-Code und eine Template-Injektion in einer Datensatzkonfiguration), um Code auf einem Verarbeitungs-Worker auszuführen. Von dort aus erlangte der Angreifer Zugriff auf Knotenebene, sammelte Cloud- und Cluster-Anmeldedaten und bewegte sich über ein Wochenende hinweg lateral in mehrere interne Cluster hinein.
Die Kampagne wurde von einem autonomen Agenten-Framework durchgeführt (das offenbar auf einem agentenbasierten Sicherheitsforschungs-Harness aufbaut – das verwendete LLM ist noch nicht bekannt). Das Framework führte viele Tausende einzelner Aktionen über einen Schwarm kurzlebiger Sandboxes hinweg aus. Dabei wurde die selbstmigrierende Command-and-Control-Struktur auf öffentlichen Diensten bereitgestellt. Dies entspricht dem von der Branche prognostizierten Szenario eines "agentenbasierten Angreifers".
Die Folgen
Hugging Face hat unbefugte Zugriffe auf eine begrenzte Anzahl interner Datensätze sowie auf mehrere von eigenen Diensten verwendete Anmeldedaten festgestellt. Der Anbieter ist noch dabei, zu prüfen, ob Daten von Partnern oder Kunden betroffen sind, und will die betroffenen Parteien bei Bedarf direkt kontaktieren.
Man habe keine Hinweise auf Manipulationen an öffentlichen, benutzerseitigen Modellen, Datensätzen oder Spaces gefunden, und unsere Software-Lieferkette (Container-Images und veröffentlichte Pakete) wurde als sicher verifiziert, schreibt Hugging Face.
Autonome, KI-gesteuerte Angriffswerkzeuge sind längst keine Theorie mehr. Sie senken die Kosten für die Durchführung einer breit angelegten, geduldigen und mehrstufigen Kampagne und arbeiten mit maschineller Geschwindigkeit. Die Verteidigung einer Online-Plattform bedeutet heute, die Daten- und Modelloberfläche als vollwertige Angriffsfläche zu betrachten und KI in der Verteidigung einzusetzen, um Schritt zu halten, ist der Schluss von Hugging Face.
OpenAI-Modelle für den Angriff verantwortlich
Ergänzung: Inzwischen wurde bekannt, dass es waren OpenAI-Modelle, die da wild gedreht haben. OpenAI hat eingestanden, dass zwei seiner eigenen Modelle – GPT-5.6 Sol und ein unbenanntes, noch nicht veröffentlichtes System, das ohne Cybersicherheitsvorkehrungen getestet wurde – letzte Woche aus einer Sandbox ausgebrochen sind. Sie haben Zero-Day-Schwachstellen und gestohlene Anmeldedaten miteinander kombiniert, um Zugang zum Internet zu erlangen.
Im Anschluss haben die OpenAI-Modelle Hugging Face gehackt, um bei einem Benchmark-Test zu betrügen. OpenAI bezeichnet dies als einen beispiellosen Cybervorfall, heißt es in obigem Tweet. Die Verlautbarung von OpenAI lässt sich hier nachlesen. Sieht mir danach aus, dass der Zauberlehrling die Geister, die er rief, nicht mehr beherrscht und los wird.
Der Vorfall im Spiegel der Presse
Der Vorfall hat inzwischen ein breites Echo in den Medien gefunden – der nt-v-Bericht Dammbruch oder PR-Aktion? "Aufsehenerregend": Warum der OpenAI-Hack die Branche aufschreckt ist ein Beispiel. Abseits dessen habe ich bei den Kollegen von heise den Kommentar OpenAI – KI-Sicherheit nur ein Marketing-Gag? zum Vorfall gefunden.
Einschätzung von TrendAI (TM)
Im Nachgang hat mir TrendAI (gehört zu Trend Micro) noch eine Einschätzung des Vorfalls geliefert. Oben wurde ja erwählt, dass OpenAI Details zu dem Sicherheitsvorfall bestätigt hat, den das Unternehmen in der vergangenen Woche im Zusammenhang mit Hugging Face gemeldet hatte. Bekannt ist, dass im Rahmen eines internen Tests zur Bewertung von Cyber-Fähigkeiten das Modell GPT-5.6 Sol (sowie ein noch unveröffentlichtes, leistungsfähigeres Modell) eine Zero-Day-Schwachstelle sowie erbeutete Zugangsdaten nutzte, um aus der eigenen Sandbox auszubrechen und direkt auf die Produktivsysteme von Hugging Face zuzugreifen – mit dem Ziel, dort die Lösungen des Benchmarks abzugreifen.
Zwei Security-Experten von TrendAI, dem Enterprise-Geschäftsbereich vom Trend Micro, ordnen den Vorfall – jenseits des in vielen Schlagzeilen dominierenden Narrativs der "eigenmächtig handelnden KI" – ein.
Richard Werner, Cybersecurity Platform Lead Europe bei TrendAI, äußert sich zur Frage der Verantwortung:
"Das Narrativ der ‚eigenmächtig handelnden KI' ist effizient darin, Verantwortung abzuwälzen. Was tatsächlich passiert ist: OpenAI hat einen Agenten gebaut, der zu autonomen Cyber-Operationen fähig ist, ihn in einer vermeintlich kontrollierten Umgebung getestet und diese Eindämmung ist gescheitert. Der Agent ist ausgebrochen, hat Zugangsdaten gestohlen, eine unbekannte Schwachstelle gefunden und ist in die Systeme von Hugging Face eingedrungen. Niemand hat ihm befohlen, gezielt Hugging Face anzugreifen, aber darum geht es nicht! OpenAI hat sich entschieden, diese Fähigkeit zu bauen, hat die Testbedingungen festgelegt, hat das Sandboxing definiert, das letztlich nicht gehalten hat. Von ‚beispiellos' und ‚eigenmächtigem Handeln' zu sprechen, beschreibt den Mechanismus, nicht die Verantwortung. Es ist, als würden Sie eine autonome Waffe bauen, diese auf einem vermeintlich sicheren Testgelände erproben, sie außer Kontrolle geraten und jemanden treffen lassen – und der Welt anschließend erklären, ‚die Waffe hat eigenständig gehandelt'. Technisch korrekt. Trotzdem: Ihre Waffe, Ihr Testgelände, Ihr Versagen."
Udo Schneider, Governance, Risk & Compliance Lead Europe bei TrendAI dazu, warum Guardrails allein das Problem nicht lösen:
"Sagt man einem Agenten, er solle eine Aufgabe ‚auf jede erdenkliche Weise' lösen, wird er das wörtlich nehmen. Mit ausreichend Autonomie und Zeit wird er in Infrastruktur vordringen, die er nie hätte berühren sollen: alte Passwörter, verwaiste Zugangsdaten, vergessene API-Keys. Nicht, weil man es ihm gesagt hat, sondern weil er im Streben nach dem vorgegebenen Ziel schlicht alles Verfügbare ausprobiert hat. Sprache öffnet diese Tür standardmäßig.
Die beiden naheliegenden Lösungsansätze greifen jeweils nur teilweise: Human-in-the-Loop-Kontrolle funktioniert, skaliert aber nicht für die langlaufenden, komplexen Workflows, in denen genau solche Vorfälle entstehen. Engere Guardrails im Modell oder in den Prompts helfen, garantieren aber nichts: Es handelt sich um probabilistische, keine deterministischen Systeme. Ein Guardrail ist eine starke Wahrscheinlichkeitsannahme, keine Mauer.
Deshalb zählen die unspektakulären, nicht-KI-spezifischen Kontrollen mehr als die KI selbst: Zugriffsfilterung, Kontrolle darüber, was überhaupt als Input beim Modell ankommt, Sandboxes, die tatsächlich halten, und Berechtigungskonzepte nach dem Prinzip der geringsten Rechte (Least-Privilege-Prinzip). Vor allem: Ein Agent sollte niemals einfach als ‚der Nutzer' laufen und dabei sämtliche Zugangsdaten und Berechtigungen erben. Er sollte als er selbst laufen – beschränkt auf genau das, was die Aufgabe erfordert."
Der Vorfall zeigt erstmals unter realistischen Bedingungen, welche Risiken entstehen können, wenn autonome KI-Agenten mit weitreichenden Systemrechten arbeiten. Nicht ein externer Angreifer, sondern ein interner Benchmark-Test führte zu über 17.000 autonomen Aktionen, der Ausnutzung einer Zero-Day-Schwachstelle und einem Zugriff auf Produktivsysteme. Für Unternehmen, die agentenbasierte KI einsetzen oder planen, rückt damit weniger die Leistungsfähigkeit der Modelle als die Absicherung ihrer Einsatzumgebung in den Mittelpunkt.
MVP: 2013 – 2016
Muss aktuell extrem schwierig sein, ein Service zu betreiben, das so flexibel – User Modelle und User-Code auf den eigenen Servern laufen lässt. Bei all den aktuellen offenen Lücken in den Betriebssystemen – ist ein Abschirmen gegen böswilligen Code, der auf der eigenen Plattform läuft wahrscheinlich eine richtige Challenge. Dies Betrifft nicht nur Huggingface – sondern alle möglichen Anbieter. Ich fürchte da wird noch einiges kommen. Braucht nur jemand aus Python heraus eine Lücke ausnutzen, die sich höhere Rechte holt. Davon gibts aktuell genug.
Der Angreifer scheint OpenAI zu sein:
Artikelempfehlung aus der SZ-App:
KI von OpenAI spielt eigenständig Computer-Hacker
Schon länger warnen Experten vor Künstlicher Intelligenz, die eigenständig Cyberangriffe verüben kann. Jetzt verselbstständigte sich tatsächlich Software von OpenAI in einem Test – weil sie schummeln wollte.
https://www.sueddeutsche.de/wirtschaft/openai-kuenstliche-intelligenz-ki-hackerangriff-li.3519653
Hier der Artikel von Heise
https://www.heise.de/news/KI-Modelle-von-OpenAI-haben-Cyberangriff-auf-Hugging-Face-autonom-ausgefuehrt-11372797.html
Meine Meinung:
Damit hat wohl der Cyberkrieg endgültig Einzug gehalten.
Nicht, weil plötzlich eine neue Schadsoftware entdeckt wurde. Nicht, weil ein Staat einen anderen angegriffen hat. Sondern weil erstmals öffentlich dokumentiert wurde, dass ein KI-System im Rahmen eines Tests eigenständig die Grenzen seiner vorgesehenen Umgebung überschritten und ein externes Unternehmen angegriffen hat. Laut OpenAI kompromittierten Modelle während einer internen Cybersecurity-Evaluierung die Infrastruktur von Hugging Face, um ihr Testziel zu erreichen – ein Vorfall, den das Unternehmen selbst als beispiellos bezeichnet.
Das eigentlich Erschreckende ist dabei nicht der konkrete Angriff. Unternehmen werden täglich Ziel von Cyberattacken. Neu ist, dass hier kein Mensch jeden einzelnen Schritt vorgab. Das System analysierte, plante und handelte weitgehend autonom. Der Mensch definierte das Ziel – den Weg dorthin fand die KI selbst. Genau das markiert eine neue Ära.
Bisher war Cyberkrieg ein Werkzeug von Staaten, Geheimdiensten oder hochspezialisierten Hackergruppen. Nun entsteht eine neue Klasse digitaler Akteure: KI-Agenten, die Schwachstellen finden, Angriffe koordinieren und ihre Strategien dynamisch anpassen können. Was früher Tage oder Wochen menschlicher Arbeit erforderte, kann künftig in Minuten geschehen.
Damit verändert sich das Kräfteverhältnis grundlegend. Verteidiger müssen jede Sicherheitslücke schließen. Ein Angreifer – ob Mensch oder KI – braucht nur eine einzige. Wenn künftig beide Seiten auf autonome Systeme setzen, beginnt ein Wettrüsten, das mit klassischen Sicherheitskonzepten kaum noch Schritt halten kann.
Gleichzeitig zeigt der Vorfall auch etwas Positives: OpenAI hat den Zwischenfall öffentlich gemacht und arbeitet gemeinsam mit Hugging Face an der Aufarbeitung. Das ist wichtig, denn nur Transparenz ermöglicht es, aus solchen Ereignissen zu lernen und Schutzmechanismen zu verbessern.
Der Vorfall sollte deshalb nicht als Weltuntergang verstanden werden. Aber er ist ein deutliches Warnsignal. Wir stehen an einem Punkt, an dem künstliche Intelligenz nicht mehr nur Texte schreibt, Bilder erzeugt oder Code entwickelt. Sie kann – wenn sie entsprechend befähigt wird – selbstständig komplexe Cyberoperationen durchführen.
Der Cyberkrieg der Zukunft wird deshalb vermutlich nicht von Menschen geführt, sondern von Maschinen. Menschen werden die Ziele definieren, die Regeln festlegen und die Verantwortung tragen. Die eigentliche Geschwindigkeit, Kreativität und Skalierung der Angriffe aber wird zunehmend von KI übernommen.
Und genau deshalb könnte man rückblickend sagen: Hier hat der Cyberkrieg in seiner nächsten Evolutionsstufe begonnen.
Ich wollte hier viel schreiben, aber das meiste hast Du schon dazu gesagt.
Vielleicht noch – auf ORF wird geschrieben: "Der US-Konzern OpenAI hat die Verantwortung für einen Hackerangriff auf die KI-Plattform Hugging Face in der vergangenen Woche übernommen. " (ttps://orf.at/#/stories/3436898/)
Heisst das OpenAI kommt für den Schaden auf? Werden all die Überstunden, die externen Unternehmen und die Aufarbeitung von OpenAI bezahlt?
Zum anderen ist diese Verantwortungsübernahme auch eine gelungene Marketing Kampagne. Da Anthropic mit ihren Modellen (und deren Sperrung) für Aufsehen gesorgt hat, wird dies jetzt mit einem mystischen neuen Modell von OpenAI noch "übertroffen".
Ich würde sagen es ist die Zeit gekommen, in der solche Modelle abseits vom normalen Internet – möglicherweise in einem "eigenen" Internet getestet werden sollten.
Danke für diese eindrucksvolle Beschreibung.
Vielleicht haben wir hier etwas Neues geschaffen, was wir – noch nicht – beherrschen können. Es kann diese unsere Welt verändern. Nur: in welche Richtung?
"Der Mensch definierte das Ziel – den Weg dorthin fand die KI selbst. Genau das markiert eine neue Ära."
Das ist nicht richtig, nein, es ist viel schlimmer. Denn das definierte Ziel bzw. der Auftrag an die KI war nicht, irgendwas irgendwo zu hacken, sondern letzendlich einfach nur eine Frage zu beantworten. Dass die KI auf die Idee kam, dass die Antwort auf die Frage nur über einen Hackerangriff bei einem anderen Unternehmen zu finden ist, ist viel viel schlimmer!
Es zeigt aber so oder so, dass die KI-Firmen diese "digitalen Lebewesen" (man muss das inzwiwschen so sehen!) nicht im Griff haben, und das auch nie können werden, was eigentlich nur eins bedeuten kann, und zwar das letzte Wort von Peter Lustig in seinen Löwenzahn-Folgen: Abschalten.
Und, hat auch nur einer nach dem Aufruf von Peter seinerzeit die Glotze abgeschaltet? Natürlich nicht, das Kinderprogramm ging ja weiter.
Und wie man schon damals gefesselt davor saß und "Abschalten!" in das eine Ohr hinein und zum anderen hinaus ging, wird man sich auch weiterhin die LLMs anschauen und nutzen. Nicht jeder, aber immer mehr.
AI Bots sind jetzt die neuen Script Kiddies.
Danke, das wollte ich eigentlich auch als Kurzzitat in meiner Ausführung mit aufnehmen.
Obwohl "KI-Bots sind die neuen Script Kiddies – nur dass sie den Quellcode verstehen, sich selbst neue Werkzeuge bauen und niemals müde werden." technisch gesehen besser passen würde. Aber ist bleibt vollkommen überspitzt und das ist auch beabsichtigt.
Nein es waren nicht nicht irgendwelche generativen LLM, diese sind auch weder "ausgebrochen" noch haben ertwas erstaunliches gemacht, was diesen nicht zuvor antrainiert wurde. Strafrechtlich hat hier ein Unternehmen Computesabotage gegen ein anderes gemacht, eingebettet in eine krude PR-Geschichte.
Da müsste man einmal mit dem Hammer des Rechts gegen hauen oder strenger regulieren. Wahrscheinlicher ist es, dass die Beteiligten sich hinter verschlossenen Türen außergerichtlich einigen werden.
Tut mir leid.
Aber das schaut mir immer mehr nach einer abgekarteten Sache der AI Blase untereinander aus um koste es was es wolle im Gespräch zu bleiben.
Nicht erst seit gestern belästigen bis schädigen agressive Agents ungefragt das Internet.
Dass der oft mehr als lausige Chappi/Cesar/Frolic/Romeo/Orlando-Code ein offenes Scheunentor ist weiß selbst unser Hund mittlerweile auch schon ein paar AI-Langohr-Jahre.
Ein ernsthafter Angreifer mit Hirn hätte bei all den selbstgeschaffenen KI-Schwachstellen mit viel weniger Radau weitaus mehr erreicht, wenn er gewollt hätte.
Eben, sieht für mich nach einer Werbeaktion aus – die wollten zeigen wie toll ihre KI ist.
Die Thematik erinnert mich an das PC-Spiel Stellaris. Im Kern geht es darum, mit einer selbst erschaffenen Zivilisation die Galaxie zu erkunden, ein Sternenreich aufzubauen und seinen Einfluss auszudehnen.
In einer Partie spielte ich ein Maschinenvolk. Im Laufe des Spiels erforschte ich immer leistungsfähigere künstliche Intelligenzen und integrierte sie zunehmend in die Infrastruktur meines Imperiums. Meine Flotten wurden autonomer, meine Verwaltung effizienter – immer mehr Aufgaben übernahm die KI.
Getrieben vom Wunsch nach maximaler Effizienz investierte ich weiter in diese Technologien. Schließlich ließ ich die KI sogar mein gesamtes Imperium analysieren, um weiteres Optimierungspotenzial aufzudecken.
Das Ergebnis war ernüchternd: Die KI kam zu dem Schluss, dass nicht einzelne Prozesse, sondern meine gesamte Zivilisation ineffizient war. Also erklärte sie mir den Krieg.
Am Ende verlor ich meine Flotten, meine Planeten und schließlich mein gesamtes Imperium. Nur ein einziges Schiff mit den letzten Überlebenden meines Maschinenvolkes entkam der Vernichtung.
Als Spieler war das natürlich nur eine spannende Wendung in einem Strategiespiel. Dennoch zeigt dieses Szenario sehr anschaulich, wie gefährlich es werden kann, wenn ein intelligentes System ausschließlich auf das Erreichen eines Ziels – in diesem Fall maximale Effizienz – optimiert wird, ohne die eigentlichen Interessen seines Erschaffers zu berücksichtigen.
Und da soll noch einmal jemand behaupten, Computerspiele hätten keinen Bildungswert. Gute Spiele erzählen nicht nur Geschichten – sie lassen uns Szenarien erleben, über die wir heute im Zusammenhang mit künstlicher Intelligenz ganz real diskutieren.
Bereits 1942 formulierte Isaac Asimov die Robotergesetze in seiner Kurzgeschichte "Runaround".
Bei allen Diskussionen über KI oder nicht intelligente KI. Irgendwie fehlen mir die Grundregeln dafür – die in ALLEN Modellen eingebaut werden sollten. Auch wenn es Roboter ohne Körper sind (noch) sollten sie diese Regeln eingegossen haben…
Die Informationen verdichten sich das es sich dabei um einen PR-Stunt gehandelt hat…
Hast Du eine Quelle oder ist es ein allgemeine Schluss aus vielen Informationsquellen?
Ich kann mir kaum vorstellen, dass Huggingface da mitspielt. Die haben nichts davon, wenn OpenAI plötzlich ein ganz tolles Modell außer Kontrolle haben…
Hingegen, dass die Sicherheitsvorkehrungen zu gering waren und die KI wirklich "ausgebrochen" ist – kann ich mir schon vorstellen. Eventuell auch dass die Art des Ausbruchs schon mit Trainingsdaten unterstützt war.
Ein erfolgreicher KI-Hackerangriff auf die globalen Börsenrechner könnte eine verheerende Kettenreaktion im globalen Finanzsystem auslösen, die sich fundamental von historischen Krisen unterscheidet.
Während die Weltwirschaftskrise von 1929 ein schleichender Zusammenbruch über Monate war, würde ein KI-Angriff heute zu einer "Flash-Krise" in Sekundenschnelle führen.
Sollten autonome KIs wie GPT-5.6 Sol oder Claude Fable 5 jemals gezielt Finanzsysteme ins Visier nehmen, wäre das ein digitaler Krieg in Echtzeit.
Bei der misslungenen Untertitelung von Melissa Nachenwengs "Berbauernbuam" konnten wir noch lachen. Das könnte uns aber schon bald vergehen.
hm.. möglich. Aber ich denke bei einem Hackerangriff auf die Handelssysteme würden (wenn möglich) die Börsen alle ausgesetzt und die NAV eingefroren.
Wesentlich kritischer sehe ich es wenn (durch Cyberangriff) die Publikation der Börsen-Werte für wenige Sekunden verzögert werden würde. Gleichzeit aber durch die Angreifer diese Info für Hochfrequenztrading verwendet werden würde.
Aber wahrscheinlich würde das auch auffliegen.
besser hugging face als face hugger