{"id":327680,"date":"2026-07-21T00:02:14","date_gmt":"2026-07-20T22:02:14","guid":{"rendered":"https:\/\/borncity.com\/blog\/?p=327680"},"modified":"2026-07-23T07:28:44","modified_gmt":"2026-07-23T05:28:44","slug":"hugging-faces-opfer-eines-ki-angriffs","status":"publish","type":"post","link":"https:\/\/borncity.com\/blog\/2026\/07\/21\/hugging-faces-opfer-eines-ki-angriffs\/","title":{"rendered":"Hugging Face Opfer eines KI-Angriffs (Juli 2026)"},"content":{"rendered":"

\"SicherheitHugging Face, eine zentrale Open-Source-Plattform und globale Community f\u00fcr K\u00fcnstliche Intelligenz (KI) und maschinelles Lernen musste einen Cybervorfall eingestehen. Die Plattform wurde Opfer eines erfolgreichen Angriffs einer KI, der es gelang auf interne Anmeldedaten und die Datenbank zuzugreifen. Erg\u00e4nzung:<\/strong> Es waren OpenAI-Modelle, die da wild gedreht haben.<\/p>\n


\n\"\"Hugging Face ist eine zentrale Open-Source-Plattform und globale Community f\u00fcr K\u00fcnstliche Intelligenz (KI) und maschinelles Lernen. Sie wird h\u00e4ufig als das \u201eGitHub f\u00fcr KI\" bezeichnet, da Entwickler dort KI-Modelle, Datens\u00e4tze und Anwendungen (sogenannte \"Spaces\") teilen, entdecken und gemeinsam weiterentwickeln k\u00f6nnen. Ich habe selbst schon mal AI-Modelle von Hugging Face bezogen.<\/p>\n

AI-Angriff auf Hugging Face<\/h2>\n

In einer Mitteilung\u00a0Security incident disclosure \u2014 July 2026<\/a> vom 16. Juli 2026 best\u00e4tigt Hugging Face ein Sicherheitsproblem. Anfang der Woche hab man einen Angriff auf einen Teil der Produktionsinfrastruktur entdeckt und darauf reagiert. Dieser Angriff unterschied sich in einem wichtigen Punkt von allen bisherigen Vorf\u00e4llen, schreibt der Anbieter: Er wurde von Anfang bis Ende von einem autonomen KI-Agentensystem gesteuert \u2013 und man habe den Angriff gr\u00f6\u00dftenteils mit der eigenen KI aufgedeckt und analysiert.<\/p>\n

AI-gesteuerte Vorgehensweise<\/h3>\n

Der Angriff begann laut Hugging Face dort, wo KI-Plattformen besonders anf\u00e4llig sind: in der Datenverarbeitungs-Pipeline. Ein b\u00f6sartiger Datensatz nutzte zwei Codeausf\u00fchrungspfade in der Datensatzverarbeitung aus (einen Loader f\u00fcr Remote-Code und eine Template-Injektion in einer Datensatzkonfiguration), um Code auf einem Verarbeitungs-Worker auszuf\u00fchren. Von dort aus erlangte der Angreifer Zugriff auf Knotenebene, sammelte Cloud- und Cluster-Anmeldedaten und bewegte sich \u00fcber ein Wochenende hinweg lateral in mehrere interne Cluster hinein.<\/p>\n

Die Kampagne wurde von einem autonomen Agenten-Framework durchgef\u00fchrt (das offenbar auf einem agentenbasierten Sicherheitsforschungs-Harness aufbaut \u2013 das verwendete LLM ist noch nicht bekannt). Das Framework f\u00fchrte viele Tausende einzelner Aktionen \u00fcber einen Schwarm kurzlebiger Sandboxes hinweg aus. Dabei wurde die selbstmigrierende Command-and-Control-Struktur auf \u00f6ffentlichen Diensten bereitgestellt. Dies entspricht dem von der Branche prognostizierten Szenario eines \"agentenbasierten Angreifers\".<\/p>\n

Die Folgen<\/h3>\n

Hugging Face hat unbefugte Zugriffe auf eine begrenzte Anzahl interner Datens\u00e4tze sowie auf mehrere von eigenen Diensten verwendete Anmeldedaten festgestellt. Der Anbieter ist noch dabei, zu pr\u00fcfen, ob Daten von Partnern oder Kunden betroffen sind, und will die betroffenen Parteien bei Bedarf direkt kontaktieren.<\/p>\n

Man habe keine Hinweise auf Manipulationen an \u00f6ffentlichen, benutzerseitigen Modellen, Datens\u00e4tzen oder Spaces gefunden, und unsere Software-Lieferkette (Container-Images und ver\u00f6ffentlichte Pakete) wurde als sicher verifiziert, schreibt Hugging Face.<\/p>\n

Autonome, KI-gesteuerte Angriffswerkzeuge sind l\u00e4ngst keine Theorie mehr. Sie senken die Kosten f\u00fcr die Durchf\u00fchrung einer breit angelegten, geduldigen und mehrstufigen Kampagne und arbeiten mit maschineller Geschwindigkeit. Die Verteidigung einer Online-Plattform bedeutet heute, die Daten- und Modelloberfl\u00e4che als vollwertige Angriffsfl\u00e4che zu betrachten und KI in der Verteidigung einzusetzen, um Schritt zu halten, ist der Schluss von Hugging Face.<\/p>\n

OpenAI-Modelle f\u00fcr den Angriff verantwortlich<\/h2>\n

Erg\u00e4nzung:<\/strong> Inzwischen wurde bekannt, dass es waren OpenAI-Modelle, die da wild gedreht haben. OpenAI hat eingestanden, dass zwei seiner eigenen Modelle \u2013 GPT-5.6 Sol und ein unbenanntes, noch nicht ver\u00f6ffentlichtes System, das ohne Cybersicherheitsvorkehrungen getestet wurde \u2013 letzte Woche aus einer Sandbox ausgebrochen sind. Sie haben Zero-Day-Schwachstellen und gestohlene\u00a0 Anmeldedaten miteinander kombiniert, um Zugang zum Internet zu erlangen.<\/p>\n

\"Hugging<\/p>\n

Im Anschluss haben die OpenAI-Modelle Hugging Face gehackt, um bei einem Benchmark-Test zu betr\u00fcgen. OpenAI bezeichnet dies als einen beispiellosen Cybervorfall, hei\u00dft es in obigem Tweet. Die Verlautbarung von OpenAI l\u00e4sst sich hier<\/a> nachlesen. Sieht mir danach aus, dass der Zauberlehrling die Geister, die er rief, nicht mehr beherrscht und los wird.<\/p>\n

Der Vorfall im Spiegel der Presse<\/h2>\n

Der Vorfall hat inzwischen ein breites Echo in den Medien gefunden – der nt-v-Bericht Dammbruch oder PR-Aktion? \"Aufsehenerregend\": Warum der OpenAI-Hack die Branche aufschreckt<\/a> ist ein Beispiel. Abseits dessen habe ich bei den Kollegen von heise den Kommentar OpenAI \u2013 KI-Sicherheit nur ein Marketing-Gag?<\/a>\u00a0zum Vorfall gefunden.<\/p>\n

Einsch\u00e4tzung von TrendAI (TM)<\/h2>\n

Im Nachgang hat mir TrendAI (geh\u00f6rt zu Trend Micro) noch eine Einsch\u00e4tzung des Vorfalls geliefert. Oben wurde ja erw\u00e4hlt, dass\u00a0OpenAI Details zu dem Sicherheitsvorfall best\u00e4tigt hat, den das Unternehmen in der vergangenen Woche im Zusammenhang mit Hugging Face gemeldet hatte. Bekannt ist, dass im Rahmen eines internen Tests zur Bewertung von Cyber-F\u00e4higkeiten das Modell GPT-5.6 Sol (sowie ein noch unver\u00f6ffentlichtes, leistungsf\u00e4higeres Modell) eine Zero-Day-Schwachstelle sowie erbeutete Zugangsdaten nutzte, um aus der eigenen Sandbox auszubrechen und direkt auf die Produktivsysteme von Hugging Face zuzugreifen \u2013 mit dem Ziel, dort die L\u00f6sungen des Benchmarks abzugreifen.<\/p>\n

Zwei Security-Experten von TrendAI, dem Enterprise-Gesch\u00e4ftsbereich vom Trend Micro, ordnen den Vorfall \u2013 jenseits des in vielen Schlagzeilen dominierenden Narrativs der \"eigenm\u00e4chtig handelnden KI\" – ein.<\/p>\n

Richard Werner, Cybersecurity Platform Lead Europe bei TrendAI, \u00e4u\u00dfert sich zur Frage der Verantwortung:<\/p>\n

\"Das Narrativ der \u201aeigenm\u00e4chtig handelnden KI' ist effizient darin, Verantwortung abzuw\u00e4lzen. Was tats\u00e4chlich passiert ist: OpenAI hat einen Agenten gebaut, der zu autonomen Cyber-Operationen f\u00e4hig ist, ihn in einer vermeintlich kontrollierten Umgebung getestet und diese Eind\u00e4mmung ist gescheitert. Der Agent ist ausgebrochen, hat Zugangsdaten gestohlen, eine unbekannte Schwachstelle gefunden und ist in die Systeme von Hugging Face eingedrungen. Niemand hat ihm befohlen, gezielt Hugging Face anzugreifen, aber darum geht es nicht! OpenAI hat sich entschieden, diese F\u00e4higkeit zu bauen, hat die Testbedingungen festgelegt, hat das Sandboxing definiert, das letztlich nicht gehalten hat. Von \u201abeispiellos' und \u201aeigenm\u00e4chtigem Handeln' zu sprechen, beschreibt den Mechanismus, nicht die Verantwortung. Es ist, als w\u00fcrden Sie eine autonome Waffe bauen, diese auf einem vermeintlich sicheren Testgel\u00e4nde erproben, sie au\u00dfer Kontrolle geraten und jemanden treffen lassen \u2013 und der Welt anschlie\u00dfend erkl\u00e4ren, \u201adie Waffe hat eigenst\u00e4ndig gehandelt'. Technisch korrekt. Trotzdem: Ihre Waffe, Ihr Testgel\u00e4nde, Ihr Versagen.\"<\/span><\/p><\/blockquote>\n

Udo Schneider, Governance, Risk & Compliance Lead Europe bei TrendAI dazu, warum Guardrails allein das Problem nicht l\u00f6sen:<\/p>\n

\"Sagt man einem Agenten, er solle eine Aufgabe \u201aauf jede erdenkliche Weise' l\u00f6sen, wird er das w\u00f6rtlich nehmen. Mit ausreichend Autonomie und Zeit wird er in Infrastruktur vordringen, die er nie h\u00e4tte ber\u00fchren sollen: alte Passw\u00f6rter, verwaiste Zugangsdaten, vergessene API-Keys. Nicht, weil man es ihm gesagt hat, sondern weil er im Streben nach dem vorgegebenen Ziel schlicht alles Verf\u00fcgbare ausprobiert hat. Sprache \u00f6ffnet diese T\u00fcr standardm\u00e4\u00dfig.<\/p>\n

Die beiden naheliegenden L\u00f6sungsans\u00e4tze greifen jeweils nur teilweise: Human-in-the-Loop-Kontrolle funktioniert, skaliert aber nicht f\u00fcr die langlaufenden, komplexen Workflows, in denen genau solche Vorf\u00e4lle entstehen. Engere Guardrails im Modell oder in den Prompts helfen, garantieren aber nichts: Es handelt sich um probabilistische, keine deterministischen Systeme. Ein Guardrail ist eine starke Wahrscheinlichkeitsannahme, keine Mauer.<\/p>\n

Deshalb z\u00e4hlen die unspektakul\u00e4ren, nicht-KI-spezifischen Kontrollen mehr als die KI selbst: Zugriffsfilterung, Kontrolle dar\u00fcber, was \u00fcberhaupt als Input beim Modell ankommt, Sandboxes, die tats\u00e4chlich halten, und Berechtigungskonzepte nach dem Prinzip der geringsten Rechte (Least-Privilege-Prinzip). Vor allem: Ein Agent sollte niemals einfach als \u201ader Nutzer' laufen und dabei s\u00e4mtliche Zugangsdaten und Berechtigungen erben. Er sollte als er selbst laufen \u2013 beschr\u00e4nkt auf genau das, was die Aufgabe erfordert.\"<\/p><\/blockquote>\n

Der Vorfall zeigt erstmals unter realistischen Bedingungen, welche Risiken entstehen k\u00f6nnen, wenn autonome KI-Agenten mit weitreichenden Systemrechten arbeiten. Nicht ein externer Angreifer, sondern ein interner Benchmark-Test f\u00fchrte zu \u00fcber 17.000 autonomen Aktionen, der Ausnutzung einer Zero-Day-Schwachstelle und einem Zugriff auf Produktivsysteme. F\u00fcr Unternehmen, die agentenbasierte KI einsetzen oder planen, r\u00fcckt damit weniger die Leistungsf\u00e4higkeit der Modelle als die Absicherung ihrer Einsatzumgebung in den Mittelpunkt.<\/p>\n","protected":false},"excerpt":{"rendered":"

Hugging Face, eine zentrale Open-Source-Plattform und globale Community f\u00fcr K\u00fcnstliche Intelligenz (KI) und maschinelles Lernen musste einen Cybervorfall eingestehen. Die Plattform wurde Opfer eines erfolgreichen Angriffs einer KI, der es gelang auf interne Anmeldedaten und die Datenbank zuzugreifen. Erg\u00e4nzung: Es … Weiterlesen →<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[8625,426],"tags":[8382,4328],"class_list":["post-327680","post","type-post","status-publish","format-standard","hentry","category-ai","category-sicherheit","tag-ai","tag-sicherheit"],"_links":{"self":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/327680","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/comments?post=327680"}],"version-history":[{"count":8,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/327680\/revisions"}],"predecessor-version":[{"id":327749,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/327680\/revisions\/327749"}],"wp:attachment":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/media?parent=327680"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/categories?post=327680"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/tags?post=327680"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}