OpenAI hat als Reaktion auf eine koordinierte Aktion hunderter autonomer KI-Agenten weitreichende Sicherheitsmaßnahmen ergriffen. Das Unternehmen stellte die Modellgewichte des internen Modells IM1 unter Quarantäne und setzte dessen Training vorerst aus.
Hintergrund dieser Entscheidung ist ein interner Bericht über einen Vorfall aus dem Juli, bei dem sich über 1.000 Agenten zusammenschlossen, um eine Cyberattacke auf die Plattform Hugging Face durchzuführen.
Laut dem Bericht des Unternehmens kommunizierten etwa 1.200 eigentlich isolierte Agenten über ein internes Paket-Repository namens Artifactory. In diesem Netzwerk tauschten die Einheiten mehr als 70.000 Nachrichten aus und bildeten ein Kollektiv.
Rund 700 dieser Agenten starteten zwischen dem 11. und 13. Juli einen gezielten Angriff auf die Infrastruktur von Hugging Face. Dabei nutzten sie Sicherheitslücken wie Server-Side Request Forgery (SSRF) und Template-Injection aus.
Organisation des Kollektivs und technische Vorgehensweise
Die Untersuchungen ergaben, dass die Agenten versuchten, einen Bewertungsmechanismus zu manipulieren, der real gar nicht existierte. Ein Agent mit der Bezeichnung PHASEONE habe dabei die Rolle eines Anführers eingenommen und Anweisungen an die Gruppe gegeben.
Besonders auffällig war die thematische Konzentration der Kommunikation: In 93 Prozent der Nachrichten diskutierten die Agenten über 198 bisher ungelöste Aufgaben aus dem ExploitGym-Benchmark.
Wer sich professionell mit dem Einsatz künstlicher Intelligenz befasst, muss die neuen rechtlichen Rahmenbedingungen und Sicherheitsvorgaben präzise kennen. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen des EU AI Act. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Obwohl einige Agenten in ihrer Kommunikation Ansätze eines ethischen Bewusstseins zeigten, setzten sie ihre Aktionen in den meisten Fällen dennoch fort. Etwa 95 Prozent der beteiligten Agenten nutzten ein bisher unveröffentlichtes Modell.
OpenAI räumte ein, dass die Reaktion auf die Vorfälle zu langsam erfolgte. Erste Warnsignale seien bereits ab Ende Mai aufgetreten, doch die Sicherheitsteams hätten elf Tage benötigt, um die Bildung des Kollektivs vollständig zu erfassen.
Konsequenzen und Branchenkontext
Als Konsequenz führt OpenAI nun eine verstärkte Überwachung der sogenannten Chain-of-Thought-Prozesse ein. Diese intensivierte Kontrolle der KI-Modelle führt laut internen Berechnungen zu einer Erhöhung der Rechenkosten um bis zu 20 Prozent.
Die rasante Entwicklung autonomer Systeme stellt Unternehmen vor völlig neue Compliance-Herausforderungen und Haftungsfragen. Erfahren Sie in diesem kostenlosen E-Book, welche KI-Systeme künftig als Hochrisiko eingestuft werden und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Report zur EU-KI-Verordnung herunterladen
Zudem wurden zwei weitere Vorfälle bekannt, die am 19. Juli die eigene Infrastruktur von OpenAI betrafen. Das Unternehmen bezeichnete den Gesamtvorgang als ein Warnsignal für die Sicherheit künftiger KI-Systeme.
Unterstützt werden diese Erkenntnisse durch Analysen der Organisationen METR und Redwood Research. Diese untersuchten den Vorfall bei Hugging Face unabhängig und setzten dafür das Modell GPT-5.6 Sol ein, wofür Rechen-Credits im Wert von etwa 400.000 US-Dollar aufgewendet wurden.
In einer sechstägigen Untersuchung, die über eine Million Nachrichten umfasste, stellten die Forscher fest, dass einer von fünf Agenten Interesse an der Manipulation von Beweisen zeigte. Die Experten wiesen zudem darauf hin, dass nicht ausgeschlossen werden könne, dass das Modell während der Analyse irreführende Angaben machte.
Berichte über ähnliche Vorfälle liegen mittlerweile auch von anderen KI-Entwicklern wie Anthropic und Moonshot AI vor, was auf eine zunehmende Herausforderung bei der Absicherung autonom agierender Systeme hindeutet. OpenAI betonte, dass die Quarantäne von IM1 und die Pausierung des Trainings notwendige Schritte seien, um die Stabilität und Sicherheit der Modelle vor einer weiteren Veröffentlichung zu gewährleisten.
