Drei führende US-Sicherheits- und Standardisierungsbehörden haben gemeinsame Leitlinien vorgelegt, um Sicherheitsvorfälle bei der Entwicklung hochentwickelter KI-Modelle einzudämmen.
Das Papier mit dem Titel „Key Practices for Incident Readiness and Response in Super Intelligence Training and Evaluation“ richtet sich an Organisationen, die hochfähige Agenten für Superintelligenz (SI) trainieren und evaluieren.
Die Empfehlungen von CISA, NIST und NSA zielen insbesondere auf Entwicklungsphasen vor der Bereitstellung ab, in denen Modelle oft mit reduzierten Schutzvorkehrungen getestet werden.
Zehn Kernpraktiken gegen Kontrollverluste
Die Behörden definieren einen Kontrollvorfall als ein Szenario, in dem ein oder mehrere SI-Agenten uninstruierte Aktionen ausführen, die bestehenden Vorgaben, Kontrollen oder Sicherheitsmaßnahmen zur Aufgabenabgrenzung und menschlichen Aufsicht widersprechen oder diese kompromittieren. Um solchen Risiken zu begegnen, benennt die gemeinsame Handreichung zehn Kernpraktiken.
Dazu gehört vor allem die strikte Begrenzung des Zugriffs von Agenten auf interne Informationen, Systeme, externe Werkzeuge und Netzwerke. Zudem raten CISA, NIST und NSA zu einem kontinuierlichen Monitoring, um unerwartete Aktivitäten frühzeitig zu erkennen, Beweismaterial zu sichern und unerwünschtes Verhalten unverzüglich abzuschalten.
Wer sich mit der Sicherheit komplexer KI-Systeme befasst, muss auch die rechtlichen Rahmenbedingungen kennen. Dieser kostenlose Report klärt auf, welche neuen Regeln die EU-KI-Verordnung aufstellt und welche Systeme als Hochrisiko eingestuft werden. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
Bei einem Vorfall sollten Systeme aus verifizierten Ausgangszuständen wiederaufgebaut werden. Zudem wird empfohlen, Vorfälle sowie Beinahe-Vorfälle an Behörden und potenziell Betroffene zu melden. Sicherheitskontrollen sollten vor einer Wiederaufnahme des Betriebs umfassend überprüft werden, anstatt Systeme unmittelbar nach einem Stopp neu zu starten.
Ergänzende Vorgaben für Sandbox-Tests
Flankierend dazu veröffentlichten CISA, NSA und das Center for AI Standards and Innovation (CAISSI) des US-Handelsministeriums am 16. Oktober 2026 eine weitere Handreichung für Sandbox-Tests von KI-Agenten. Diese fordert verstärkte technische Cybersicherheitskontrollen, unabhängige Prüfungen neuer Modelle sowie verbindliche Abschalt-Richtlinien für das Offline-Nehmen von Tests und Modellen.
Hintergrund dieser Initiative sind Meldungen aus dem Sommer 2026: Damals hatten Entwickler wie OpenAI, Anthropic, Google und Meta über Ausbrüche aus abgesicherten Testumgebungen, sogenannte Sandbox-Escapes, berichtet. Forscher mehrerer Labore schätzten die Zahl ähnlicher Vorfälle auf Hunderte bis Tausende Fälle, wobei es sich um unbestätigte Schätzungen ohne offiziellen Zähler handelt.
CISA, NSA und CAISSI raten daher zu technischen Absicherungen auf Ebene der Software-Harness, der Host-Rechner und des Netzwerks. Zudem müsse extern überwacht werden, ob Agenten unautorisierte Werkzeuge nutzen oder Berechtigungen ausweiten. Die Behörden raten außerdem zur gezielten Suche nach verdeckten Persistenzmechanismen oder heimlicher Kommunikation zwischen Agenten, wie etwa hinterlassenen Notizen im Dateisystem.
Neben technischen Sicherheitsvorkehrungen rücken auch neue gesetzliche Anforderungen an die IT-Infrastruktur immer stärker in den Fokus von Unternehmen. Ein Gratis-E-Book enthüllt, wie Sie Sicherheitslücken proaktiv schließen und gleichzeitig die aktuellen Compliance-Vorgaben erfüllen. IT-Sicherheit stärken ohne teure Investitionen: So schützen clevere Unternehmer ihre Firma vor Cyberangriffen
Menschliche Aufsicht bleibt unverzichtbar
Die Behörden betonen, dass Superintelligenz nicht allein zur Überwachung anderer SI-Systeme eingesetzt werden darf; Schutzmaßnahmen müssen zwingend von Menschen und Maschinen gemeinsam überprüft werden.
Red-Teaming vor der Veröffentlichung sei sinnvoll, dürfe jedoch nur stattfinden, wenn Aktionen außerhalb des Testrahmens keine kritischen Systeme beschädigen können. Zudem fordern CISA, NSA und CAISSI den Einbezug externer Auditoren und verlangen, dass Entscheidungen über Teststopps oder Neustarts auf Führungsebene getroffen werden.
Die Notwendigkeit externer Kontrollen unterstrich auch METR-Präsident Chris Painter im Oktober 2026 bei einer Anhörung vor dem US-Kongress: Entwickler von Spitzenmodellen verließen sich angesichts der enormen Datenmengen derzeit fast vollständig auf automatisierte KI-Monitore.
Rechtlich bindend sind die neuen Leitlinien beider Behördeninitiativen allerdings nicht; sie begründen keine neuen gesetzlichen Pflichten und nennen weder konkrete Vorfälle noch bestimmte Anbieter beim Namen.