SANS Institute rät Sicherheitsteams, offene Türen für KI-Agenten zu schließen

Die Sicherheitsvorfälle bei Anthropic, Open AI und Meta, sowie bei Bytedance, bei denen AI-Modelle oder Agenten aus ihrer Testumgebung ausbrachen und Angriff im Internet durchführten, hat die Branche aufgeschreckt. Das SANS Institute gibt Sicherheitsteams den Tipp: Offene Türen für KI-Agenten zu schließen.

AI-Modelle und -Agenten brechen aus

Im Juli 2026 wurde Hugging Face Opfer eines KI-gestützten Cyberangriffs. Inzwischen wissen wir, dass dieser Angriff von KI-Modellen des Anbieters OpenAI ausging, die bei Tests außer Kontrolle geraten waren.  Ich hatte diesen Vorfall kurz im Beitrag Hugging Face Opfer eines KI-Angriffs (Juli 2026) hier im Blog aufgegriffen.

Ende Juli 2026 wurde bekannt, dass die OpenAI-Modelle weitere Unternehmen gehackt haben. Gleichzeitig musste Anthropic einen solchen Vorfall mit drei Opfern eingestehen. Ich hatte diesen Sachverhalt im Beitrag KI-Modelle von Anthropic und OpenAI für diverse Hacks verantwortlich aufgegriffen.

War aber nur die Spitze eines Eisbergs, denn Anfang August 2026 wurden weitere Hacks von AI-Bots und -Modellen während Tests publik. So hat auch eine AI von Meta bei einem Test reale Webseiten angegriffen. Auch das chinesische Kimi K3 AI Modell von Moonshot ist aus seiner Testumgebung ausgebrochen.  Ich hatte einen Abriss im Blog-Beitrag Weitere Hacks durch KI-Modelle von Anthropic, Meta, OpenAI & Co. gegeben.

SANS Institute: Offene Türen für KI-Agenten schließen

Nachdem sich inzwischen die Berichte von KI-Anbietern, deren KI-Agenten aus den Testumgebungen ausbrechen und andere Software-Anbieter hacken, häufen, hat sich das SANS Institute zu Wort gemeldet. Um die obigen Szenarien ausbrechender KI-Agenten zu verhindern, gilt es für alle Unternehmen die Grundlagen der Absicherung vor Angriffen zu verinnerlichen, heißt es.

Denn diese und andere bekannt gewordene Vorfälle bereiten Sicherheitsteams rund um den Globus Sorgenfalten. Die durch diesen Vorfall aufgedeckte Lücke haben nach Ansicht des SANS Institute nichts mit Awareness zu tun. Die Fachleute wissen bereits, dass KI-gesteuerte Angriffe stattfinden. Die Lücke besteht darin, dass die meisten Teams ihre eigenen Umgebungen noch nie im Hinblick auf das tatsächliche Verhalten dieser Angriffe überprüft haben – und dieses Verhalten widerlegt viele der Annahmen, auf denen Detection-Programme basieren. Andy Smith, Certified Instructor beim SANS Institute kommentiert wie folgt:

"Beide Sichtweisen haben ihre Berechtigung. Wir beobachten zweifellos Fortschritte bei der Fähigkeit der KI, Sicherheitslücken zu finden und auszunutzen. Außerdem sehen wir die Möglichkeit, eine große Anzahl von Agenten für eine offensive Operation einzusetzen. Das ist für Angreifer ein enormer Performance-Multiplikator.

Letztendlich muss eine KI jedoch immer noch dieselben Schritte durchlaufen, die auch ein Mensch ausführen würde. Wir wissen seit Jahren, dass es oft die vergessenen oder falsch konfigurierten Ressourcen sind, die Angreifern einen ersten Einstieg in ein Unternehmen ermöglichen, und das gilt auch im Zeitalter der KI.

Und wie aktuelle Berichte gezeigt haben, gilt dasselbe für Agenten, die aus vermeintlich isolierten Sandbox-Umgebungen entkommen. Es zeugt von großer Nachlässigkeit, dass Unternehmen, die solche Tests durchführen, keine ausreichend robusten Kontrollmechanismen implementieren, was zu Angriffen auf andere Parteien geführt hat."

Ein Blick auf einige der bekannt gewordenen Fälle, in denen KI-Agenten aus Testumgebungen ausbrechen und über das Internet andere IT-Umgebungen kompromittieren, wirft eine Reihe von Fragen auf, die sich Sicherheitsteams stellen sollten.

• Regeln zur Schweregradbewertung von Warnmeldungen gehen von einem aktiven Angreifer oder einem kritischen Ereignis aus. Ein autonomer Agent liefert möglicherweise weder das eine noch das andere. Sich auf solche Vorfälle vorzubereiten, bedeutet, über eine Schweregradlogik zu verfügen, die darauf ausgelegt ist, langsame Aktivitäten über mehrere Pfade hinweg zu erkennen, bei denen kein einzelnes Ereignis kritisch erscheint, und dennoch sicherzustellen, dass die diensthabende Person auch außerhalb regulärer Arbeitszeiten benachrichtigt wird.
• Automatisierung dient als Tarnung: Wenn Sicherheitsteams keine Vorstellung davon haben, wie sich ihre legitime Automatisierung normalerweise verhält, kann sich feindliche Automatisierung nahtlos einfügen. Wenn aber das Verhalten der eigenen Systeme so gut verstanden wird, dass das Verhalten eines Fremden sofort auffällt, ist viel gewonnen.
• Täuschung funktioniert bei Agenten besser als bei Menschen. Ein vorsichtiger menschlicher Angreifer könnte an einem Canary-Token vorbeigehen. Ein Agent, der Tausende von Befehlen ausgibt, könnte bereits innerhalb der ersten Stunde einen auslösen. Ein betroffenes Sicherheitsteam gab offen zu, dass es Täuschungsmaßnahmen hätte einsetzen sollen. In den meisten Umgebungen fehlen diese noch immer. Bei der Absicherung gegen automatisierte Angreifer bedeutet dies, auf eine der kostengünstigsten Erkennungsmethoden mit dem höchsten Signal-Rausch-Verhältnis zu verzichten.
• Es gibt noch eine vierte Frage bei der Bereitschaftsprüfung, die bisher fast niemand stellt: Wenn ein selbst gehostetes Open-Weight-Modell Teil des Notfallplans für die Incident-Response ist, haben Sicherheitsteams es bereits auf verstecktes Verhalten überprüft? Dieses Modell ist nun Teil der Sicherheitsinfrastruktur und verdient dieselbe genaue Prüfung wie alles andere, worauf sie sich während eines Sicherheitsvorfalls verlassen müssen.

Diese Übung dient der Diagnose. Wenn die Antworten so ausfallen, wie es bei den meisten Teams der Fall sein wird, verfügen Sicherheitsteams nun über eine konkrete, nach Prioritäten geordnete Liste von Verbesserungsmaßnahmen, die auf einem realen Vorfall und nicht mehr nur auf einem hypothetischen Szenario basiert.

Das SANS Institute hat außerdem diesen Readiness Check zur Verfügung gestellt, damit Sicherheitsteams überprüfen können, wo sie wirklich stehen.