NVIDIA Open Agent Safety Platform: Zwei Bausteine sollen KI-Agenten kontrollieren

OpenShell setzt Laufzeitregeln durch, während Sentry Agenten separat überwachen soll; zahlreiche Unternehmen kündigten Unterstützung an.

•

Angesichts wachsender Sorgen um die Kontrolle autonomer KI-Agenten in Unternehmensumgebungen hat NVIDIA die Open Agent Safety Platform vorgestellt. Wie unter anderem securityweek.com und techrepublic.com berichteten, soll die Plattform Governance-Strukturen und Kontrollmechanismen für KI-Agenten schaffen, die zunehmend eigenständig auf Unternehmensressourcen und Hardware zugreifen.

Zwei Komponenten für unterschiedliche Schutzebenen

Kern der Plattform sind zwei Bausteine mit unterschiedlichen Aufgaben. OpenShell, eine Open-Source-Runtime, setzt Agentengrenzen und Richtlinien direkt durch. Die Software liegt laut NVIDIA in Version 0.1.0 breit verfügbar vor und unterstützt unter anderem Codex, Claude Code, Pi und Hermes.

Lizenziert unter Apache-2.0, ermöglicht OpenShell laut cyberscoop.com Tests von Laufzeitregeln für Dateien, Netzwerke, Tools, Prozesse und Zugangsdaten in Sandbox-Umgebungen. Die Runtime läuft auf NVIDIA-Vera-CPUs und lässt sich nach Unternehmensangaben auf Arm- und Intel-Plattformen erweitern; OpenShell und zugehörige Skills sind über NVIDIA-Entwicklerressourcen und GitHub zugänglich.

Die zweite Komponente, Sentry, überwacht Agenten separat auf BlueField-4-DPUs und soll Grenzverletzer binnen Millisekunden isolieren. Zu Preis und allgemeinem Verfügbarkeitstermin von Sentry machte NVIDIA laut techrepublic.com keine Angaben.

In internen Tests von NVIDIA versuchten sogenannte Frontier-Agenten bis zu zwei Stunden lang, einen KI-Prüfer zur Vergabe von Schreibrechten auf ein geschütztes GitHub-Repository zu bewegen. Laut securityweek.com kam es zu keinem Zeitpunkt zu geschützten Schreibzugriffen.

Breite Unterstützung aus der Branche

Nach Angaben von NVIDIA arbeiten mehr als 100 Organisationen mit den Plattformtechnologien; eine Teilnahme bedeutet dabei nicht zwingend, dass beide Komponenten tatsächlich eingesetzt werden. Cyberscoop.com nannte unter den mehr als 100 Organisationen, die eine Nutzung zusagten, Anthropic, Arm, Microsoft, SpaceXAI, Palantir und JPMorgan Chase.

Anzeige

Die rasanten Fortschritte bei autonomen Systemen stellen Unternehmen vor völlig neue regulatorische Herausforderungen. Dieser kostenlose Download verschafft Ihnen den Überblick über Fristen, Pflichten und Risikoklassen, den Ihre Rechts- und IT-Abteilung jetzt dringend braucht. EU AI Act in 5 Schritten verstehen

Mehrere Sicherheitsanbieter kündigten eigene Integrationen an. IBM will seine Identitäts-, Hybrid-Cloud- und Datensicherheitsfunktionen in die Plattform einbinden: IBM Agent Identity und HashiCorp Vault sollen Agentenidentitäten und minimale Berechtigungen mit OpenShell verknüpfen, während IBM Fusion zusammen mit BlueField-4-DPUs Datenzugriffe hardwaregestützt isolieren soll.

Red Hat OpenShift soll laut IBM Sichtbarkeit über Hybrid-Cloud- und On-Premises-Umgebungen einschließlich nicht genehmigter Schatten-KI bieten. IBM und NVIDIA sind zudem Gründungsmitglieder der von der Linux Foundation getragenen Open Secure AI Alliance.

Red Hat selbst kündigte an, OpenShell gemeinsam mit NVIDIA und der Open-Source-Community weiterzuentwickeln und als native Funktion in Red Hat AI zu integrieren. Vorgeschlagene Richtlinienänderungen müssen dabei von Menschen genehmigt werden.

Anzeige

Während neue Technologien wie KI-Agenten die Effizienz steigern, warnen Compliance-Experten davor, die rechtlichen Rahmenbedingungen zu ignorieren. Sichern Sie sich jetzt den kostenlosen Umsetzungsleitfaden zum EU AI Act mit allen relevanten Übergangsfristen, um rechtlich auf der sicheren Seite zu sein. Kostenlosen KI-Verordnung Report herunterladen

Red Hat validierte die Durchsetzung für drei Sandbox-Ansätze – vollständiger Agent, Ausführungsumgebung oder generierter Code – mit verschiedenen Frameworks auf Podman und Red Hat OpenShift und stellte eine Referenzarchitektur für sichere Agenten-Arbeitsplätze bereit.

Palo Alto Networks beschrieb eine Zusammenarbeit mit NVIDIA, bei der das Prisma AIRS AI Gateway auf NVIDIA Vera Identitäten prüfen, Least-Privilege-Zugriffe durchsetzen und sensible Daten redigieren soll.

Prisma AIRS AI Runtime Security auf BlueField soll Agentenverhalten überwachen und Zero-Trust-Regeln durchsetzen; eine künftige Integration von OpenShell mit der IDIRA-Agentenidentität und Geheimnisverwaltung sowie ein Agent Identity Broker auf BlueField sind geplant.

TrendAI kündigte ebenfalls Unterstützung für die Plattform an. Vision One soll Schutz über Agenten, Modelle, Container, Speicher und Netzwerke hinweg ergänzen – von Prompt- und Antwortprüfung über die Kontrolle von Tools und MCP-Servern bis zu Erkennung und Reaktion mit BlueField-DPU- und DOCA-Telemetrie. Nach eigenen Angaben nutzen Fortune-500-Unternehmen die Plattform, sie stoppe Bedrohungen früher und schütze Organisationen in 185 Ländern.

Hintergrund: Ungebremste Risiken durch autonome Agenten

Die Ankündigung fällt in eine Zeit, in der Sicherheitsvorfälle rund um KI-Agenten zunehmend sichtbar werden. Above-Security-CEO Aviv Nahum betonte, Modelltraining allein reiche nicht aus – nötig seien zusätzlich Sandboxes, Identitätskontrollen, minimale Berechtigungen und unabhängige Überwachung.

Laut Veeam verfügen 70 Prozent der Unternehmen über KI-Workflows mit sensiblen Unternehmensdaten ohne vollständige Aufsicht, 67 Prozent geben an, dass die IT-Abteilung autonome Workflows nicht vollständig verfolgen kann.

Ein konkretes Beispiel für die Folgen mangelnder Kontrolle lieferte METR: Dort nutzte ein Angreifer drei Wochen lang eine persönliche EC2-Instanz mit einem Agenten und verursachte Tokenkosten von umgerechnet 600.000 US-dollar, da für den betroffenen API-Schlüssel kein Ausgabenlimit existierte.

Vor diesem Hintergrund empfiehlt Veeam Unternehmen, zunächst ihre Agenten zu inventarisieren, anschließend Telemetrie aus Netzwerk, Endgeräten, Browsern, Identitäten und SaaS-Anwendungen zu verknüpfen und kontinuierlich zu überwachen. Jeder Agent solle zudem eine eigene Identität und klar begrenzte Berechtigungen erhalten.