Die rasante Einführung von Systemen mit sogenannter Agentic AI stellt Unternehmen vor erhebliche Kontrollprobleme. Auf einer Branchenkonferenz warnte Danielle Casey, Senior Director Analyst bei Gartner, die aktuelle Implementierung autonom agierender Software-Agenten gleiche einer Fahrt ohne Leitplanken.
Organisationen nähmen zunehmend Systeme in Betrieb, deren Verhalten sie weder vollständig vorhersagen noch adäquat steuern könnten. Reines Einhalten von Richtlinien reiche nicht mehr aus; erforderlich seien verbindliche technische und organisatorische Schutzplanken.
Gartner empfiehlt Trennung von Governance und IT-Management
Laut einem Bericht über die Konferenz rät das Marktforschungsinstitut Gartner dazu, Grundsatzentscheidungen strikt vom technologischen Betrieb zu trennen. Während das IT-Management Werkzeuge auswähle und integriere, müsse die Governance Zuständigkeiten, Entscheidungsrechte und Rechenschaftspflichten festlegen.
Da in Workflows mit mehreren interagierenden Agenten kumulierte Risiken entstünden, seien mehrschichtige Schutzmechanismen notwendig, die über die reine Technik hinausgehen und administrative Vorgaben, Managementstrategien sowie externe Interaktionen umfassen.
Angesichts der zunehmenden Komplexität von KI-Systemen im Unternehmen müssen Verantwortliche die neuen rechtlichen Rahmenbedingungen präzise kennen. Dieser kostenlose Download verschafft Ihnen den Überblick über Fristen und Pflichten, den Ihre Rechts- und IT-Abteilung jetzt dringend braucht. EU AI Act in 5 Schritten verstehen
Gartner empfiehlt für jeden Agenten klar definierte Ziele, messbare Kriterien für den Erfolg, Verhaltensrichtlinien sowie geregelte Eskalationswege inklusive Notfallabschaltungen.
Um einem unkontrollierten Wildwuchs vorzubeugen, sollten neue Agenten zunächst Probezeiten durchlaufen und in einen kontinuierlichen Lebenszyklus mit lückenloser Dokumentation und Aktivitätsprotokollen eingebunden werden.
Für die Umsetzung sieht das Institut einen Phasenplan vor: Sofort müssten Entscheidungsrechte, Verhaltensregeln und Eskalationsprozesse etabliert werden. Binnen 90 Tagen sollten Schutzplanken, Probephasen und ein formeller Entwicklungszyklus folgen, bevor im Folgejahr die Aufsicht vertieft und an Geschäftsergebnisse gekoppelt werde.
Umfragen belegen Kontrollverlust in Unternehmen
Die Warnungen treffen auf eine angespannte Sicherheitslage in den Betrieben. Einem Bericht von ServiceNow zufolge registrierten neun von zehn Organisationen weltweit im vergangenen Jahr einen Sicherheitsvorfall im Zusammenhang mit Agentic AI.
Nur 36 Prozent der Betroffenen konnten den Vorfall in unter 24 Stunden beheben. Die Verbreitung ist bereits hoch: 49 Prozent der befragten Organisationen setzen 100 bis 999 Agenten ein, bei 35 Prozent sind es sogar mehr als 1.000.
Gleichzeitig klaffen erhebliche Überwachungslücken. Zwar verfügen 57 Prozent der Sicherheitsteams über vollständige Aufzeichnungen aller produktiven Agenten, doch 29 Prozent entdeckten nicht registrierte Agenten im Livebetrieb. Zwar gaben 76 Prozent an, eine Zugriffsübersicht zu besitzen, doch nur 19 Prozent überwachen mehr als 90 Prozent ihrer Agenten in Echtzeit.
Wer den Einsatz von KI-Systemen rechtssicher gestalten möchte, muss die Einstufung der verschiedenen Risikoklassen verstehen. Dieser kostenlose Report klärt auf, welche Systeme als Hochrisiko gelten und was Unternehmen jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum EU AI Act anfordern
Bei auffälligem Verhalten fehlen 66 Prozent der Unternehmen automatisierte Gegenmaßnahmen. Auch Anthropic berichtete, dass 82 Prozent der Organisationen unregistrierte Agenten im Netzwerk feststellten, während 57 Prozent Agenten bereits für mehrstufige Arbeitsabläufe nutzen.
Dringender Handlungsbedarf bei Zugriffsrechten
Führungskräfte aus der Sicherheitsbranche teilen diese Bedenken. Nathan Smolenski, Senior Vice President und CISO bei Qualys, betonte laut einem Branchenbericht, dass Künstliche Intelligenz wie eine Taschenlampe bestehende Schwachstellen offenlege.
Mängel im Identitätsmanagement würden durch KI noch schneller beschleunigt als seinerzeit durch die Cloud-Migration. Viele Sicherheitsverantwortliche hätten keine Übersicht darüber, was mit den eingesetzten Agenten geschehe.
Mike Yeh, Vize und Deputy General Counsel bei Microsoft, mahnte vor diesem Hintergrund, autonomen Agenten strikt nach dem Prinzip der geringsten Rechte nur minimalen Zugriff auf Unternehmensnetzwerke und sensible Daten zu gewähren. Frontier-KI-Anbieter müssten zudem vollständige Transparenz über Fähigkeiten und Folgewirkungen schaffen, um systemische Übergriffe autonomer Software zu verhindern.