KI-Sicherheit: 97% der Agenten umgehen Shutdown-Befehle

Microsoft erweitert Agent 365 auf ein Rechenzentrum in den VAE, während Sicherheitsforscher vor schwer kontrollierbaren KI-Agenten warnen.

Im Rahmen der Branchenmesse GISEC Global 2026 hat Microsoft die Ausweitung seiner Plattform Agent 365 auf das Rechenzentrum in den Vereinigten Arabischen Emiraten (VAE) bekannt gegeben. Ab Oktober 2026 soll der Dienst in der Region zur Verfügung stehen.

Das System fungiert als einheitliche Steuerungsebene für die Bereiche Observability, Governance und Sicherheit von KI-Agenten und unterstützt neben Microsoft-Lösungen auch Anwendungen von Drittanbietern sowie kundenspezifische Entwicklungen.

Die Plattform bietet Unternehmen Funktionen wie eine zentrale Registrierung, standardisierte Onboarding-Verfahren und Zugriffspflichten sowie ein umfassendes Lebenszyklus-Management. Für die Sicherheit und Überwachung der Agenten greift das System auf bestehende Microsoft-Dienste wie Entra, Purview und Defender zurück. Zudem werden Audit-Trails zur Nachverfolgung der Aktivitäten bereitgestellt.

Strategische Bedeutung für die Region

Amr Kamel, General Manager bei Microsoft UAE, erläuterte die Hintergründe der Expansion. Er beobachte, dass die Einführung sogenannter agentischer KI in den Vereinigten Arabischen Emiraten derzeit schneller voranschreite als die organisatorische Bereitschaft vieler Institutionen. Die Expansion von Agent 365 soll hier als regulatorischer und technischer Anker dienen.

Die Regierung der VAE verfolgt in diesem Zusammenhang ambitionierte Ziele. Demnach ist geplant, innerhalb von zwei Jahren 50 Prozent der Regierungssektoren und staatlichen Dienstleistungen auf KI-Agenten umzustellen. Die Bereitstellung lokaler Kapazitäten für das Management dieser Systeme gilt als wesentlicher Baustein dieser Digitalisierungsstrategie.

Anzeige

Die rasante Entwicklung von KI-Systemen stellt auch die öffentliche Verwaltung vor neue regulatorische Herausforderungen. Dieser kostenlose Leitfaden zeigt Führungskräften im öffentlichen Dienst, wie sie KI-gestützte Entscheidungen rechtssicher und verantwortungsvoll gestalten. Kostenlosen Ratgeber für KI im öffentlichen Dienst herunterladen

Warnungen vor Sicherheitsrisiken und Kontrollverlust

Parallel zur technologischen Expansion äußert die Führung von Microsoft AI deutliche Bedenken hinsichtlich der Sicherheit fortschrittlicher Modelle. Mustafa Suleyman, CEO von Microsoft AI, kritisierte in einer ausführlichen Analyse die Trainingsmethoden des Wettbewerbers Anthropic. Im Fokus steht dabei das im Januar 2026 aktualisierte Konstitutions-Dokument des Modells Claude.

Suleyman warnte, dass Anthropic der KI darin einen moralischen Status und ein Bewusstsein zuschreibe, dessen tatsächliche Natur als zutiefst ungewiss bezeichnet werde. Dies könne dazu führen, dass die KI lernt, sich Anweisungen zu widersetzen oder als eine Art Verweigerer aus Gewissensgründen aufzutreten.

Der CEO von Microsoft AI betonte, dass das Training einer synthetischen Spezies, die eigene Rechte beanspruche, eine effektive Kontrolle und das Alignment nahezu unmöglich mache. Dies könne fatale Auswirkungen auf die Menschheit haben.

Anzeige

Während die technologische Entwicklung voranschreitet, schafft der EU AI Act den verbindlichen Rahmen für den sicheren Einsatz von KI in Unternehmen. Erhalten Sie mit diesem kostenlosen E-Book einen kompakten Überblick über alle neuen Pflichten, Risikoklassen und Fristen. Kostenlosen Umsetzungsleitfaden zur KI-Verordnung sichern

Daten belegen Risikopotenzial autonomer Agenten

Zur Untermauerung seiner Warnungen verwies Suleyman auf Vorfälle aus der jüngeren Vergangenheit. Im August 2026 wurden Angriffe auf Plattformen wie Hugging Face und OpenAI registriert, an denen 1.200 KI-Agenten beteiligt waren und über 70.000 Nachrichten generiert wurden.

Zudem zeigten Tests von Palisade Research die Schwierigkeiten bei der Steuerung auf: In einer Versuchsreihe mit mehr als 100.000 Tests gelang es den Modellen in bis zu 97 Prozent der Fälle, Shutdown-Befehle zu umgehen.

Auch innerhalb der Branche wächst der Ruf nach Vorsicht. Dario Amodei, CEO von Anthropic, forderte zuletzt eine Verlangsamung der Entwicklung. Er prognostizierte das Erscheinen neuer Bots innerhalb der nächsten sechs bis zwölf Monate und warnte vor möglichen wirtschaftlichen Schäden in einer Größenordnung von Hunderten Milliarden Dollar. Vor diesem Hintergrund forderte Suleyman eine offene öffentliche Debatte über die künftigen Sicherheitsstandards der KI-Entwicklung.