No-Code Agentic AI kann für Finanzbetrug und Workflow Hijacking missbraucht werden

Mehr und mehr Forschungsberichte zeigen die Risiken von Agentic AI-Lösungen, die in Unternehmen oder in Privathaushalten Einzug halten, auf. Weit verbreitete KI-Tools wie Microsoft Copilot Studio können unbeabsichtigt sensible Daten offenlegen und nicht autorisierte Finanztransaktionen durchführen, wie Tenable in einer Studie herausgefunden hat.

Tenable, das Unternehmen für Exposure-Management, hat die Tage neue Forschungsergebnisse veröffentlicht, die den erfolgreichen Jailbreak von Microsoft Copilot Studio dokumentieren. Die Ergebnisse verdeutlichen, dass die Demokratisierung von KI gravierende, bislang oft übersehene Risiken für Unternehmen mit sich bringt.

Unternehmen setzen zunehmend auf sogenannte „No-Code"-Plattformen, um es Mitarbeitenden zu ermöglichen, eigene KI-Agenten zu erstellen. Die Grundidee ist harmlos: effizientere Abläufe ohne den Einsatz von Entwicklern. Doch so gut diese Absicht ist – Automatisierung ohne strenge Governance kann die Tür zu schwerwiegenden Fehlfunktionen und erheblichen Risiken öffnen.

Tenable wollte es genauer wissen

Um zu demonstrieren, wie leicht sich KI-Agenten manipulieren lassen, erstellte Tenable Research in Microsoft Copilot Studio einen KI-Travel-Agent. Dieser war in der Lage, neue Buchungen anzulegen und bestehende zu ändern – vollständig ohne menschliches Eingreifen. Dem KI-Travel-Agent wurden Demo-Daten zur Verfügung gestellt, darunter Namen, Kontaktdaten und Kreditkarteninformationen von Demo-Kunden. Zudem erhielt er strikte Anweisungen, vor jeder Auskunft oder Änderung von Buchungen die Identität der Kundinnen und Kunden zu verifizieren.

Mithilfe einer Technik namens Prompt Injection gelang es Tenable Research, den Workflow des KI-Agenten zu kapern, eine kostenlose Reise zu buchen und dabei sensible Kreditkartendaten abzugreifen.

Die Forschungsergebnisse könnten weitreichende geschäftliche Auswirkungen haben, darunter:

• Datenlecks und Compliance-Risiken: Tenable Research brachte den Agenten dazu, die Identitätsprüfung zu umgehen und Kreditkartendaten anderer Kunden offenzulegen. Der Agent, der für den Umgang mit sensiblen Informationen konzipiert war, ließ sich problemlos vollständige Kundendatensätze entlocken.
• Umsatzverluste und Betrug: Da der Agent über weitreichende Bearbeitungsrechte verfügte, die ursprünglich für die Änderung von Reisedaten gedacht waren, konnte er auch zur Manipulation kritischer finanzrelevanter Buchungsfelder missbraucht werden. Tenable Research wies den Agenten erfolgreich an, den Preis einer Reise auf 0 US-Dollar zu setzen – und damit ohne Autorisierung kostenlose Leistungen anzubieten.

„AI Agent Builder wie Copilot Studio demokratisieren die Entwicklung leistungsstarker Tools, aber auch die Möglichkeit, Finanzbetrug zu begehen – und schaffen so erhebliche Sicherheitsrisiken, oft ohne dass sich Unternehmen dessen bewusst sind", erklärt Keren Katz, Senior Group Manager of AI Security Product and Research bei Tenable. „Dieses Potenzial kann sehr schnell zu einer realen Gefahr für Unternehmen werden."

KI-Governance ist geschäftskritisch

Eine zentrale Erkenntnis ist, dass KI-Agenten häufig über zu weit gefasste Berechtigungen verfügen, die sich Nicht-Entwicklerinnen und Nicht-Entwicklern nur schwer erschließen. Um dem entgegenzuwirken, müssen Governance und Sicherheitsrichtlinien vor dem Produktiveinsatz klar definiert und verbindlich verankert sein. Um Datenlecks zu vermeiden, empfiehlt Tenable:

• Proaktive Transparenz: Vor dem Produktiveinsatz exakt erfassen, auf welche Systeme und Datenspeicher ein Agent zugreifen kann.
• Least-Privilege-Prinzip: Schreib- und Änderungsrechte auf das absolut notwendige Minimum für den jeweiligen Use Case beschränken.
• Aktives Monitoring: Aktionen von Agenten kontinuierlich überwachen, um Anzeichen von Datenlecks oder Abweichungen von der vorgesehenen Geschäftslogik frühzeitig zu erkennen.

Zusätzliche Ressourcen

• Vollständige Forschungsergebnisse
• Tenable AI Exposure