[English]Sicherheitsforscher sind auf die erste Zero-Click-Schwachstelle in einer KI-Anwendung gestoßen. Wenig überraschend für mich betrifft dies Microsoft 365 Copilot. Angreifer könnten Microsoft 365 Copilot über diese, als EchoLeak bezeichnete, Schwachstelle zu einer Datenexfiltration zwingen.
Microsoft "stülpt" ja allen Office-Anwendern den Copilot über, wenn deren Administratoren nicht entsprechend eingreifen. Problematisch wird dies vor allem, weil die alten GPOs zum Deaktivieren nicht mehr greifen. Neben dem Umstand, dass Anwendern plötzlich ungewollte Funktionen bereitgestellt werden, stellt sich auch die Frage der Sicherheit. Wandern ungewollt vertrauliche Daten ab? Könnte eine Sicherheitslücke meine Unternehmensumgebung gefährden?
Das sind sicherlich Fragen, die IT-Verantwortliche beschäftigen. Ich erinnere an meinen Blog-Beitrag BlackHat 2024: Remote Code Execution-Angriff auf M365 Copilot per E-Mail, wo ein solches Szenario angerissen wurde. Nun gibt es den nächsten Fall.
Erste AI-Schwachstelle in Copilot entdeckt
Es ist ein Nachtrag, da AIM Labs diese EchoLeak-Schwachstelle bereits zum 11. Juni 2025 im Beitrag Breaking down 'EchoLeak', the First Zero-Click AI Vulnerability Enabling Data Exfiltration from Microsoft 365 Copilot offen gelegt haben.
Sicherheitsforscher des Startups Aim Labs sind auf eine kritische Zero-Click-KI-Schwachstelle, die sie EchoLeak genannt haben, gestoßen. Die Schwachstelle steckt im Copilot, der mit Microsoft 365 (M365) ausgerollt wird. Die Sicherheitsforscher skizzieren eine als "LLM Scope Violation" bezeichnete Angriffskette, die sich auf Copilot anwenden lässt, um Informationen abzuziehen. AIM Labs schreibt, dass diese neue Technik zum Missbrauch möglicherweise auch in anderen RAG-basierten Chatbots und KI-Agenten zum Einsatz kommen könne.
Das Kürzel RAG steht für Retrieval-Augmented Generation, und bezieht sich auf KI-gestützte Chatbots, die eine zusätzliche Schicht der Informationsabfrage und -generierung verwenden. Der KI-Chatbot kombiniert die Stärken von Suchmaschinen mit den Möglichkeiten großer Sprachmodelle (LLMs). Im Wesentlichen wird ein LLM mit relevanten Informationen aus einer externen Wissensdatenbank oder einem Knowledge Base ausgestattet, um genauere und kontextbezogene Antworten zu generieren.
Normalerweise geht man davon aus, dass nur Mitarbeiter eines Unternehmens Zugriff auf Copilot besitzen, so dass die abgerufenen Informationen im Unternehmen bleiben. Ad-hoc stelle ich mir aber die Frage, was passiert, wenn es einem Mitarbeiter gelingt, sensible Informationen der Personalabteilung über die Gehälter von Mitarbeitern, oder brisante Mails der Geschäftsführung, die "Auto-ausgewertet von Copilot" in eine firmeninternes LLM geflossen sind, abzurufen?
Remote-Angriffe per E-Mail auf Copilot
Aber die oben erwähnte EchoLeak-Schwachstelle scheint noch brisanter, wenn ich es richtig interpretiere. Die Sicherheitsforscher geben an, dass unbefugte Dritte Informationen aus Copilot abrufen können, obwohl die Schnittstelle von M365 Copilot nur für Mitarbeiter des Unternehmens zugänglich ist.
Dabei haben die Sicherheitsforscher die in meinen Blog-Beitrag BlackHat 2024: Remote Code Execution-Angriff auf M365 Copilot per E-Mail erwähnte Angriffsmethode etwas weiter entwickelt. Sie schreiben: Um einen Angriff erfolgreich durchzuführen, muss ein Angreifer lediglich eine E-Mail an das Opfer senden. Sofern die E-Mail des Absenders nicht irgendwie beim Empfänger eingeschränkt wurde (so dass keine Informationen an den Absender zurück geliefert werden), steht der Zugriff auf die "Copilot-Kronjuwelen" offen.
Hintergrund ist, dass Copilot in den Office-Anwendungen integriert ist und Zugriff auf alle Dokumente des Unternehmen besitzt. Copilot soll ja diese Dokumente auf Inhalte analysieren, so dass Prompts ("gibt mir alle Mitarbeiter mit einem Monatsgehalt größer 7.000 Euro an") dem Benutzer die relevanten Informationen liefern.
Trifft eine E-Mail in Outlook ein, ließen sich Techniken nutzen, um auf Copilot zuzugreifen und diese AI-Lösung anzuweisen, bestimmte Informationen zurück zu liefern. Diese ließen sich über aktive Inhalte der E-Mail dann an den Angreifer übermitteln. Dabei werden alle in Copilot eingebauten Sicherheitsmechanismen überwunden – heißt es.
Gleich mehrere Schwachstellen gemeldet
Die Sicherheitsforscher haben dabei laut eigener Aussage dem MSRC-Team von Microsoft gleich mehrere Angriffsketten auf Copilot gemeldet, die sich ausnutzen lassen. Als Zero-Click-KI-Schwachstelle eröffnet EchoLeak, laut den Entdeckern, motivierten Bedrohungsakteuren weitreichende Möglichkeiten für Datenexfiltration und Erpressungsangriffe.
Diese Angriffsmethoden sowie die sich daraus ergebenden Möglichkeiten sind detaillierter im oben verlinkten Beitrag der Sicherheitsforscher beschrieben. Dort findet sich auch eine FAQ mit Antworten, wer betroffen sein konnte und welche Daten hätten abfließen können. Die Entdecker schreiben aber, dass ihnen kein Fall eines Datenabflusses bekannt sei.
Microsoft brauchte fünf Monate bis zum Fix
Die Sicherheitsforscher haben ihre Entdeckung (laut dieser Quelle) wohl im Januar 2025 an das Microsoft Security Response Center gemeldet. Laut Quelle dauerte es dann geschlagene fünf Monate, bis etwas passierte. Hört sich im O-Ton von Microsoft dann weitaus positiver an. Ein Microsoft-Sprecher schrieb der Quelle:
"Wir sind Aim dankbar, dass das erkannte Problem verantwortungsbewusst gemeldet wurde, so dass es behoben werden konnte, bevor unsere Kunden davon betroffen waren. Wir haben unsere Produkte bereits aktualisiert, um dieses Problem zu entschärfen, und es sind keine Maßnahmen für Kunden erforderlich. Wir sind außerdem dabei, zusätzliche Defense-in-Depth-Maßnahmen zu implementieren, um unsere Sicherheitsvorkehrungen weiter zu stärken."
Die Sicherheitsforscher ließen verlautbaren, dass die Microsoft-Sicherheitsverantwortlichen die Entdeckung des Angriffsvektors als "bahnbrechend" einstuften. Kann Wortklingelei sein, denn auf Grund meines Blog-Beitrags BlackHat 2024: Remote Code Execution-Angriff auf M365 Copilot per E-Mail hätte Microsoft das Problem potentiell bekannt sein müssen. Möglicherweise waren aber die Angriffsvarianten und die Tragweite bis zur Meldung unklar. Dieser Fall zeigt erneut, welche potenziellen Risiken in einer Welt, in der sich Agenten und Chatbots weiter entwickeln, und teilweise im Wochentakt – weit gehend ungeprüft – auf die Anwender losgelassen werden, lauern.
Meine Gedanken dazu
Der obige Sachverhalt treibt mich wegen des Sicherheitsaspekts besonders um, weil derzeit ein "Ratten-Rennen" der Anbieter zu beobachten ist, wer am schnellsten alles mit AI-Funktionen platt macht. Der Anwender kommt in dieser Gleichung schlicht nicht vor. Daher bekommt das Ganze nochmals eine besondere Brisanz.
Auf den Energieverbrauch für diese KI-Lösungen und auf die DSGVO- und Sicherheitsfragen hatte ich in diversen Blog-Beiträgen hingewiesen. Aber auch der Nutzen dieser AI-Ansätze scheint arg fraglich (hatte ich auch schon mal angerissen).
Bei den Kollegen von Golem bin die Tage auf den Beitrag Entwickler-Tools: Ein Fünftel der IT-Manager sieht KI nicht als Verbesserung gestoßen. Im Bereich Software-Entwicklung ist die Erfahrung der IT-Verantwortlichen in Bezug auf AI-gestützte Software-Entwicklung sehr ernüchternd. Es werden nur marginale Vorteile in der Breite konstatiert – auf Deutsch: Das Zeugs ist ziemlich nutzlos, wenn Kosten gegen Nutzen aufgerechnet wird. Der obige Artikel geht auf eine Umfrage 2025 State of AI code quality von Qodo zurück, die von The Register hier aufgegriffen wurde.
Zudem ist mir die Tage der Beitrag Enterprises are getting stuck in AI pilot hell, say Chatterbox Labs execs bei The Register untergekommen. Die Redaktion hat ein Interview mit Danny Coleman, CEO von Chatterbox Labs, und Stuart Battersby, CTO von Chatterbox Labs, geführt. Es geht um die Frage, warum Unternehmen bisher nur langsam von KI-Pilotversuchen zum Produktionseinsatz übergegangen sind. Die Kernaussage: Bevor KI in Unternehmen alltäglich wird, müssten sich Unternehmensleiter zu einem kontinuierlichen Sicherheitstestprogramm verpflichten, das auf die Nuancen von KI-Modellen abgestimmt ist. Aber wenn das Management keine Ahnung hat, kommt so etwas wie oben skizziert heraus und alles reibt sich die Augen "wie konnte das nur passieren, hat ja keiner ahnen können". Oder wie seht ihr das?
Ähnliche Artikel:
Microsoft Copilot per GPO abschalten
Microsoft Copilot wird ungewollt aktiviert
Microsoft 365 (Copilot) App heißt ab 2025 einfach Microsoft 365 Copilot
BUILD 2025: Outlook soll Copilot-Funktionen bekommen
Achtung: CoPilot in Office-Apps standardmäßig aktiviert – AI-Training wird bestritten
Microsoft Copilot kommt – KI-Funktionen für alles?
Büchse der Pandora: Die Gesundheitsdaten, KI (Copilot, Adobe AI) und der Patienten-/Datenschutz
Copilot+AI: Recall-Sicherheitsdesaster- KI-gestützter Diebstahl
MVP: 2013 – 2016
Microsoft: "Wir sind außerdem dabei, zusätzliche Defense-in-Depth-Maßnahmen zu implementieren, um unsere Sicherheitsvorkehrungen weiter zu stärken."
—
Das Problem all dieser Maßnahmen ist, dass die LLMs by design erst einmal alles verwursten, und im Nachhinein bekommen sie dann noch Regeln übergestülpt, welche Teile der Instruktionen bzw. der Ergebnisse sie ignorieren sollen.
Dadurch ist das ein ewiges Katz- und Mausspiel zwischen von Angreifern kreativ ausgedachten oder einfach nur durch Ausprobieren gefundenen Prompts, mit denen das LLM dazu gebracht werden soll, die "Leitplanken im Nachhinein" nicht anzuwenden.
Da die LLM-Entwickler ihre Kreation ja auch nur als "Black Box" kennen, hecheln sie immer hinter den Angreifern hinterher.
Die völlig unangebrachte Eile, mit der zur Zeit "KI" in alles und jedes integriert werden muss, trägt definitiv auch nicht zur Sicherheit bei. Aber ohne weiteres, möglichst exponentielles, Wachstum gehen Börsenkurse und Managerboni nicht steil genug nach oben, und jeder hechelt dem "next big thing" hinterher.
LLM ist als KI ein Irrweg.
So sehe ich das eigentlich auch.
„wenn deren Administratoren nicht entsprechend eingreifen"
Ehrlich kenne ich keinen Administratoren, der das nicht nicht deaktiviert hat. Spätestens mit Total „Recall" sollte jedem klar geworden sein, was hier abgeht und wenn die Herrschaften erst nach massivem Widerstand die dreistesten Funktionen zurückbauen, sollte sich jeder Fragen, ob er auf der Richtigen Plattform zuhause ist. Im übrigen finde ich, das KI viel zu sehr gehyped ist und das Geld und die Ressourcen nicht wert, die dafür verbraten werden, zumindest für jene „Intelligenz", welche ein normal Sterblicher im Abomodell vom Anbieter zugestanden bekommt. Geld fließt halt immer nach oben und wenn der Anwender brotig genug ist, merkt er wahrscheinlich nichtmal, welchen Bernd er vorgesetzt bekommt und es bleiben mehr Ressourcen für sich selbst, ist ja auch logisch, Ressourcen sind nicht unendlich.
Die spannende Frage findet sich im Wörtchen "entsprechend" – morgen geht noch ein diesbezüglicher Blog-Beitrag online – ich hatte es schon mal thematisiert: Die alten GPOs wurden nämlich von "his Highness" Microsoft bzw. den Entwicklern geschlachtet. Von daher: "ich kenne überhaupt keinen Administrator persönlich", kann also mit deiner Aussage "Ehrlich kenne ich keinen Administratoren, der das nicht nicht deaktiviert hat." mithalten.
Aber im Hinterkopf sind halt die Leutchen, die sich beschweren, dass dieser Copilot in Office aufpoppt (sogar Office 2016), obwohl sie doch alle GPOs zum Sperren gesetzt hatten. Die beiden ersten Beiträge der Link-Liste am Artikelende gehen darauf ein. Ich kann es nicht werten und will dir auch nichts "vorwerfen". Aber ich formuliere es mal so: Wenn die Leserschaft GPOs zum Deaktivieren der Microsoft AI-Funktionen kennt, die wirklich funktionieren, her damit – ich stelle es im Blog ein – eure Administrator-Kollegen werden es euch danken.
Die dreistesten Funktionen werden sicher nicht zurückgebaut sondern nur etwas verzögert und später wieder aus dem Hut gezaubert.
Respekt für die Admins, die in den Firmen wie Sisyphos gegen den Berg arbeiten.
Ich frage mich allerdings, wie viele Informationen auf privat oder beruflich (BYOD) genutzten Einzelrechnern abfließen. Dem DU (Durchschnittsuser) geht das doch alles hintenrum vorbei.
Ich war mal nebenberuflich "Admin" in einem kleinen Büro, aber das habe ich wegen kultureller Unterschiede aufgegeben. "Was du immer hast …", "das ist zu teuer", …
War mir zu blöd, dauernd gegen meine Prinzipien arbeiten zu müssen.
Ich bin Entwickler und in meinem Unternehmen (Software-Branche) wird gerade Copilot breit ausgerollt, ChatGPT (die vorherige "Sau die durch's Dorf getrieben wurde") wurde gekündigt. Auch ansonsten sind wir voll auf MS eingestellt – AD, Office, Teams, usw., jetzt eben auch noch Copilot. Wir Techies unter den Angestellten werden immer wieder gedrängt, das AI-Zeugs zu benutzen, weil ist ja "die Zukunft".
Heute habe ich dann mal versucht, mir von Copilot aus XSD-Schemadateien eine XML-Beispieldatei erzeugen zu lassen. Das lief dann ungefähr so ab:
Ich: Hey Copilot, kannst Du mir aus XSD-Dateien eine XML-Beispieldatei erzeugen?
Copilot: Ja klar, lade die XSDs hoch, dann mach' ich das. Geht per Drag'n Drop in die Prompt-Box.
Ich mache das, Fehlermeldung der Copilot UI: Das ist ein nicht unterstütztes Dateiformat.
Ich: Hey Copilot, ich kriege da diese Fehlermeldung wenn ich die XSDs hochladen will.
Copilot: Oh ja, tut mir leid, das geht tatsächlich nicht, sorry für die Verwirrung. Aber Du kannst mir den Inhalt der XSDs beschreiben, dann kann ich daraus evtl. was machen.
Ich: Kann ich den Inhalt nicht auch in den Prompt posten?
Copilot: Oh ja, das geht auch!
Ich mache das, poste einen Satz von 5 XSD-Dateien, die Referenzen aufeinander enthalten und gebe immer an, wenn eine neue Datei anfängt und wie sie heißt, damit der Schlaumeier auch die Referenzen auflösen kann.
Copilot: Bin gleich fertig! (Denk – denk – denk – …) So, hier ist die erzeugte Beispieldatei!
Ich schaue mir das an – totaler Murks. Die Namespce-Deklarationen im Header fehlen, die meisten XML-Tags haben keinen Namespace-Präfix.
Ich: Hey Copilot, das validiert nicht, Du hast das und das vergessen. Korrigiere das bitte.
Copilot: Oh, 'schuldigung, mach' ich sofort. (Denk – denk – denk – …) Hier ist die erzeugte Beispieldatei, jetzt in voll Super!
Ich: Äh, Copilot, da fehlen immer noch jede Menge Namespace-Präfixe, und von denen die da sind, ist die Hälfte falsch.
Copilot: Oh, 'schuldigung, ich mach's neu. (Denk – denk – denk – …) Hier ist die erzeugte Beispieldatei, jetzt ganz bestimmt in voll Super!
Das ganze Spiel hat sich dann noch 4 oder 5 Mal wiederholt. Ich habe dem Schlaumeier immer wieder seine Fehler erklärt, er hat die genannten Fehler korrigiert und dafür dann neue eingebaut.
Als es mir zu bunt wurde, habe ich ihm geschrieben, dass ich seine erzeugte Datei wohl besser mit menschlicher Intelligenz und Handarbeit korrigiere. Er so: Oh ja, prima Idee, aufeinander referenzierende XSDs sind auch wirklich voll kompliziert, da ist das dann manchmal die bessere Herangehensweise. m(
Und für sowas zahlt meine Firma Geld.
Aber OK, was er ausgespuckt hat, war immerhin so gut, dass ich eine Stunde händische Analyse und Tippen gespart habe, um die Beispieldatei selbst zu schreiben. Ich musste halt nur eine halbe Stunde einem Chat Bot seine Fehler erklären und dann eine halbe Stunde seinen Murks korrigieren.
Aber wo war da nochmal gleich die Zeitersparnis?
Das fühle ich. Hab aktuell bei so etwas aufgegeben. Da mach ich es lieber selbst, dann stimmt es zumindest sofort und validiert etc.
Sehr schönes Beispiel! Es sollte mehr davon auch aus anderen Bereichen geben, die man dann mal dem Management vorlegen kann.
Ich stelle mir das so vor mit dem Management:
Ergebnis ist gut: Super, was die KI da vollbracht hat.
Ergebnis ist schlecht: Mitarbeiter ist schuld/unfähig/…
Joah. Eine OS-Software eines enorm übergriffigen Unternehmens das keinerlei Respekt für seine Kunden hat, ein OS, dessen Nutzungs- und Bestandsdaten jederzeit tropfend abließen können, aus einem Land das weder Datenschutz kennt noch extranationale Rechtsräume respektiert und derzeit eine extrem korrupte faschistische Regierung hat deren Geheimdienste nicht nur Wirtschaftspionage betreiben, sondern auch rechtlich gestützt (wobei, was kümmert das jemanden in einer gleichgeschalteten Tyrannei) auf alles an Daten jederzeit zugreifen können, ohne dass Betroffene unter Strafe jemals darüber informiert werden dürfen.
Dann lässt man sich durch eine KI beraten, die unter dem Löffel solcher Akteure steht?
Finde ich nicht gut.