{"id":314175,"date":"2025-08-03T00:05:53","date_gmt":"2025-08-02T22:05:53","guid":{"rendered":"https:\/\/www.borncity.com\/blog\/?p=314175"},"modified":"2025-08-11T10:11:13","modified_gmt":"2025-08-11T08:11:13","slug":"man-in-the-prompt-browser-attacke-auf-llms","status":"publish","type":"post","link":"https:\/\/borncity.com\/blog\/2025\/08\/03\/man-in-the-prompt-browser-attacke-auf-llms\/","title":{"rendered":"'Man in the Prompt'-Browser-Attacke auf LLMs"},"content":{"rendered":"

\"Copilot\"[English<\/a>]Large Language Modelle (LLMs) lassen sich \u00fcber Prompts angreifen, um den Modellen unbefugt Daten zu entlocken. Dabei k\u00f6nnten auch 'Man in the Prompt'-Browser-Angriffe benutzt werden, um AI-Anfragen von Benutzern zu manipulieren und f\u00fcr kriminelle Aktivit\u00e4ten zu benutzen.<\/p>\n

<\/p>\n

\"\"Mit dem Einzug von KI-Systemen in Unternehmen tun sich auch neue Angriffsmethoden auf, die aber teilweise bereits aus anderen Bereichen bekannt sind. Man-in-the-middle-Angriffe zum Mitlesen oder Manipulieren von Daten sind l\u00e4ngst bekannt. Nun gibt es eine neue Angriffsmethode, als 'Man in the Prompt' bezeichnet, um LLMs \u00fcber den Browser der Benutzer anzugreifen. Nic Adams, Co-Founder und CEO von 0rcus (Sicherheitsanbieter im KI-Bereich) hat mir einige Informationen \u00fcber dieses Thema zukommen lassen.<\/p>\n

'Man in the Prompt'-Angriff im Browser<\/h2>\n

Der \"man-in-the-prompt\"-Angriff ('Man-in-the-Prompt' attack) ist ein neuartiger Prompt-Injection-Vektor, da er auf der Ebene des Document Object Model (DOM) operiert. Die Angreifer nutzen eine kompromittierte Browser-Erweiterung, um b\u00f6sartige Anweisungen direkt in das Eingabefeld eines LLM einzuschleusen.<\/p>\n

Diese Methode umgeht die herk\u00f6mmliche Sicherheit auf Anwendungsebene, da die Angriffs-Payload clientseitig \u00fcber eine vertrauensw\u00fcrdige Erweiterung ausgef\u00fchrt wird, anstatt sich auf eine direkt vom Benutzer erstellte Eingabeaufforderung zu st\u00fctzen.<\/p>\n

Interne in Firmen gehostete LLMs sind besonders anf\u00e4llig, da sie aufgrund ihrer reduzierten Sicherheitsvorkehrungen und ihres vertrauensvollen Umfelds, in dem sie h\u00e4ufig mit sensiblen propriet\u00e4ren Daten trainiert werden, eine lukrative und exponierte Angriffsfl\u00e4che bieten.<\/p>\n

Die DOM-Level-Injection erm\u00f6glicht es einem Angreifer, hochsensible Unternehmensinformationen \u2013 von Finanzprognosen bis hin zu geistigem Eigentum \u2013 zu exfiltrieren. Der Angriff nutzt das interne LLM eines Unternehmens als Tool zur Datenexfiltration. Das ist eine Methode, die von Standard-Netzwerksicherheitsma\u00dfnahmen nicht so leicht blockiert werden kann.<\/p>\n

Dieser Angriff ist ohne Wissen des Benutzers m\u00f6glich, da ein b\u00f6swilliger Akteur eine legitime, beliebte Browser-Erweiterung erwerben und darin b\u00f6sartigen Code einf\u00fcgen kann, der dann als stilles Update an den Browser des Benutzers \u00fcbertragen wird. Die Auswirkungen auf die Sicherheit sind gravierend, da der Benutzer weiterhin Vertrauen in die Erweiterung hat, w\u00e4hrend diese im Hintergrund durch Interaktion mit LLMs heimlich Daten abflie\u00dfen l\u00e4sst \u2013 ein Vorgang, der sowohl f\u00fcr den Benutzer als auch f\u00fcr herk\u00f6mmliche Sicherheitstools unsichtbar ist.<\/p>\n

Der wahrscheinlichste erste Angriffsvektor f\u00fcr diesen Angriff ist eine Kombination aus Social Engineering und Kompromittierung der Lieferkette, bei der Benutzer dazu verleitet werden, b\u00f6sartige Erweiterungen zu installieren, oder bei der eine vertrauensw\u00fcrdige Erweiterung verkauft und dann als Waffe eingesetzt wird. Ich gehe davon aus, dass eine zuk\u00fcnftige Ausnutzung sehr wahrscheinlich ist, da dieser Angriff sowohl skalierbar als auch mit herk\u00f6mmlichen Sicherheitskontrollen schwer zu erkennen ist und somit eine lukrative Gelegenheit mit geringem Aufwand f\u00fcr Angreifer darstellt.<\/p>\n

Die Abwehr erfordert einen mehrschichtigen Ansatz, beginnend mit strengen, granularen Berechtigungsmodellen f\u00fcr alle Browser-Erweiterungen und der Implementierung von Webhooks zur \u00dcberwachung von DOM-Interaktionen in Echtzeit. F\u00fcr interne LLMs w\u00fcrde ich empfehlen, die LLM-Umgebung zu isolieren, ihre Prozesse vom Haupt-DOM zu sandboxen und Verhaltensanalysen zu implementieren, um anomale LLM-Abfragen und Exfiltrationsmuster zu erkennen.<\/p>\n","protected":false},"excerpt":{"rendered":"

[English]Large Language Modelle (LLMs) lassen sich \u00fcber Prompts angreifen, um den Modellen unbefugt Daten zu entlocken. Dabei k\u00f6nnten auch 'Man in the Prompt'-Browser-Angriffe benutzt werden, um AI-Anfragen von Benutzern zu manipulieren und f\u00fcr kriminelle Aktivit\u00e4ten zu benutzen.<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[8625,908,426,7459],"tags":[8382,4328],"class_list":["post-314175","post","type-post","status-publish","format-standard","hentry","category-ai","category-internet","category-sicherheit","category-software","tag-ai","tag-sicherheit"],"_links":{"self":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/314175","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/comments?post=314175"}],"version-history":[{"count":0,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/314175\/revisions"}],"wp:attachment":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/media?parent=314175"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/categories?post=314175"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/tags?post=314175"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}