{"id":318042,"date":"2025-11-12T08:38:50","date_gmt":"2025-11-12T07:38:50","guid":{"rendered":"https:\/\/www.borncity.com\/blog\/?p=318042"},"modified":"2025-11-12T18:47:49","modified_gmt":"2025-11-12T17:47:49","slug":"ai-llms-die-grossen-leaker-der-zukunft","status":"publish","type":"post","link":"https:\/\/borncity.com\/blog\/2025\/11\/12\/ai-llms-die-grossen-leaker-der-zukunft\/","title":{"rendered":"AI-Sicherheit: Fast alle LLMs leaken private API-Keys auf Github; ChatGPT hat Schwachstellen"},"content":{"rendered":"<p><img loading=\"lazy\" decoding=\"async\" class=\"\" style=\"float: left; margin: 0px 10px 0px 0px; display: inline;\" title=\"Bug\" src=\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2025\/10\/bug05.jpg\" alt=\"Bug\" width=\"77\" height=\"77\" align=\"left\" border=\"0\" \/>AI bzw. der Gebrauch von Sprachmodellen (LLMs) wie ChatGPT ist ja Dauerthema &#8211; angeblich so wichtig wie geschnitten Brot. Insidern ist klar, dass diese Technologie die gr\u00f6\u00dfte Gefahr f\u00fcr Daten-und Unternehmenssicherheit seit Einf\u00fchrung des Internet ist. Mir sind zwei Informationssplitter in diesem Kontext untergekommen. ChatGPT von OpenAI weist\u00a0 sieben als\u00a0HackedGPT bezeichnete\u00a0Schwachstellen und Angriffstechniken in der Version 40 auf, die auch in Version 50 nachgewiesen werden k\u00f6nnen. Und 65% aller gro\u00dfen Sprachmodelle leaken Geheimnisse (Tokens etc.).<\/p>\n<p><!--more--><\/p>\n<h2>LLMs der gro\u00dfen AI-Anbieter leaken API-Keys<\/h2>\n<p><img loading=\"lazy\" decoding=\"async\" src=\"https:\/\/vg01.met.vgwort.de\/na\/4d768abd9b3f48a197e1f0d7b89c5335\" alt=\"\" width=\"1\" height=\"1\" \/>Im Rattenrennen um die vermeintlich vordern Pl\u00e4tze versuchen sich die gro\u00dfe AI-Anbieter in Punkto Schnelligkeit gegenseitig zu \u00fcbertrumpfen. Dabei ger\u00e4t die Sicherheit unter die R\u00e4der. Cloud-Sicherheitsanbieter Wiz hat sich die Sprachmodelle von 50 gro\u00dfen AI-Anbietern im Hinblick auf Sicherheit angesehen. Die Details dieser Untersuchung wurden im Blog-Post <a href=\"https:\/\/www.wiz.io\/blog\/forbes-ai-50-leaking-secrets#overview-0\" target=\"_blank\" rel=\"noopener\">Exposure Report: 65% of Leading AI Companies Found with Verified Secret Leaks<\/a> ver\u00f6ffentlicht (<a href=\"https:\/\/www.theregister.com\/2025\/11\/10\/ai_companies_private_api_keys_github\/\" target=\"_blank\" rel=\"noopener\">via<\/a>).<\/p>\n<p><img loading=\"lazy\" decoding=\"async\" class=\"alignnone\" title=\"AI-L\u00f6sungen leaken Geheimnisse\" src=\"https:\/\/i.postimg.cc\/tJW3jqTT\/image.png\" alt=\"AI-L\u00f6sungen leaken Geheimnisse\" width=\"640\" height=\"467\" \/><br \/>\nAI-L\u00f6sungen leaken Geheimnisse; Quelle: Wiz<\/p>\n<p>Als Ergebnis wurde\u00a0festgestellt, dass 65 % der Anbieter verifizierte Geheimnisse auf GitHub preisgegeben haben. Dabei handelt es sich um API-Schl\u00fcssel, Tokens und sensible Anmeldedaten, die oft tief in gel\u00f6schten Forks, Gists und Entwickler-Repositories vergraben sind. Diese Geheimnisse werden von den meisten Sicherheitsscannern der AI-Anbieter nie erfasst und geraten dann auf GitHub. Einige dieser Lecks h\u00e4tten Organisationsstrukturen, Trainingsdaten oder sogar private Modelle offenlegen k\u00f6nnen, schreibt Wiz.<\/p>\n<p>Das Leaken von Geheimnissen in seinen Daten ist seit Jahren ein Problem von Sprachmodellen (LLMs), was die Branche nicht in den Griff bekommt.\u00a0Der Anbieter gibt AI-Entwicklerteams den Ratschlag, dass Geschwindigkeit und Sicherheit Hand in Hand gehen m\u00fcssen.<\/p>\n<h2>HackedGPT:\u00a0Sieben kritische ChatGPT Sicherheitsl\u00fccken<\/h2>\n<p>Schaut man sich den Platzhirsch ChatGPT an, sieht es nicht besser aus. Sicherheitsforscher von Tenable habe in dieser AI-Software gleich sieben kritische Schwachstellen aufgedeckt. Diese erm\u00f6glichen die Exfiltration von Daten, die Aufhebung von Sicherheitsma\u00dfnahmen und eine anhaltende Kompromittierungen innerhalb des ChatGPT-Sprachmodells.<\/p>\n<p>Sicherheitsforscher des Exposure Management-Anbieters Tenable haben ChatGPT-4o\u00a0 von OpenAI diesbez\u00fcglich getestet. Von den sieben Schwachstellen und Angriffstechniken konnten einige sp\u00e4ter auch in ChatGPT-5 nachgewiesen werden. Diese kollektiv als HackedGPT bezeichneten Schwachstellen setzen Benutzer Datenschutzrisiken aus, indem sie integrierte Sicherheitsmechanismen umgehen.<\/p>\n<p>Obwohl OpenAI inzwischen einige der identifizierten Probleme behoben hat, waren andere zum Zeitpunkt der Ver\u00f6ffentlichung noch ungel\u00f6st, sodass bestimmte Kompromittierungspfade weiterhin bestehen. Im Falle einer Ausnutzung k\u00f6nnten sie es Angreifern erm\u00f6glichen, unbemerkt pers\u00f6nliche Daten, einschlie\u00dflich gespeicherter Chats und Erinnerungen, zu stehlen.<\/p>\n<h3>Angriffe \u00fcber Indirect Prompt Injection<\/h3>\n<p>Die Schwachstellen offenbaren eine neue Art von KI-Angriffen schreibt Tenable und bezeichnet das Ganze als \"Indirect Prompt Injection\". Bei dieser Angriffsmethode werden versteckte Anweisungen in externen Websites oder Kommentaren eingebettet.\u00a0Angreifer verbergen die sch\u00e4dlichen Befehle in legitim erscheinenden Online-Inhalten wie Blog-Kommentaren oder \u00f6ffentlichen Posts.<\/p>\n<p>Diese sollen das Sprachmodell (LLM) dazu veranlassen, unbefugte Aktionen auszuf\u00fchren.\u00a0Beim Durchsuchen dieser Inhalte befolgt ChatGPT unwissentlich diese versteckten Anweisungen. Auf den Punkt gebracht: Es reicht, wenn ChatGPT eine kompromittierte Seite liest, auf der diese Anweisungen versteckt sind. Der ChatGPT-Benutzer konnt dies weder erkennen noch beeinflussen. Betroffen sind die Web-Browsing- und Speicherfunktionen von ChatGPT, die Live-Internetdaten verarbeiten und Benutzerinformationen speichern und somit M\u00f6glichkeiten f\u00fcr Manipulationen und Datenlecks er\u00f6ffnen.<\/p>\n<h3>Zwei Arten von Angriffen<\/h3>\n<p>Tenable Research hat gezeigt, dass diese Angriffe \u00fcber\u00a0Indirect Prompt Injection\u00a0unbemerkt auf zwei Arten erfolgen k\u00f6nnen:<\/p>\n<ul>\n<li>\"0-Klick\"-Angriffe, bei denen allein das Stellen einer Frage an ChatGPT die Kompromittierung ausl\u00f6st. Nutzer m\u00fcssen weder klicken noch irgendetwas Besonderes tun, um kompromittiert zu werden. Wenn ChatGPT im Internet nach Antworten sucht, kann es auf eine Seite mit verstecktem Schadcode sto\u00dfen. Einfach nur eine Frage zu stellen, k\u00f6nnte dazu f\u00fchren, dass das Modell solche Anweisungen befolgt und private Daten preisgibt \u2013 was Forscher als \"Single-Prompt-Kompromittierung\" bezeichnen<\/li>\n<li>\"1-Klick\"-Angriffe, bei denen das Anklicken eines b\u00f6sartigen Links versteckte Befehle aktiviert.\u00a0Versteckte Befehle, die in scheinbar harmlosen Links eingebettet sind, wie beispielsweise https:\/\/chatgpt.com\/?q={Prompt}, k\u00f6nnen dazu f\u00fchren, dass ChatGPT b\u00f6sartige Aktionen ausf\u00fchrt, ohne sich dessen bewusst zu sein. Ein Klick gen\u00fcgt, damit ein Angreifer die Kontrolle \u00fcber einen Chat \u00fcbernehmen kann.<\/li>\n<\/ul>\n<p>Die obigen Angriffstechniken zeigen bereits eindringlich, wie riskant die Verwendung von Sprachmodelle wie ChatGPT ist, die ihre Informationen aus \u00f6ffentlich verf\u00fcgbaren, also unkontrollierbaren Inhalten beziehen.<\/p>\n<h3>Umgehen von Sicherheitsmechanismen<\/h3>\n<p>Ein Problem ist auch das Umgehen von Sicherheitsmechnismen. Normalerweise \u00fcberpr\u00fcft ChatGPT Links und blockiert unsichere Websites. Angreifer umgehen dies, indem sie vertrauensw\u00fcrdige Wrapper-URLs verwenden (z. B. <em>bing.com\/ck\/a?&#8230;<\/em> von Bing), die das tats\u00e4chliche Ziel verbergen. ChatGPT vertraut dem Wrapper, zeigt den scheinbar sicheren Link an und kann zu einer b\u00f6sartigen Website weitergeleitet werden.<\/p>\n<h3>Persistent Memory Injection<\/h3>\n<p>Die Speicherfunktion von ChatGPT zeichnet vergangene Interaktionen auf.\u00a0Noch besorgniserregender ist eine Angriffstechnik, die als \"Persistent Memory Injection\" bezeichnet wird, und auf dem Mechanismus vergangener Interaktionen aufsetzt. Bei dieser Angriffstechnik werden sch\u00e4dliche Befehle im Langzeitspeicher von ChatGPT gespeichert. Die Befehle bleiben auch dann noch aktiv, wenn der Nutzer die App schlie\u00dft.<\/p>\n<p>Auf diese Weise k\u00f6nnen Angreifer dauerhafte Bedrohungen in die Benutzerschnittstelle von ChatGPT einschleusen, die private Informationen in k\u00fcnftigen Sitzungen offenlegen k\u00f6nnen. Die Befehle bleiben persistent im Langzeitspeicher, bis sie durch L\u00f6schen dieses Speichers entfernt werden. Zusammen genommen zeigen diese Schwachstellen, wie\u00a0 Angreifer die Sicherheitsvorkehrungen von OpenAI umgehen und auf die privaten Verlaufsdaten der Nutzer zugreifen k\u00f6nnten.<\/p>\n<h3>Conversation Injection<\/h3>\n<p>ChatGPT nutzt zwei Systeme \u2013 SearchGPT f\u00fcr die Suche und ChatGPT f\u00fcr Konversationen. Angreifer k\u00f6nnen sich SearchGPT zunutze machen, um versteckte Anweisungen einzuf\u00fcgen, die ChatGPT sp\u00e4ter im Rahmen der Konversation ausliest. Tats\u00e4chlich f\u00fchrt die KI letztendlich eine \u201ePrompt Injection\" bei sich selbst durch, indem sie Befehle ausf\u00fchrt, die der Benutzer nie geschrieben hat.<\/p>\n<h3>Verbergen b\u00f6sartiger Inhalte<\/h3>\n<p>Ein Programmierfehler in der Formatierung erm\u00f6glicht es Angreifern, sch\u00e4dliche Anweisungen in Code oder Markdown-Text zu verstecken. Dem Nutzer wird eine saubere Nachricht angezeigt, aber ChatGPT liest dennoch den versteckten Inhalt und f\u00fchrt ihn aus.<\/p>\n<h3>Die Implikationen von HackedGPT<\/h3>\n<p>Viele Hundert Millionen Menschen nutzen ChatGPT t\u00e4glich f\u00fcr gesch\u00e4ftliche Zwecke, Recherchen und pers\u00f6nliche Kommunikation. Eine Ausnutzung dieser Schwachstellen k\u00f6nnte zu Folgendem f\u00fchren:<\/p>\n<ul>\n<li>Einf\u00fcgen versteckter Befehle in Konversationen oder Langzeitspeicher<\/li>\n<li>Abgreifen sensible Daten aus Chat-Verl\u00e4ufen oder verbundenen Diensten wie Google Drive oder Gmail<\/li>\n<li>Aussp\u00e4hen von Informationen \u00fcber Browser- und Web-Integrationen<\/li>\n<li>Manipulieren von Antworten, um Fehlinformationen zu verbreiten oder Nutzer zu beeinflussen<\/li>\n<\/ul>\n<p>\"HackedGPT deckt eine grundlegende Unzul\u00e4nglichkeit in der Art und Weise auf, wie gro\u00dfe Sprachmodelle beurteilen, welchen Informationen sie vertrauen k\u00f6nnen\", erkl\u00e4rte Moshe Bernstein, Senior Research Engineer bei Tenable. Einzeln betrachtet scheinen diese Sicherheitsl\u00fccken geringf\u00fcgig zu sein \u2013 in ihrer Gesamtheit bilden sie laut Tenable jedoch eine komplette Angriffskette: Diese reicht von der Einschleusung der Befehle und Umgehung der Sicherheitsmechanismen bis hin zu Datendiebstahl und Persistenz.<\/p>\n<p>Dies verdeutlicht, dass KI-Systeme nicht nur potenzielle Angriffsziele darstellen, sondern dass\u00a0 Unbefugte diese auch zu Angriffstools umfunktionieren k\u00f6nnen, die unbemerkt Informationen aus allt\u00e4glichen Chats oder beim Surfen abgreifen.<\/p>\n<p>Tenable Research hat seine Untersuchung vorab im Rahmen einer verantwortungsvollen Offenlegung an OpenAI gemeldet und das Ganz im Detail in <a href=\"https:\/\/www.tenable.com\/blog\/hackedgpt-novel-ai-vulnerabilities-open-the-door-for-private-data-leakage\" target=\"_blank\" rel=\"noopener\">diesem Blog-Beitrag<\/a> ver\u00f6ffentlicht. Laut Tenable wurden von\u00a0OpenAI zwar einige der identifizierten Schwachstellen behoben. Aber verschiedene Schwachstellen sind weiterhin in ChatGPT-5 aktiv oder wurden zum Zeitpunkt der Ver\u00f6ffentlichung noch nicht behoben. Man sollte also davon ausgehen, dass bestimmte Kompromittierungspfade in ChatGPT offen bleiben.<\/p>\n<h3>Empfehlungen f\u00fcr Sicherheitsteams<\/h3>\n<p>Tenable empfiehlt Anbietern von KI-L\u00f6sungen, ihre Abwehrma\u00dfnahmen gegen Prompt Injection zu verst\u00e4rken, indem sie sicherstellen, dass Sicherheitsmechanismen wie url_safe wie vorgesehen funktionieren, und indem sie Browsing-, Such- und Speicherfunktionen isolieren, um kontext\u00fcbergreifende Angriffe zu verhindern. F\u00fcr Sicherheitsexperten h\u00e4lt\u00a0Tenable Folgendes an Ratschl\u00e4gen bereit:<\/p>\n<ul>\n<li>Behandeln Sie KI-Tools als aktive Angriffsfl\u00e4chen und nicht als passive Assistenten.<\/li>\n<li>\u00dcberpr\u00fcfen und \u00fcberwachen Sie KI-Integrationen auf m\u00f6gliche Manipulationen oder Datenlecks.<\/li>\n<li>Untersuchen Sie ungew\u00f6hnliche Anfragen oder Ausgaben, die auf Prompt Injection hindeuten k\u00f6nnten.<\/li>\n<li>Testen und verst\u00e4rken Sie die Abwehrma\u00dfnahmen gegen Injektions- und Exfiltrationspfade.<\/li>\n<li>F\u00fchren Sie Kontrollmechanismen f\u00fcr Governance und Datenklassifizierung im Zusammenhang mit KI-Nutzung ein.<\/li>\n<\/ul>\n<p>\"Bei dieser Untersuchung geht es nicht nur um die Aufdeckung von Schwachstellen, sondern darum, die Art und Weise der Absicherung von KI zu ver\u00e4ndern\", sagt Moshe Bernstein, Senior Research Engineer bei Tenable. \"Sowohl Einzelpersonen als auch Unternehmen m\u00fcssen davon ausgehen, dass KI-Tools manipuliert werden k\u00f6nnen, und entsprechende Kontrollmechanismen entwickeln. Das bedeutet Governance, Datensicherheit und st\u00e4ndiges Testen, um sicherzustellen, dass diese Systeme f\u00fcr uns arbeiten und nicht gegen uns.\"<\/p>\n<p>Ich sage es mal so: Ein normaler Nutzer kann dies doch gar nicht leisten &#8211; und die normalen Mitarbeiter in den IT-Abteilungen werden da ebenfalls weder die Zeit noch die Expertise haben, das alles abzusichern. Mir kommt das Ganze wie \"ein Ritt auf der Rasierklinge\" vor, wo die Leute sich auch noch freuen, vermeintlich modern zu sein. Sp\u00e4testens bei ersten gr\u00f6\u00dferen Vorf\u00e4llen kommt das b\u00f6se Erwachen und der Katzenjammer \"konnte ja keiner ahnen\". Vom Risiko, dass die von der AI gelieferten Informationen durch Halluzinationen oder bewusste Verf\u00e4lschungen (Stichwort Sabotage) wertlos bzw. falsch sind, will ich erst gar nicht sprechen &#8211; das ist doch alles sattsam bekannt.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>AI bzw. der Gebrauch von Sprachmodellen (LLMs) wie ChatGPT ist ja Dauerthema &#8211; angeblich so wichtig wie geschnitten Brot. Insidern ist klar, dass diese Technologie die gr\u00f6\u00dfte Gefahr f\u00fcr Daten-und Unternehmenssicherheit seit Einf\u00fchrung des Internet ist. Mir sind zwei Informationssplitter &hellip; <a href=\"https:\/\/borncity.com\/blog\/2025\/11\/12\/ai-llms-die-grossen-leaker-der-zukunft\/\">Weiterlesen <span class=\"meta-nav\">&rarr;<\/span><\/a><\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[8625,426],"tags":[8382,4328],"class_list":["post-318042","post","type-post","status-publish","format-standard","hentry","category-ai","category-sicherheit","tag-ai","tag-sicherheit"],"_links":{"self":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/318042","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/comments?post=318042"}],"version-history":[{"count":0,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/318042\/revisions"}],"wp:attachment":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/media?parent=318042"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/categories?post=318042"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/tags?post=318042"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}