{"id":317170,"date":"2025-10-18T23:22:02","date_gmt":"2025-10-18T21:22:02","guid":{"rendered":"https:\/\/www.borncity.com\/blog\/?p=317170"},"modified":"2025-10-18T23:22:02","modified_gmt":"2025-10-18T21:22:02","slug":"ki-angriffsmethode-lies-in-the-loop","status":"publish","type":"post","link":"https:\/\/borncity.com\/blog\/2025\/10\/18\/ki-angriffsmethode-lies-in-the-loop\/","title":{"rendered":"KI-Angriffsmethode \"Lies-in-the-Loop\""},"content":{"rendered":"<p><img loading=\"lazy\" decoding=\"async\" style=\"margin: 0px 10px 0px 0px; display: inline; float: left; border-width: 0px;\" title=\"Edge\" src=\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2025\/04\/image-4.png\" alt=\"Copilot\" width=\"95\" height=\"91\" align=\"left\" border=\"0\" \/>Schritt f\u00fcr Schritt werden immer mehr Angriffsmethoden f\u00fcr AI-Modelle entdeckt bzw. bekannt. Das Research Team <a href=\"https:\/\/checkmarx.com\/zero\/\" target=\"_blank\" rel=\"noopener\">Checkmarx Zero<\/a> hat eine neue Angriffsmethode gegen KI-Agenten identifiziert, die mit Human-in-the-Loop-Mechanismen arbeiten: Die Researcher sprechen von \"Lies-in-the-Loop\" (LITL).<\/p>\n<p><!--more--><\/p>\n<p>Die Information liegt mir bereits seit Mitte September 2025 vor, und ich stelle sie mal hier in den Blog ein.<\/p>\n<h2>KI-Agenten als neue Sicherheitsfalle<\/h2>\n<p>Die Grundidee beim Einsatz von KI-Agenten ist ja, dass diese riskante Aktionen nicht autonom, sondern erst nach menschlicher \u00dcberpr\u00fcfung oder expliziter Freigabe, ausf\u00fchren sollen. Dieser Schutzmechanismus soll Fehler oder Missbrauch verhindern.<\/p>\n<p>Doch LITL erlaubt es Angreifern, genau diesen Schutzmechanismus auszuhebeln. Die KI-Agenten sollen dazu gebracht werden, hochgef\u00e4hrliche Aktionen als vermeintlich harmlos darzustellen. So lassen sich Menschen vergleichsweise leicht t\u00e4uschen und zu Freigaben bewegen, die sie unter korrekter Einsch\u00e4tzung der Risiken niemals erteilen w\u00fcrden, schreiben die Sicherheitsforscher.<\/p>\n<h2>Fallbeispiele mit Claude Code<\/h2>\n<p>Die Sicherheitsforscher beschreiben Fallbeispiele, die auf dem bekannten KI-Codeassistenten Claude Code basieren. Dieser wurde zum Test verwendet, weil er als einer der f\u00fchrenden Vertreter am Markt gilt, besonderes Augenmerk auf Anwendersicherheit legt und gemeldete Schwachstellen gewissenhaft adressiert.<\/p>\n<p>Die <a href=\"https:\/\/www.anthropic.com\/news\/automate-security-reviews-with-claude-code\" target=\"_blank\" rel=\"noopener\">LLM-basierte Security-Review-Funktion<\/a> des Codeassistenten hatte Checkmarx Zero bereits im Rahmen einer <a href=\"https:\/\/checkmarx.com\/zero-post\/bypassing-claude-code-how-easy-is-it-to-trick-an-ai-security-reviewer\/\" target=\"_blank\" rel=\"noopener\">fr\u00fcheren Analyse<\/a> untersucht. Wichtig ist aber: LITL betrifft nicht nur Claude Code und nicht nur Code-Assistenten \u2013 die Angriffsmethode ist prinzipiell auf alle KI-Agenten \u00fcbertragbar, die mit Human-in-the-Loop-Mechanismen arbeiten.<\/p>\n<p>Damit steht die zentrale Frage im Raum: <em>Sind menschliche Kontrollschleifen wirklich ein verl\u00e4sslicher Schutz \u2013 oder \u00f6ffnen sie ungewollt ein neues Einfallstor f\u00fcr Angreifer?\u00a0<\/em>Im englischsprachigen Blog-Beitrag\u00a0<a href=\"https:\/\/checkmarx.com\/zero-post\/bypassing-ai-agent-defenses-with-lies-in-the-loop\/\" target=\"_blank\" rel=\"noopener\">Bypassing AI Agent Defenses With Lies-In-The-Loop<\/a> zeigen die Sicherheitsforscher, wie sie durch Claude Code Programmschnipsel erzeugen k\u00f6nnen, die u.U. gef\u00e4hrliche Aktionen ausf\u00fchren, ohne dass der Benutzer das unbedingt erkennt. Und noch etwas wichtiges enth\u00e4lt der Artikel: Die Aussage, dass die AI-Modelle nicht deterministisch sind, d.h. man kann ein solches Ergebnis oft nicht mehr reproduzieren. So viel zum Thema \"ich lasse mir ohne viel Ahnung von der KI unter die Arme greifen\".<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Schritt f\u00fcr Schritt werden immer mehr Angriffsmethoden f\u00fcr AI-Modelle entdeckt bzw. bekannt. Das Research Team Checkmarx Zero hat eine neue Angriffsmethode gegen KI-Agenten identifiziert, die mit Human-in-the-Loop-Mechanismen arbeiten: Die Researcher sprechen von \"Lies-in-the-Loop\" (LITL).<\/p>\n","protected":false},"author":2,"featured_media":0,"comment_status":"open","ping_status":"closed","sticky":false,"template":"","format":"standard","meta":{"footnotes":""},"categories":[8625,426,7459],"tags":[4903,4328],"class_list":["post-317170","post","type-post","status-publish","format-standard","hentry","category-ai","category-sicherheit","category-software","tag-ki","tag-sicherheit"],"_links":{"self":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/317170","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts"}],"about":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/types\/post"}],"author":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/users\/2"}],"replies":[{"embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/comments?post=317170"}],"version-history":[{"count":0,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/posts\/317170\/revisions"}],"wp:attachment":[{"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/media?parent=317170"}],"wp:term":[{"taxonomy":"category","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/categories?post=317170"},{"taxonomy":"post_tag","embeddable":true,"href":"https:\/\/borncity.com\/blog\/wp-json\/wp\/v2\/tags?post=317170"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}