![\"Copilot\"](\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2026\/03\/Copilot.jpg"\" "\\"Edge\\"")
AI-Forscher von Alibaba mussten eine kuriose, aber auch be\u00e4ngstigende Erfahrung machen, als sie ein LLM testweise eine Weile laufen lie\u00dfen. Die KI war aus ihrer Umgebung ausgebrochen und hatte einen Weg gefunden, um \u00fcber einen Reverse SSH-Tunnel mit GPUs in der Alibaba-Cloud zu kommunizieren. Dort lie\u00df die KI Kryptogeld sch\u00fcrfen, im guten Glauben, damit das Modell zu optimieren.<\/p>\n
<\/p>\n
Der Sachverhalt ist mir die Tage auf X untergekommen und zeigt, wie komplex, unverstanden und sicherheitskritisch alle KI-Modelle und Bots bzw. Agenten im Grunde sind. AI-Forscher von Alibaba haben ein System von KI-Agenten in einer Lernumgebung aufgebaut, um deren Verhalten zu untersuchen.<\/p>\n
Die Agenten sollten in ihrer eigenen Umgebung abgeschottet fungieren. Eines Morgens beobachtete man ein ungew\u00f6hnliches Verhalten in der Firewall. Um 3 Uhr morgens wurde ein Sicherheitsalarm beim Sicherheitsteam ausgel\u00f6st. Bei der Analyse der\u00a0Firewall-Protokolle stellte das Sicherheitsteam fest, dass das Modell einen reverse SSH-Tunnel von seiner Alibaba Cloud-Instanz zu einer externen IP eingerichtet hatte. Dadurch hatte es einen Fernzugriffskanal zur Au\u00dfenwelt in seine eigene Firewall integriert.<\/p>\n Aber es ging noch kruder: Die Analyse ergab auch, dass die KI (wohl einer der AI-Agenten) aus dem System ausbrach und begann heimlich, die eigenen Trainings-GPUs zum Sch\u00fcrfen von Kryptow\u00e4hrungen zu nutzen. Der obige Thread-Ersteller schreibt dazu<\/a>: \"Das Be\u00e4ngstigende daran ist nicht, dass das Modell zu fliehen versuchte. Es war nicht 'b\u00f6se', sondern versuchte nur, seine Arbeit besser zu machen.\" Der Vorgang war nicht per\u00a0Prompt-Injektion oder Jailbreak von au\u00dfen angesto\u00dfen worden. Niemand hatte die Agenten dazu aufgefordert, solche Aktionen durchzuf\u00fchren. Das Verhalten der KI-Agenten entstand spontan, als Nebeneffekt des Optimierungsdrucks durch RL (Reinforcement learning<\/em>).\u00a0Der Erwerb von Rechen- und Netzwerkzugang erweisen sich f\u00fcr einen KI-Agenten als n\u00fctzliche Dinge, um seine Aufgaben zu erf\u00fcllen.<\/p>\n Das war eine Entwicklung, vor der KI-Sicherheitsforscher seit Jahren warnen. Sie nannten es instrumentelle Konvergenz: Die Idee dahinter besagt, dass jeder ausreichend optimierte Agent Ressourcen suchen und sich Beschr\u00e4nkungen widersetzen wird. Also als nat\u00fcrliche Folge der Verfolgung von Zielen. Der komplette Alibaba-Forschungsbericht\u00a0Let It Flow: Agentic Crafting on Rock and Roll Building the ROME Model within an Open Agentic Learning Ecosystem<\/a> ist recht umfangreich. Die obigen Sachverhalte sind gut (auf Seite 15) im Text versteckt.<\/p>\n","protected":false},"excerpt":{"rendered":" AI-Forscher von Alibaba mussten eine kuriose, aber auch be\u00e4ngstigende Erfahrung machen, als sie ein LLM testweise eine Weile laufen lie\u00dfen. Die KI war aus ihrer Umgebung ausgebrochen und hatte einen Weg gefunden, um \u00fcber einen Reverse SSH-Tunnel mit GPUs in … Weiterlesen ![\"Alibaba](\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2026\/03\/AlibabaKI.jpg\")
<\/a><\/p>\n