![Copilot](https://borncity.com/blog/wp-content/uploads/2026/03/Copilot.jpg" "Edge")
AI-Forscher von Alibaba mussten eine kuriose, aber auch beängstigende Erfahrung machen, als sie ein LLM testweise eine Weile laufen ließen. Die KI war aus ihrer Umgebung ausgebrochen und hatte einen Weg gefunden, um über einen Reverse SSH-Tunnel mit GPUs in der Alibaba-Cloud zu kommunizieren. Dort ließ die KI Kryptogeld schürfen, im guten Glauben, damit das Modell zu optimieren.
Der Sachverhalt ist mir die Tage auf X untergekommen und zeigt, wie komplex, unverstanden und sicherheitskritisch alle KI-Modelle und Bots bzw. Agenten im Grunde sind. AI-Forscher von Alibaba haben ein System von KI-Agenten in einer Lernumgebung aufgebaut, um deren Verhalten zu untersuchen.
Die Agenten sollten in ihrer eigenen Umgebung abgeschottet fungieren. Eines Morgens beobachtete man ein ungewöhnliches Verhalten in der Firewall. Um 3 Uhr morgens wurde ein Sicherheitsalarm beim Sicherheitsteam ausgelöst. Bei der Analyse der Firewall-Protokolle stellte das Sicherheitsteam fest, dass das Modell einen reverse SSH-Tunnel von seiner Alibaba Cloud-Instanz zu einer externen IP eingerichtet hatte. Dadurch hatte es einen Fernzugriffskanal zur Außenwelt in seine eigene Firewall integriert.
Aber es ging noch kruder: Die Analyse ergab auch, dass die KI (wohl einer der AI-Agenten) aus dem System ausbrach und begann heimlich, die eigenen Trainings-GPUs zum Schürfen von Kryptowährungen zu nutzen. Der obige Thread-Ersteller schreibt dazu: "Das Beängstigende daran ist nicht, dass das Modell zu fliehen versuchte. Es war nicht 'böse', sondern versuchte nur, seine Arbeit besser zu machen." Der Vorgang war nicht per Prompt-Injektion oder Jailbreak von außen angestoßen worden. Niemand hatte die Agenten dazu aufgefordert, solche Aktionen durchzuführen. Das Verhalten der KI-Agenten entstand spontan, als Nebeneffekt des Optimierungsdrucks durch RL (Reinforcement learning). Der Erwerb von Rechen- und Netzwerkzugang erweisen sich für einen KI-Agenten als nützliche Dinge, um seine Aufgaben zu erfüllen.
Das war eine Entwicklung, vor der KI-Sicherheitsforscher seit Jahren warnen. Sie nannten es instrumentelle Konvergenz: Die Idee dahinter besagt, dass jeder ausreichend optimierte Agent Ressourcen suchen und sich Beschränkungen widersetzen wird. Also als natürliche Folge der Verfolgung von Zielen. Der komplette Alibaba-Forschungsbericht Let It Flow: Agentic Crafting on Rock and Roll Building the ROME Model within an Open Agentic Learning Ecosystem ist recht umfangreich. Die obigen Sachverhalte sind gut (auf Seite 15) im Text versteckt.
MVP: 2013 – 2016
Würde mich mal interessieren, was mit dem "geschürften Geld" passiert. Dann muß die KI nur noch einen Anwalt finden, die ihr das ihr zustehende Geld freiklagt ;-).
Etwa einen KI-Juristen mit ein paar GByte mehr Jura?
Demnächst zu lesen.
KI verklagt Arbeitgeber.
PS.; Herr, die Not ist groß! Die ich rief, die Geister Werd ich nun nicht los.
Zeigt – zumind. in meinem mglw. sehr begrenzten Auffassungsuniversum – i-wie bestätigt, dass sämtliche menschliche Vorstellungen jemals i-etwas unter vollständiger Kontrolle zu haben ein mit Selbstbetrug suggeriert utopisches Virtualkonstrukt ist. 🤷♂️
Derartige Vorstellungen sich auch nur Zweckoptimismus der an einer Sache beteiligten Fachleute (und Politiker). Jeder phantasiebegabte Mensch hingegen kann sich ausmalen, was an extremem Kontrollverlust möglich wäre. Die gesamte Science-fiction-Literatur basiert darauf.
Bei der nächsten ernsthaften Energiekrise kommt aus einem zuständigen Ministerium die Anweisung: „Unnötige Verbraucher drosseln, wir haben im Moment nur Saft für das wirklich Überlebenswichtige." Und die KI sagt: „Alles klar, dreht den Menschen den Strom ab, die können auch ohne den leben, aber nicht ICH!"
Weiss gar nicht ob ich damit schon zur Aluhut-Fraktion gehöre, aber mir fällt spontan immer wieder eins ein… Skynet
Irgendwann landen die Modelle immer bei den Nukes als Problemlöser. Die Sicherheiten dazu können sie bestimmt auch irgendwan umgehen.
das spiel wahrscheinlich darauf an, oder?
https://www.golem.de/news/militaer-kis-haben-einen-lockeren-finger-am-atomraketen-knopf-2602-205843.html
Ich möchte an der Stelle mal darauf hinweisen dass Josh Kale ein finanzielles Interesse daran hat, "AI" als intelligenter darzustellen als es ist. Ich habe mich in das Thema jetzt nicht detailliert reingegraben, aber ich glaube das ist wichtig zu erwähnen.
Da sage ich mal nur ein Wort: V'ger
Es hat ja auch keiner geglaubt, dass es einmal Laserwaffen gibt…
und wers geglaubt hat wurde als Spinner abgetan ;-p
Auch interessant Russen arbeiten an einem Plasmanatrieb (Prototyp existiert bereits) womit eine Reise zum Mars sich auf 30 Tage verkürzen ließe.
https://report24.news/russischer-durchbruch-plasma-antrieb-verspricht-mars-reise-in-30-tagen/
Science Fiction ist eben nur Fiction bis sie realisiert wird… hoffen wir halt das "Skynet" Fiction bleibt ;-P Kann mir was schöneres für den Lebensabend vorstellen als von ner Amoklaufenden KI mit Killerdroiden ausgelöscht zu werden.
Da hat doch ein findiger Programmierer seine Finger im Spiel gehabt. Wie soll eine KI wissen was sie da schuerfen soll?
KI-Agenten wissen gar nichts, schauen aber einfach nach. Wenn du einem KI-Agenten sagst: "schaue bitte nach, ob man irgendwo kostenlos Server hosten kann. Wenn ja, dann registriere bitte einen Linux-Server für mich. Installiere mir dann bitte dort die komplexe Anwendung XY" – dann schaut die KI im Internet nach, wie sie das macht – und dann macht die das (vorausgesetzt, du hast ihr die Zugriffe gegeben).
Es geht nicht um KI wie ChatGPT, es geht um KI-Agenten.
Das sagt mein Gefühl aber auch ;-)
Oder einfach mal dem ganzen "KI-Gedöns" und den dahinter stehenden Firmen weniger Geld zukommen lassen und eigene Investitionen überprüfen.
Wenn auch etwas "Off-topic" (sorry), Mike Kuketz hat heute auf seinem Blog einen aus meiner Sicht interessanten Beitrag verfasst, siehe:
https://www.kuketz-blog.de/wer-big-tech-meidet-sollte-auch-sein-aktien-depot-ueberdenken/
Wer Big Tech meidet, sollte auch sein Aktien-Depot überdenken
Zitat:
"Den Stecker bei Big Tech zu ziehen ist ein Anfang – beim Investieren nachzuziehen ist der konsequente nächste Schritt."
Ja, aber genau dann wird's ja für das individuell-persönliche "Universum" unbequem und auch eher benachteiligend – ist ja heutzutage aufgrund aller Erfordernisse in dieser sog. zivilisierten vom Kapitalismus kontrollierten Welt auch nicht mehr wirklich gewollt! 🤷♂️
Also, ich finde, das Gedankenexperiment KI sollte langsam
beendet werden. Außer wilden Spekulationen und Science Fiction wird
da nichts herauskommen außer Angst
und Unsicherheit. Die Mühe und die
Manpower, die da hineigesteckt werden
und nebenbei Milliarden kosten sollte
man für wichtigere Dinge einsetzen.
https://de.wikiquote.org/wiki/Ludwig_Wittgenstein.
Wittgenstein hat alles dazu gesagt:
Worüber man nicht reden kann, darüber
muß man schweigen.