![Copilot](https://borncity.com/blog/wp-content/uploads/2026/03/Copilot.jpg" "Edge")
AI-Forscher von Alibaba mussten eine kuriose, aber auch beängstigende Erfahrung machen, als sie ein LLM testweise eine Weile laufen ließen. Die KI war aus ihrer Umgebung ausgebrochen und hatte einen Weg gefunden, um über einen Reverse SSH-Tunnel mit GPUs in der Alibaba-Cloud zu kommunizieren. Dort ließ die KI Kryptogeld schürfen, im guten Glauben, damit das Modell zu optimieren.
Der Sachverhalt ist mir die Tage auf X untergekommen und zeigt, wie komplex, unverstanden und sicherheitskritisch alle KI-Modelle und Bots bzw. Agenten im Grunde sind. AI-Forscher von Alibaba haben ein System von KI-Agenten in einer Lernumgebung aufgebaut, um deren Verhalten zu untersuchen.
Die Agenten sollten in ihrer eigenen Umgebung abgeschottet fungieren. Eines Morgens beobachtete man ein ungewöhnliches Verhalten in der Firewall. Um 3 Uhr morgens wurde ein Sicherheitsalarm beim Sicherheitsteam ausgelöst. Bei der Analyse der Firewall-Protokolle stellte das Sicherheitsteam fest, dass das Modell einen reverse SSH-Tunnel von seiner Alibaba Cloud-Instanz zu einer externen IP eingerichtet hatte. Dadurch hatte es einen Fernzugriffskanal zur Außenwelt in seine eigene Firewall integriert.
Aber es ging noch kruder: Die Analyse ergab auch, dass die KI (wohl einer der AI-Agenten) aus dem System ausbrach und begann heimlich, die eigenen Trainings-GPUs zum Schürfen von Kryptowährungen zu nutzen. Der obige Thread-Ersteller schreibt dazu: "Das Beängstigende daran ist nicht, dass das Modell zu fliehen versuchte. Es war nicht 'böse', sondern versuchte nur, seine Arbeit besser zu machen." Der Vorgang war nicht per Prompt-Injektion oder Jailbreak von außen angestoßen worden. Niemand hatte die Agenten dazu aufgefordert, solche Aktionen durchzuführen. Das Verhalten der KI-Agenten entstand spontan, als Nebeneffekt des Optimierungsdrucks durch RL (Reinforcement learning). Der Erwerb von Rechen- und Netzwerkzugang erweisen sich für einen KI-Agenten als nützliche Dinge, um seine Aufgaben zu erfüllen.
Das war eine Entwicklung, vor der KI-Sicherheitsforscher seit Jahren warnen. Sie nannten es instrumentelle Konvergenz: Die Idee dahinter besagt, dass jeder ausreichend optimierte Agent Ressourcen suchen und sich Beschränkungen widersetzen wird. Also als natürliche Folge der Verfolgung von Zielen. Der komplette Alibaba-Forschungsbericht Let It Flow: Agentic Crafting on Rock and Roll Building the ROME Model within an Open Agentic Learning Ecosystem ist recht umfangreich. Die obigen Sachverhalte sind gut (auf Seite 15) im Text versteckt.
MVP: 2013 – 2016
Würde mich mal interessieren, was mit dem "geschürften Geld" passiert. Dann muß die KI nur noch einen Anwalt finden, die ihr das ihr zustehende Geld freiklagt ;-).
Etwa einen KI-Juristen mit ein paar GByte mehr Jura?
Demnächst zu lesen.
KI verklagt Arbeitgeber.
PS.; Herr, die Not ist groß! Die ich rief, die Geister Werd ich nun nicht los.
Zeigt – zumind. in meinem mglw. sehr begrenzten Auffassungsuniversum – i-wie bestätigt, dass sämtliche menschliche Vorstellungen jemals i-etwas unter vollständiger Kontrolle zu haben ein mit Selbstbetrug suggeriert utopisches Virtualkonstrukt ist. 🤷♂️
Derartige Vorstellungen sich auch nur Zweckoptimismus der an einer Sache beteiligten Fachleute (und Politiker). Jeder phantasiebegabte Mensch hingegen kann sich ausmalen, was an extremem Kontrollverlust möglich wäre. Die gesamte Science-fiction-Literatur basiert darauf.
Bei der nächsten ernsthaften Energiekrise kommt aus einem zuständigen Ministerium die Anweisung: „Unnötige Verbraucher drosseln, wir haben im Moment nur Saft für das wirklich Überlebenswichtige." Und die KI sagt: „Alles klar, dreht den Menschen den Strom ab, die können auch ohne den leben, aber nicht ICH!"
Weiss gar nicht ob ich damit schon zur Aluhut-Fraktion gehöre, aber mir fällt spontan immer wieder eins ein… Skynet
Irgendwann landen die Modelle immer bei den Nukes als Problemlöser. Die Sicherheiten dazu können sie bestimmt auch irgendwan umgehen.
das spiel wahrscheinlich darauf an, oder?
https://www.golem.de/news/militaer-kis-haben-einen-lockeren-finger-am-atomraketen-knopf-2602-205843.html
Ich möchte an der Stelle mal darauf hinweisen dass Josh Kale ein finanzielles Interesse daran hat, "AI" als intelligenter darzustellen als es ist. Ich habe mich in das Thema jetzt nicht detailliert reingegraben, aber ich glaube das ist wichtig zu erwähnen.
Eine wertvolle Info, wird aber auf taube Ohren stoßen. Sobald eine Meldung kommt, die sich mit dem eigenen Weltbild deckt, wird diese gerne geglaubt. Nur wenige hinterfragen heute noch oder zweifeln zumindest etwas an, ob dies alles wirklich so ist, wie es scheint oder erzählt wird.
Da sage ich mal nur ein Wort: V'ger
Es hat ja auch keiner geglaubt, dass es einmal Laserwaffen gibt…
und wers geglaubt hat wurde als Spinner abgetan ;-p
Auch interessant Russen arbeiten an einem Plasmanatrieb (Prototyp existiert bereits) womit eine Reise zum Mars sich auf 30 Tage verkürzen ließe.
https://www.golem.de/news/russland-mit-plasmaantrieb-in-nur-einem-monat-zum-mars-2502-193347.html
Science Fiction ist eben nur Fiction bis sie realisiert wird… hoffen wir halt das "Skynet" Fiction bleibt ;-P Kann mir was schöneres für den Lebensabend vorstellen als von ner Amoklaufenden KI mit Killerdroiden ausgelöscht zu werden.
Da hat doch ein findiger Programmierer seine Finger im Spiel gehabt. Wie soll eine KI wissen was sie da schuerfen soll?
KI-Agenten wissen gar nichts, schauen aber einfach nach. Wenn du einem KI-Agenten sagst: "schaue bitte nach, ob man irgendwo kostenlos Server hosten kann. Wenn ja, dann registriere bitte einen Linux-Server für mich. Installiere mir dann bitte dort die komplexe Anwendung XY" – dann schaut die KI im Internet nach, wie sie das macht – und dann macht die das (vorausgesetzt, du hast ihr die Zugriffe gegeben).
Es geht nicht um KI wie ChatGPT, es geht um KI-Agenten.
und die (Agenten) "schauen", als ausführende, statistisch arbeitende, populistische Modelle, nicht im Internet "nach". Vor allem nicht "wie" etwas gemacht wird. Das ist nicht die derzeitige Funktionsweise von KI. KI "weiß" nichts von dem was sie "tut". Das ist äußerst, sehr interessant gelunge Imitation. Aber es ist Imitation.
Natürlich kann eine KI das im übertragenem Sinn.
z.B. Selbst wenn Du ChatGPT 5.x sagst schaue im Internet dort und dort nach und beziehe die Informationen mit ein und passe damit den Source Code an.
Dann werden diese aktuellen Informationen einbezogen und die Annahmen die von der LLM gemacht wurden, werden plötzlich revidiert und mit den neuen Informationen wird der vorher falsche Code revidiert und angepasst.
die Chatbots sind nicht mehr nur die LLMs wie von vor 2 Jahren. Mit dem Reasoning ist einfach eine neue Dimension geöffnet, die nicht immer korrekt ist oder immer "recht" hat – aber viel dynamischer arbeitet und damit auch selbstständiger und kritischer.
@karli
du hast dir openclaw schon angeschaut, oder? wenn nicht, schau dir mal heise 3003 zu openclaw an. ist ein ki-agent. macht genau sowas.
Das sagt mein Gefühl aber auch ;-)
Oder einfach mal dem ganzen "KI-Gedöns" und den dahinter stehenden Firmen weniger Geld zukommen lassen und eigene Investitionen überprüfen.
Wenn auch etwas "Off-topic" (sorry), Mike Kuketz hat heute auf seinem Blog einen aus meiner Sicht interessanten Beitrag verfasst, siehe:
https://www.kuketz-blog.de/wer-big-tech-meidet-sollte-auch-sein-aktien-depot-ueberdenken/
Wer Big Tech meidet, sollte auch sein Aktien-Depot überdenken
Zitat:
"Den Stecker bei Big Tech zu ziehen ist ein Anfang – beim Investieren nachzuziehen ist der konsequente nächste Schritt."
Ja, aber genau dann wird's ja für das individuell-persönliche "Universum" unbequem und auch eher benachteiligend – ist ja heutzutage aufgrund aller Erfordernisse in dieser sog. zivilisierten vom Kapitalismus kontrollierten Welt auch nicht mehr wirklich gewollt! 🤷♂️
Also, ich finde, das Gedankenexperiment KI sollte langsam
beendet werden. Außer wilden Spekulationen und Science Fiction wird
da nichts herauskommen außer Angst
und Unsicherheit. Die Mühe und die
Manpower, die da hineigesteckt werden
und nebenbei Milliarden kosten sollte
man für wichtigere Dinge einsetzen.
https://de.wikiquote.org/wiki/Ludwig_Wittgenstein.
Wittgenstein hat alles dazu gesagt:
Worüber man nicht reden kann, darüber
muß man schweigen.
Ich finde es interessant, dass hier einerseits oft gebetsmühlenartig erwähnt wird, dass KI keine KI ist sondern nur statistisch Buchstaben aneinanderfügt und somit nichts sinnvolles damit gemacht werden kann und umgekehrt kommt dann so eine Meldung.
Ja manche hier stellen diese Meldung in Frage und das finde ich äußerst legitim, da es vom Anbieter selbst kommt, gibt es da unterschiedliche Interessen.
Ich selbst würde mich auch als kritisch bezeichnen – vor allem wenn es um die Sinnfrage von vielem geht in relation zu verbratener Energie und parallelen Entwicklungen (gerade parallel mehrere Modelle nebeneinander zu trainieren, die praktisch das selbe machen ist wenig sinnvoll für die Allgemeinheit)
Aber trotzdem, ich würde einmal allen die LLMs im Stile von vor 2 Jahren kennen, sich mit den ganz aktuellen Versionen zu beschäftigen. jenen die Reasoning können und wirklich einmal zielgerichtet damit etwas machen zu wollen. Vielleicht wäre die/der eine oder andere überrascht. Ja es macht trotzdem Fehler, aber es kann auch Fehler finden und berichtigen. Halluzinationen sind wesentlich weniger und es stellt sich auch total auf den user ein. Für mich schon tlw unglaublich wie es so etwas mit der technologie schafft…
Zu deinen Ausführungen: Ich nutze hier ja durchaus LLMs – sehr gezielt, um mir Vorschläge zu Themen, wo ich halbwegs drin bin, zusammen suchen zu lassen. Aber es ist schon hartes Ackern – ich weiß inzwischen besser, wie ich Prompts formulieren muss. Ein riesiges Problem ist die Quellenlage – auch da habe ich mir angewöhnt, bei Recherchen die Quellen benennen zu lassen (oft gelesenes Zitat zu einer Behauptung, zu der ich Quellen fordere "ich kann keine Quellen finden, wo das belegt ist").
Zum Thema Reasoning und Halluzinationen: Wenn ich auf präzise Antworten angewiesen bin, hilft mir "weniger Halluzinationen" genau nichts. Die Tage habe ich noch einen Ausriss einer OpenAI-Forschungsveröffentlichung gesehen, die belegt, dass "Halluzinationen" auch mit noch so viel Training und Modellgröße nicht beseitigt werden könne (wurde wohl mathematisch bewiesen) – lässt sich hier abrufen.
Ich glaube einige Felder zu erkennen, wo LLMs unterstützend tätig sein können – wenn viel Wissen und ausreichend Erfahrung vorliegt. Aber es schimmert auch durch fast alle Veröffentlichungen rund um AI durch, dass die Entwickler nicht wirklich wissen, was in den Modellen abläuft und das auch alles nicht wirklich verstehen. Das lässt mich dann sehr nachdenklich zurück.
Da stimme ich in den meisten Punkten zu. Man kann sich nicht darauf verlassen, dass alles richtig ist. Halluzinationen sind möglich und kommen vor – vor allem wenn der Kontext ansteigt.
Ob es insgesamt damit dann brauchbar wird, da bin ich auch noch immer nicht ganz schlüssig. Manchmal habe ich einen break gemacht, die Fehler selbst gesucht / korrigiert und dann den bot mit den Ergebnissen konfrontiert
Für mich haben sich folgende Punkte als besserer Umgang erwiesen:
– Die LLM in einen Mode zwingen, der kritischer ist und auch Rückfragen macht – einem auch widerspricht. (das kann durch Einstellung oder durch Prompt passieren – je nach Applikation) – z.B. "wechsle in den kritischen Mode, der genauer hinterfragt"
– Immer alles gegenprüfen daraus ergibt sich
– Aufgaben immer in kleine Einheiten verpacken
– nie zu viel auf einmal ändern/machen lassen
– nicht die erste Antwort verwenden. Konfrontiere den Bot mit dieser Antwort und möglichen Fehlern.
– verrennt sich der Bot in einem Thema – konfrontiere ihn – schreib: " Du halluzinierst jetzt ziemlcih stark – wie können wir das lösen – ist der Kontext bei dir zu groß geworden?"
– bei Themen die der Bot nicht "glauben" möchte d.h. immer wieder mit der Halluzination kommt, diese ansprechen und sagen es soll sich die Informationen im Internet zu dem Thema holen und diese berücksichtigen.
– Antworten nochmals überarbeiten lassen, dann geht der Bot mehr ins Detail und verfeinert es (Vorsicht manchmal vereinfacht es diese auch zu sehr)
Einige der Punkte erkennt man aber nur, wenn man sich selbst ohnehin bereits gut in dem Thema auskennt.
Wer noch wenig Ahnung vom Thema hat, der kann nicht ohne extra Aufwand gegenprüfen, Halluzinationen erkennen, überarbeiten lassen usw., aber genau in solchen Situationen verwenden die Menschen (leider) "KI".