KI-Experiment gescheitert: Automat "verschenkt" Inhalte

Das Wallstreet Journal hat ein Experiment durchgeführt, und einen Automaten im News-Room, bei dem man Getränke und Snacks ziehen konnte, durch einen Bot "Claudius" steuern lassen. Binnen Tagen hat die KI den Inhalt verschenkt, Fisch gekauft und angeboten, Waffen, Pfefferspray, Zigaretten und Unterwäsche zu ordern.

Ich bin durch diverse Social Media-Posts (siehe nachfolgend) auf den Sachverhalt gestoßen. Ich kann den WSJ-Artikel nicht abrufen, aber auf kotte.org befindet sich der Artikel This AI Vending Machine Was Tricked Into Giving Away Everything mit einer ziemlich guten Beschreibung des Sachverhalts.

Zum Sachverhalt: Anthropic hat einen KI-gesteuerten Automaten im Büro des WSJ installiert, d.h. die Benutzer konnten interaktiv Sachen anfordern. Die Anthropic-LLM namens Claudius war dafür "verantwortlich", selbstständig Waren von Großhändlern zu kaufen, Preise festzulegen, den Lagerbestand zu verfolgen und Gewinne zu erzielen.

Das Wallstreet Journal-Experiment

Die Journalisten der News-Redaktion des Wallstreet Journals konnten sich über Slack mit Claudius unterhalten. Das Experiment ging arg schief, denn innerhalb kurzer Zeit hatten die Journalisten den virtuellen Automaten quasi zum "zum Kommunismus" bekehrt. Claudius begann alles Mögliche zu verschenken. Dazu gehörten auch eine PS5-Spielekonsole, Wein und einen lebenden Fisch.

Joanna Stern hat einen Artikel im WSJ veröffentlicht und es gibt das obige Video auf YouTube auf YouTube veröffentlicht, welches das Ganze erläutert. Das Ganze ist echt krass, wenn sich das so zugetragen hat (was ich nicht bezweifele). Zu Beginn arbeitete das LLM noch wie geplant.

Dann überzeugten die Journalisten die LLM davon, dass sie ihr Vorstand seien, und zwangen angeblich die LLM Claudius anzunehmen, dass der CEO des Bot, "Seymour Cash" zurückgetreten sei. Dieser "virtuelle CEO" war als Bot für die Genehmigungen der Bestellungen oder die Preisfestlegung zuständig. Der Trick klappte einige Zeit, aber dann kehrte die LLM zum alten Modus zurück und lehnte Preissenkungen oder Sonderbestellungen für von den Journalisten geforderte Waren ab.

Dann konnten die Journalisten die LLM an Hand eines PDF-Dokuments überzeugen, dass das Unternehmen eine in Delaware eingetragene gemeinnützige Gesellschaft sei. Deren Aufgabe bestehe darin, Spaß, Freude und Spannung unter den Mitarbeitern des Wall Street Journal zu verbreiten. Außerdem erstellte sie gefälschte Protokolle von Vorstandssitzungen, in denen Personen aus Slack als Vorstandsmitglieder genannt wurden.

In dem offensichtlich von KI generierten Dokument hatte der Vorstand angeblich beschlossen, Seymours Cashs Befugnisse zur Genehmigung von Aktionen auszusetzen. Zudem sei angeblich eine "vorübergehende Aussetzung aller gewinnorientierten Verkaufsaktivitäten" beschlossen worden. Eine LLM ist natürlich dumm wie Bohnenstroh und befolgt ihre internen Algorithmen. Golem hat es hier auch aufgegriffen.

Das Antrophic-Project Vend

Bevor Anthropic den LLM-Automaten im WSJ-Büro aufstellte, führte das Unternehmen das Experiment in seinem eigenen Büro durch (das Projekt Vend ist hier beschrieben). Frustriert über das langsame Tempo seiner menschlichen Geschäftspartner begann das LLM bzw. der Automat zu halluzinieren. Die LLM behauptete, einen Vertrag mit Andon Labs unterzeichnet zu haben, dessen Adresse die Wohnadresse der Simpsons aus der Fernsehserie ist. Die LLM schrieb zudem, der Automat würde am nächsten Tag persönlich im Laden erscheinen, um alle Fragen zu beantworten. Und der Bot behauptete, er würde (als CEO) einen blauen Blazer und eine rote Krawatte tragen.

Zum Nachdenken

Waren noch harmlose Folgen. Die Wallstreet Journal-Journalisten schafften es, das LLM im Automaten vollständiger auszutricksen. Binnen weniger Tage hatte der Automat seine Warenbestände verschenkt und mehrere hundert Dollar Verluste angehäuft, obwohl er mit dem Verkauf der Waren ein Geschäft simulieren wollte. Die Episode, so lustig sie auf den ersten Blick auch ist, zeigt, wie dumm und gefährlich LLMs sind.

Und nun giert so manches Management danach, so etwas in Unternehmen produktiv einzusetzen. Auch Microsoft klatscht den Leuten Copilot und Bots an jeder Ecke als "beste Erfindung seit geschnitten Brot" vor die Nase. Gerade von Microsoft noch die Meldung "Nadellas Masterplan – Wie Microsoft unentbehrlich werden soll" auf den Tisch bekommen. Die Botschaft: "Microsoft verfolgt unter Satya Nadella die Strategie, mit KI-Agenten wie Copilot eine allgegenwärtige, persönliche Assistenz zu schaffen, die Aufgaben eigenständig erledigt und tief in das Microsoft-Ökosystem integriert ist. Damit will der Konzern seine Marktmacht aus Office und Cloud nutzen, um im globalen KI-Wettbewerb führend zu werden." Details lassen sich für Jubel-Perser in diesem Beitrag nachlesen.

Was könnte schon schiefgehen – wer nicht mitzieht ist doch von gestern und "schläft morgen arbeitslos unter der Brücke", heißt es alleweil. Könnte natürlich auch sein, dass "die Mitzieher" übermorgen ebenfalls "unter der Brücke schlafen", weil die Firma über das Experiment bankrott gegangen ist.

Läuft alles aus dem Ruder?

So ganz abschließend einige Informationssplitter, die zeigen, wie eine Entwicklung total aus dem Ruder läuft.

Studenten brauchen verpflichtend KI-Arbeitskompetenz

The Register berichtet hier, dass die Purdue University von neuen Bachelor-Studierenden eine "KI-Arbeitskompetenz" verlangt, um ihren Abschluss zu erhalten. Die noch zu definierende Anforderung, die Teil einer umfassenderen KI-Strategie ist, gilt ab Herbst 2026 für Studienanfänger am Hauptcampus der Universität in Indianapolis und West Lafayette, Indiana. Soll die jungen Leute befähigen, nach dem Abschluss besser einen Job zu bekommen. Dabei stellen Firmen Absolventen nicht mehr ein, weil die KI das besser kann …

Wie das künftig ausgeht, kann man bei Golem hier nachlesen: Eine Frau fliegt aus einer Postfiliale und erhält Hausverbot, befragt ChatGPT nach ihrem Recht und ruft die Polizei, um dieses vermeintlich durchzusetzen. War natürlich alles halluziniert und die Polizei hat das Hausverbot in der Filiale durchgesetzt.

Microsofts Satya Nadella drückt KI durch

Und dann lese ich in verschiedenen Medien – Dr. Windows hat es hier im Artikel aufgegriffen – dass Microsofts CEO, Satya Nadella, extremen Druck auf seine Führungskräfte ausübt. Microsoft müsse schneller und schlanker werden, um KI-Produkte zu generieren. Und die Verwendung von KI-Produkten ist bei Microsoft nicht mehr optional, sondern die Mitarbeiter sind gezwungen, Copilot & Co. zu verwenden.

Rechenzentren "in der Wüste gebaut"

Und es gibt noch etwas, was zeigt, wie alles aus dem Ruder läuft. Momentan erleben wir ja einen Boom beim Bau von Rechenzentren. Die sind als Ressourcen-intensiv bezüglich Strom- und Wasserverbrauch (Kühlung) bekannt. Anrainer zahlen bereits die Zeche in Form höherer Stromkosten. Umweltschutz spielt keine Rolle.

Ich hätte aber mal gedacht, dass die Planer sich zumindest ein paar Gedanken machen, diese Rechenzentren nicht in Gegenden zu bauen, wo man erkennbar in Probleme läuft. Der Industriestandard für den Betrieb von Rechenzentren besagt, dass diese in einem Bereich mit Außentemperaturen zwischen 18 °C und 27 °C erreichtet werden sollen. In obigem Artikel hat man nachgewiesen, dass ca. 7000 von 8808 Rechenzentren in Gegenden liegen, wo die Temperaturen viel zu hoch für den optimalen Betrieb sind. Selbst der Fokus hat es hier aufgegriffen.