Anthropic KI-Forscher kündigt, und sieht mit anderen Spezialisten die Menschheit durch KI bedroht

Wird es in einigen Jahren keine Menschheit mehr geben, weil AI-Systeme übernommen haben? Dieses Szenario wurde bereits seit Jahren von einigen AI-Sicherheitsforschern skizziert. Dann hieß es "alles Übertreibung". Nun hat Jacob Coxon, ein KI-Forscher bei Anthropic gekündigt, und warnt "vor dem Ende der Menschheit durch KI". Mir ist zudem die Tage ein Podcast mit einem KI-Sicherheitsforscher untergekommen, der dieses Szenario ebenfalls nicht ausschließt.

Anthropic-Forscher Jacob Coxon kündigt wegen AI-Risiko

Der 1999 geborene Jacob Coxon ist ein französisch-britischer Technologieforscher, der bei den KI-Unternehmen OpenAI und Anthropic tätig war. Gerade hat Coxon bei Anthropic mit einem Paukenschlag gekündigt. In einer Reihe an Tweets erläutert der Forscher seine gewichtigen Gründe für den Exit.

Coxon, der in den letzten drei Jahren sowohl bei OpenAI als auch bei Anthropic im Bereich der KI-Vortrainingsforschung gearbeitet hat, begründet seine Kündigung bei Anthropic damit, dass keines der beiden Unternehmen verantwortungsbewusst handelt. Sie liefern sich "ein Rattenrennen", in dem sie geradewegs auf eine sich selbst verbessernde Superintelligenz (AGI) zurasen und mit dem Leben bzw. der Existenz der Menschheit spielen, lautet der Vorwurf.

Coxon schreibt in seiner Warnung dazu: "Unterschätzen Sie nicht die Leistungsfähigkeit dieser Technologie. Bald wird es übermenschliche Systeme geben, die alles hacken, jeden Bereich über Nacht revolutionieren und echte Macht und Ressourcen an sich reißen können. Wir alle haben die Fortschritte in jedem dieser Bereiche miterlebt, und diese Fortschritte nehmen nicht ab."

Nach Ansicht vieler Sicherheitsforscher ist die KI-Entwicklung außer Kontrolle geraten. Coxon sagt dazu, dass die Menschen, die KI-Modelle entwickeln, fest davon überzeugt seien, dass diese die Menschzeit bis zum Ende dieses Jahrzehnts auslöschen könnte. Das sei kein Marketing-Gag. Wenn überhaupt, würde viele Führungskräfte und leitende Forscher ihre Formulierungen zu diesem Thema für die Presse bewusst so wählen, dass sie vernünftig klingen. Coxon sagt, dass dieselben Leute ihre Ängste zum obigen Thema in Hintergrundgesprächen zum Ausdruck bringen.

Die häufig gestellte Frage: "Wenn sie das wirklich glauben, warum entwickeln sie es dann überhaupt noch?"  pariert Coxon mit seinen Inneneinsichten. Bei OpenAI hätten viele der für die AI-Entwicklung Verantwortlichen die zivilisatorischen Risiken noch nicht tief verinnerlicht. Bei Anthropic sei man sich die Risiken zwar bewusst. Aber das Unternehmen befindet sich in einem Wettlauf mit der Konkurrenz, um als Erste ans Ziel zu kommen. Bei Anthropic glauben sie, dass niemand sonst verantwortungsbewusst handeln wird. Also müssen sie bei Anthropic diese Entwicklung, trotz des Risikos, selbst übernehmen.

Sich auf dieses (Ratten-)Rennen einzulassen und in die "Endphase" einzutreten, bezeichnet Coxon als ein überhebliches Glücksspiel, das nicht von einem privaten Unternehmen veranstaltet werden sollte. Coxon gibt sich optimistisch, was das Potenzial für eine Koordinierung der KI-Entwicklung angeht. Es gebe inzwischen Warnschüsse wie der Angriff auf Hugging Face, die die Gefahren der KI-Modelle aufzeigen. Diese Vorfälle hätten die Chance, Vereinbarungen über das Tempo der Entwicklung zwischen US-amerikanischen Forschungslabors zu treffen, realistischer gemacht.

Coxon hat jedoch nicht den Eindruck, dass die Menschheit auf dem richtigen Weg ist, um einen globalen Wettlauf in der KI-Entwicklung zu verhindern. Derzeit liefern sich China und die USA ein Rennen in der KI-Entwicklung. Das könnte laut Coxon möglicherweise kostspielige Maßnahmen wie ein vorübergehendes Verbot der Verbesserung von Modellfähigkeiten erfordern. Coxon fordert seine Kollegen unter den KI-Forscher auf, sich Gedanken um den obigen Themenkreis und die koordinierte KI-Weiterentwicklung zu machen.

Heise hat den Sachverhalt in diesem Beitrag eingeordnet. Und mir ist das Thema neben den obigen Tweet von Coxon über diesen n-tv-Artikel untergekommen.

Ein Podcast mit einem KI-Sicherheitsforscher

Das Thema "Bedroht die KI-Entwicklung die Existenz der Menschheit" steht bereits seit einigen Tagen auf meiner Agenda. Ich lese gerade auszugsweise das Buch "KI-Elite" (ISBN: 978-3-98674-212-6), welches die Visionen, Warnungen und Strategien der wichtigsten Vordenker unserer Zeit, von Sam Altman, über Elon Musk, Jensen Huang, Demis Hassabis, Mark Zuckerberg, Satya Nadella, Sundar Pichai, Jeff Bezos, Larry Ellison, Dario Amodei, Geoffrey Hinton, Yann LeCun, Ilya Sutskever, Andrej Karpathy und vielen anderen bündelt. Die Statements sind teilweise aus 2016 – die Leute dachten also weit in die Zukunft. Vieles, was ich bisher gelesen habe, erscheint mir aber arg blauäugig bzw. mit Tunnelblick versehen, und dreht sich um die Frage "wie kann ich mit KI unendlich reich werden" – die sozio-kulturellen Folgen und Verwerfungen werden von den Tech-Bros ausgeblendet.

Vor einigen Tagen bin ich durch Zufall auf das Video des obigen Podcasts zwischen "The Diary of a CEO" und Roman Yampolskiy gestoßen. "The Diary of a CEO" ist ein weltweit führender Podcast, der vom britischen Unternehmer und Investor Steven Bartlett moderiert wird. Roman Yampolskiy ist Informatiker an der Universität Louisville und vor allem für seine Arbeiten zur Sicherheit von KI und Cybersicherheit bekannt (Webseite).

Yampolskiy arbeitet seit 20 Jahren im Bereich der KI-Sicherheit. Im Podcast geht Steven Barlett mit Yampolskiy die KI-Entwicklung unter verschiedenen Gesichtspunkten durch. Yampolskiy sagt beispielsweise, dass er zu Beginn seiner Forschung noch geglaubt habe, eine sichere KI entwickeln zu können. Diesen Glauben habe er aber inzwischen verloren, niemand wisse mehr genau, was in den Modellen vorgehe.

Im Podcast wird die Frage angesprochen, wie sich KI auf den Arbeitsmarkt in 2, 5 oder 10 Jahren etc. auswirkt. Die Antworten von Yampolskiy sind deprimierend und so gar nicht mit der schönen Welt konform, die im oben genannten Buch "KI-Elite" von den dortigen Vordenkern skizziert werden. Yampolskiy sieht eine Massenarbeitslosigkeit nie gekannten Ausmaßes auf die Menschheit zukommen, wenn der KI-Einsatz nicht reguliert wird. Er sagt auch ganz klar, dass die Politik und die Eliten keine Antwort auf die essentiellen Fragen, die sich daraus ergeben, haben.

Im Verlaufe des Podcasts geht es auch um die Frage, was passiert, wenn AGI erreicht wird. Yampolskiy sagt dazu, dass wir dann den Punkt der Singularität erreicht haben, an dem nicht mehr vorhergesagt werden könne, was genau passiere.

AGI (Artificial General Intelligence, deutsch: Künstliche allgemeine Intelligenz) ist die Intelligenz eines hypothetischen Computerprogramms, das die Fähigkeit besitzt, jede intellektuelle Aufgabe zu verstehen oder zu lernen, die ein Mensch ausführen kann.

Eine Singularität bezeichnet grundlegend einen Punkt, an dem ein mathematisches, physikalisches oder technologisches Modell seine Gültigkeit verliert oder unendliche Werte annimmt.

Es könnte also durchaus sein, dass die AGI beschließt, dass die Menschheit überflüssig sei und diese beseitigt. Zudem würde dann niemand mehr verstehen, was die AGI tut, er habe bereits jetzt Probleme, zu verstehen, was derzeitige AI-Modelle genau tun und wo die Entwicklung steht. Seine Prognosen sind nicht sehr optimistisch, wenn die Menschheit die KI-Entwicklung nicht reguliert.

Einfach abschalten sei auch keine Option, denn "eine Cloud" schaltet man nicht ab. Und wenn eine AGI alles kontrolliert, kann sie jegliche Versuche zur Abschaltung unterlaufen. Wenn Versorgung, Energie, Nahrungsmittel etc. von einer KI kontrolliert und der Menschheit entzogen werden, ist schnell "Schluss mit lustig". Der Zusammenbruch der Zivilisation und das Ende der Menschheit, wie wir sich kennen, wird da sein.

Der Podcast ist ganz aufschlussreich, die deutschsprachige Synchronisation mit Untertiteln ermöglicht das Gespräch zu verfolgen. Persönlich war ich nach dem Anschauen dieses Podcasts recht deprimiert, weil das Bild sich mit dem deckt, was sich für mich aus anderen Artikeln und eigenen Überlegungen abzeichnet.

Ob das alles so kommt, ob es vorher den großen wirtschaftlichen Knall gibt, wenn die KI-Blase platzt, ob die Entwicklung in den USA, die sich parteiübergreifend gegen den Bau großer KI-Rechenzentren richtet, die Träume der Tech-Bros in sich zusammenfallen lässt, ist ungewiss.

Menschen mit morbidem Humor werden argumentieren: "Cool, wir sitzen in der ersten Reihe, und können genau mit verfolgen, was passiert". Ich selbst werden jetzt den Rechner herunterfahren und einige Tage ohne KI verbringen. Man trifft sich kommende Woche wieder, der Blog wird die kommenden Tage im Minimalbetrieb weiter laufen und mit Beiträgen aus der Konserve befüllt – Moderation könnte aber etwas länger dauern.