Forscher beider führender KI-Labore, Anthropic und OpenAI, schlagen Alarm: Der Prozess der rekursiven Selbstverbesserung (Recursive Self-Improvement, RSI) von Künstlicher Intelligenz beschleunige sich schneller als erwartet. Das geht aus einem Bericht hervor, laut dem Wissenschaftler beider Unternehmen ungewöhnlich offen vor den Risiken der eigenen Technologie warnen.
Evan Hubinger von Anthropic bezifferte die Wahrscheinlichkeit, dass Künstliche Intelligenz in den kommenden zehn Jahren alle Menschen tötet, auf mehr als 10 Prozent. Der Physiker und KI-Pionier Geoffrey Hinton bezeichnete eine solche Größenordnung als nicht unvernünftig. Von OpenAI äußerte sich Jasmine Wang alarmiert über das Tempo der Entwicklung und nannte es gefährlich, auf RSI zuzurasen.
Ihre Kollegin Anna Wang von Anthropic erklärte, es gebe derzeit keinen wissenschaftlichen Plan, um den Risiken von RSI zu begegnen. OpenAI-Forschungschef Jakub Pachocki ging noch weiter und forderte eine Koordinierung zur Verlangsamung der Entwicklung, da niemand auf die möglichen Folgen vorbereitet sei.
Konkrete Anzeichen für Beschleunigung
Anthropic selbst lieferte Belege für das Tempo der Entwicklung: Firmeneigene Ingenieure produzieren demnach mittlerweile achtmal so viel Code pro Quartal wie im Zeitraum zwischen 2021 und 2025. Anthropic-Forscher warnten zudem, dass superintelligente Systeme künftig hacken, Biowaffen entwickeln oder kritische Infrastruktur übernehmen könnten.
Autonome KI-Agenten würden bereits heute folgenschwere Entscheidungen treffen, während politische Institutionen in Washington und Sacramento an neuen Leitplanken arbeiten.
Während die technologische Entwicklung rasant voranschreitet, müssen Unternehmen bereits heute komplexe rechtliche Rahmenbedingungen wie den EU AI Act beachten. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle neuen Anforderungen, Pflichten und Risikoklassen. EU AI Act Umsetzungsleitfaden kostenlos herunterladen
Auch außerhalb der beiden Unternehmen mehren sich kritische Stimmen. Stuart Russell von der UC Berkeley warnte, KI könnte Pathogene verbreiten oder einen Atomkrieg auslösen.
Nate Soares von MIRA sprach davon, dass RSI-Entwicklungen die Menschen zunehmend verängstigten, und Daniel Kokotajlo, bekannt für das Szenario „AI 2027″, warnte ebenfalls vor entsprechenden Entwicklungen. Nicht alle Fachleute teilen diese Einschätzung: Hussein Abbass von der UNSW bezeichnete solche Prognosen als unwissenschaftlich.
Rücktritt sorgte für Aufsehen
Zusätzliches Gewicht erhielten die Warnungen durch den Rücktritt von Jacob Coxon bei Anthropic. Er begründete seinen Schritt damit, dass Firmen auf eine selbstverbessernde Superintelligenz zurasten und dabei mit dem Leben der Menschen spielten – die Menschheit könnte demnach bis Ende des Jahrzehnts ausgelöscht werden. Sein Beitrag erreichte nach unterschiedlichen Angaben mehr als 100 Millionen beziehungsweise mehr als 150 Millionen Aufrufe.
Die rasanten Fortschritte bei künstlicher Intelligenz werfen für viele Organisationen dringende Fragen zu Haftung und Compliance auf. Erfahren Sie in diesem kostenlosen Report, welche rechtlichen Pflichten und Fristen durch neue KI-Gesetze jetzt auf Unternehmen zukommen. Kostenloses E-Book zur KI-Verordnung sichern
Vor diesem Hintergrund erklärte OpenAI-Chef Sam Altman gegenüber Mitarbeitern, sein Unternehmen sei offen für eine Verlangsamung der Entwicklung von Spitzen-KI-Modellen, möglicherweise in Abstimmung mit anderen Laboren.
Bereits im Sommer hatte OpenAI das Training für zwei Wochen pausiert, nachdem ein Hack bei Hugging Face bekannt geworden war. Zuvor hatten mehr als 1.000 Beschäftigte der Technologiebranche eine Petition für eine Verlangsamung der KI-Entwicklung unterzeichnet.
Auch aus der Politik kommen Forderungen nach Regulierung: UN-Menschenrechtschef Volker Türk verlangte eiserne Garantien, US-Senator Bernie Sanders bringt ein Gesetz für eine KI-Pause auf den Weg, und die Senatoren Mark Kelly und Ted Cruz forderten ebenfalls schärfere Regeln.
Die US-Regierung unter Präsident Trump betonte hingegen, oberste Priorität habe der technologische Sieg über China. Paul Christiano, Vorstandsmitglied bei OpenAI, warnte derweil, die Branche befinde sich nicht auf einem sicheren Kurs und riskiere einen katastrophalen, irreversiblen Kontrollverlust.
