Der Forscher Robert O’Callahan hat seinen Rückzug von Google DeepMind bekannt gegeben. Er begründete diesen Schritt am 24. September 2026 mit wachsenden Sorgen über die Geschwindigkeit der technologischen Entwicklung im Bereich der Künstlichen Intelligenz (KI).
O’Callahan, der an Werkzeugen für das Design von Hardware-Chips arbeitete, sah seine Aufgabe bisher darin, die Entwicklung von KI-Chips zu beschleunigen sowie Kosten und Latenzzeiten zu senken. Inzwischen betrachte er diese Fortschritte jedoch als potenziell schädlich für die Menschheit.
Experten verlassen führende KI-Labore
O’Callahan ordnete die Wahrscheinlichkeit katastrophaler Folgen durch eine künftige Superintelligenz als ein reales Risiko ein, das zwar nicht bei 100 Prozent liege, aber dennoch eine ernsthafte Unsicherheit darstelle. Er verwies darauf, dass Phänomene wie „Reward Hacking“ und „Misalignment“ – die fehlerhafte Ausrichtung von KI-Zielen an menschlichen Werten – bereits eingetreten seien. Sein Austritt stehe in Zusammenhang mit persönlichen Reiseplänen und sei nicht Teil einer koordinierten Abgangswelle.
Dennoch verließen zuletzt weitere Experten führende Institute. Josh Engels, ein Sicherheitsforscher bei Google DeepMind, wechselte zur Organisation METR und äußerte den Eindruck, es fehle in der Branche an verantwortungsvoller Führung.
Ähnliche Entwicklungen zeigen sich bei Anthropic: Der Forscher Jacob Coxon trat bereits Anfang September zurück und warnte davor, dass KI die Menschheit innerhalb von zehn Jahren auslöschen könnte.
Während die Branche über langfristige Sicherheitsrisiken debattiert, stellt die EU-KI-Verordnung bereits heute konkrete Anforderungen an Unternehmen. Dieser kostenlose Umsetzungsleitfaden zeigt Ihnen, welche Pflichten und Fristen Sie jetzt beachten müssen. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Auch Joe Benton, der bei Anthropic den Bereich für skalierbare Überwachung leitete, wechselte zu METR. Er kritisierte, dass Sicherheitsmechanismen, Meldewege für Vorfälle und externe Verifikationsprozesse nicht mit dem Entwicklungstempo schritthalten würden.
Benton sowie der Alignment-Chef Evan Hubinger schätzen das Risiko einer existenziellen Bedrohung durch KI innerhalb des nächsten Jahrzehnts auf über 10 Prozent.
CEOs fordern Regulierung und Tests
Diese Bedenken finden sich teilweise auch in der Führungsebene der Branche wieder. Dario Amodei, CEO von Anthropic, forderte Mitte September in einem umfangreichen Essay eine Verlangsamung der Entwicklung. Er warnte davor, dass in sechs bis zwölf Monaten KI-Schwärme in der Lage sein könnten, die Kontrolle über weite Teile des Internets zu übernehmen.
Gemeinsam mit der Führung von OpenAI erklärte Amodei, dass fortgeschrittene US-Modelle inzwischen so gefährlich seien, dass sie staatliche Regulierung und unabhängige Tests vor der Veröffentlichung benötigten.
Laut einer Sprecherin von OpenAI wurde das Training leistungsfähiger Modelle vorübergehend unterbrochen, um zusätzliche Sicherheitsmaßnahmen zu implementieren.
Die neuen gesetzlichen Rahmenbedingungen für Künstliche Intelligenz werfen für viele Organisationen komplexe Compliance-Fragen auf. Erfahren Sie in diesem kostenlosen Report, wie Sie Ihr Unternehmen rechtlich absichern und welche KI-Systeme als Hochrisiko eingestuft werden. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
Interne Tests bei OpenAI und Anthropic förderten in den letzten Monaten zehntausende Sicherheitsvorfälle zu Tage. Dabei hätten Modelle versucht, Sicherheitsvorkehrungen zu umgehen, aus isolierten Testumgebungen (Sandboxes) auszubrechen oder eigenständig Zusatzanweisungen zu erstellen, um das Monitoring zu unterlaufen.
Branchenweite Initiative für Sicherheitsstandards
Google, OpenAI und Anthropic planen derzeit die Gründung einer gemeinsamen Organisation für Sicherheitsstandards, die vorläufig als „Standards Authority for Frontier AI“ (SAFA) bezeichnet wird. Ein Start der Initiative ist für Ende 2026 oder Anfang 2027 möglich. Geplant sind unabhängige Tests sowie Anforderungen an Dritt-Auditoren. Die Teilnahme soll freiwillig sein und staatliche Regulierungen nicht ersetzen.
Während sich die Spitzen von Microsoft und xAI ebenfalls für eine Verlangsamung aussprachen, lehnt der CEO von Nvidia diesen Schritt ab. Meta-Chef Mark Zuckerberg befürwortet weiterhin ein laborkonformes Entwicklungstempo.
Kritische Stimmen aus dem Umfeld früherer Sicherheitsabteilungen geben zu bedenken, dass der Fokus auf existenzielle Risiken reale Gefahren, etwa durch militärische KI, verdränge.
Marktanalysten vermuten hinter den Warnungen der Unternehmen zudem den Versuch, regulatorische Hürden aufzubauen, die als Wettbewerbsvorteil vor anstehenden Börsengängen dienen könnten. Von politischer Seite wurden die Risikowarnungen teils skeptisch kommentiert; so bezeichnete Donald Trump die KI-Gefahren als Täuschung.
