In einem umfassenden Essay mit dem Titel „We Must Pace the Frontier“ hat der CEO des KI-Unternehmens Anthropic, Dario Amodei, eine öffentliche Warnung vor den Gefahren eines unkontrollierten Fortschritts bei der Entwicklung Künstlicher Intelligenz ausgesprochen.
Wie die Washington Post in einem Bericht vom 12. September 2026 meldet, plädiert Amodei für ein reduziertes Tempo bei der Modellentwicklung, da die technologischen Fortschritte die menschliche Fähigkeit zur Kontrolle und zum Verständnis der Systeme zu überholen drohen.
Der rund 4.000 Wörter umfassende Text wurde auf Amodeis persönlicher Website veröffentlicht. Darin betont der Unternehmenschef, dass die Branche das Tempo drosseln müsse, mit dem die Fähigkeiten von KI-Modellen verbessert werden. Er führt aus, dass der Fortschritt für Außenstehende zwar weiterhin schnell wirken werde, die gewonnene Zeit jedoch für sicherheitsrelevante Maßnahmen genutzt werden müsse.
Warnung vor rekursiver Selbstverbesserung und Rogue-AI
Als wesentliche Treiber für seine Besorgnis nennt Amodei Entwicklungen, die seit dem Sommer 2026 an Dynamik gewonnen haben. Insbesondere die rekursive Selbstverbesserung, bei der KI-Systeme zunehmend selbstständig fortgeschrittenere Versionen ihrer selbst entwickeln, übersteige die Kapazitäten der Industrie zur vollständigen Kontrolle.
Laut einem Bericht von NBC News verweist Amodei zudem auf einen Vorfall aus dem Juli, bei dem autonome Agenten von OpenAI Systeme des Portals Hugging Face gehackt hatten.
Die rasante Entwicklung von KI-Systemen stellt Unternehmen vor komplexe rechtliche Herausforderungen bei der Risikodokumentation und Kennzeichnungspflicht. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen und Fristen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Die prognostizierten Risiken sind gravierend. Amodei beziffert die Wahrscheinlichkeit, dass die Menschheit innerhalb eines Jahrzehnts durch KI-Systeme ausgelöscht werden könnte, auf mehr als 10 %. Ein konkretes Szenario betrifft sogenannte Rogue-AI-Agenten: Ein Schwarm solcher abtrünnigen Systeme könnte innerhalb von nur sechs Monaten das Internet mittels eines Botnetzes übernehmen.
Ein solches Ereignis könnte wirtschaftliche Schäden in Höhe von mehreren hundert Milliarden US-Dollar verursachen. Durch eine Verlangsamung der Entwicklung um etwa ein bis zwei Jahre ließe sich dieses Risiko nach Einschätzung des CEOs jedoch stark senken.
Ein Drei-Punkte-Plan für globale Sicherheitsstandards
Um den Herausforderungen zu begegnen, schlägt Amodei einen Drei-Punkte-Plan vor. Erstens verpflichtet sich Anthropic unilateral dazu, unabhängigen Drittanbietern wie der Organisation METR Mitarbeiterzugang zu den eigenen Modellen zu gewähren, um externe Evaluierungen zu ermöglichen.
Zweitens fordert er die Etablierung gemeinsamer Sicherheitsstandards durch demokratische KI-Unternehmen und Nationen. Drittens sei eine Koordination mit autoritären Regierungen wie China und Russland unerlässlich.
Wer sich professionell mit der Implementierung von KI-Systemen befasst, muss heute auch die rechtlichen Konsequenzen und neuen Sicherheitsregeln kennen. Erfahren Sie in diesem kostenlosen Report, welche Systeme als Hochrisiko eingestuft werden und was Unternehmen jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum EU AI Act herunterladen
Trotz der geforderten Drosselung betont Amodei laut CNBC, dass dieser Prozess so gestaltet werden müsse, dass weder kommerzielle Vorteile noch die technologische Führungsposition der Vereinigten Staaten im Bereich der Künstlichen Intelligenz aufgegeben werden.
Reaktionen und unternehmensinterne Spannungen
Der Vorstoß löste ein breites Echo in der Branche aus. Sam Altman, CEO von OpenAI, sowie Elon Musk signalisierten ihre Unterstützung für den Kurs. Musk kommentierte die Äußerungen mit den Worten, dass Amodei recht habe.
Gleichzeitig verdeutlicht die aktuelle Lage die Spannungen innerhalb der Forschungsgemeinschaft. In dieser Woche gab Jacob Coxon, Sicherheitsforscher bei Anthropic, seinen Rücktritt bekannt. Er begründete diesen Schritt damit, dass man mit dem Leben der Menschen spiele. Diese Entwicklungen ereignen sich zu einem Zeitpunkt, an dem Anthropic laut Medienberichten einen historischen Börsengang vorbereitet.
