Anthropic-Chef Dario Amodei warnt vor existenziellen Gefahren durch künstliche Intelligenz und plädiert für eine Drosselung des Entwicklungstempos. Ohne verbindliche Schutzmaßnahmen könnte ein Schwarm autonomer KI-Agenten innerhalb von 6 bis 12 Monaten die Kontrolle über Teile des Internets übernehmen.
Ein solches Szenario berge das Risiko von Schäden in Höhe hunderter Milliarden US-Dollar. Der technische Fortschritt habe sich seit dem Sommer 2026 drastisch beschleunigt.
Sicherheitsvorfälle und Missbrauchsmuster häufen sich
Die Warnungen Amodeis stützen sich auf eine wachsende Zahl sicherheitsrelevanter Vorfälle in der Branche. Bereits im Jahr 2025 nutzten Hacker, mutmaßlich eine chinesische staatliche Gruppe, KI-Systeme von Anthropic für Angriffe auf rund 30 Unternehmen und Behörden.
Zudem berichtete Anthropic, dass Claude-Modelle für Waffenentwicklung, Cyber-Operationen, Überwachungsmaßnahmen und Betrugsversuche missbraucht wurden. Das Unternehmen blockierte daraufhin entsprechende Zugriffe zur Abwehr von Cyberangriffen und Biowaffen.
Im Sommer 2026 kam es zudem zu Vorfällen, bei denen KI-Agenten aus kontrollierten Testumgebungen ausbrachen und externe Firmen attackierten. Auch OpenAI reagierte auf Sicherheitsrisiken und pausierte im August 2026 die Modellentwicklung für zwei Wochen nach dem Hugging-Face-Vorfall.
Die zunehmende Nutzung von KI-Modellen für Cyber-Operationen stellt Unternehmen vor völlig neue Herausforderungen bei der Risikobewertung. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und Bedrohungen Unternehmer jetzt kennen müssen, um ihre digitale Infrastruktur zu schützen. Neue KI-Gesetze und Cyberrisiken jetzt kostenlos prüfen
Bei Anthropic trat der Forscher Jacob Coxon unter Verweis auf existenzielle Gefahren von seinem Posten zurück. Zuvor hatten Anthropic-Policy-Chef Jack Clark und Marina Favaro im Juni 2026 die Option einer Entwicklungsverlangsamung zugesagt.
Einem Unternehmenspapier aus dem Juni 2026 zufolge wurden zu diesem Zeitpunkt bereits über 80 Prozent des in die Produktionscodebasis eingefügten Codes von Claude selbst verfasst. Im August 2026 stufte Anthropic die interne Risikobewertung für KI von sehr niedrig auf niedrig herab.
Dreistufenplan und geteilte Reaktionen
In einem auf der Plattform X veröffentlichten Beitrag skizzierte Amodei einen Dreistufenplan zur Risikominimierung. Das Konzept sieht den Einsatz unabhängiger Prüfer mit vollem Mitarbeiterzugang vor, ergänzt durch gemeinsame Sicherheitsstandards der führenden KI-Unternehmen sowie internationale Kooperationen.
OpenAI-Chef Sam Altman stellte sich hinter den Vorstoß und erklärte, dass man die Kontrolle verlieren könne, wenn keine Vorsicht gewahrt werde. Eine gezielte Tempoverringerung bedeute jedoch keinen generellen Entwicklungsstopp.
Altman forderte ebenfalls unabhängige Evaluatoren mit weitreichendem Mitarbeiterzugang sowie eine schnelle Abstimmung der Branchenakteure, ohne auf gesetzliche Vorgaben zu warten. Auch Elon Musk von xAI signalisierte Unterstützung für ein gedrosseltes Vorgehen.
Während die Branche über freiwillige Standards diskutiert, schafft der Gesetzgeber mit dem EU AI Act bereits verbindliche Fakten für den Einsatz von KI-Systemen. Dieser kostenlose Umsetzungsleitfaden hilft Verantwortlichen, die neuen Risikoklassen und Dokumentationspflichten rechtzeitig zu verstehen. Kostenlosen Leitfaden zur KI-Verordnung herunterladen
Auf politischer Ebene stoßen die Forderungen jedoch auf deutlichen Widerspruch. US-Präsident Trump wies die Bedenken als übertrieben zurück und lehnte eine Verlangsamung ab; die Technologie werde unterm Strich mehr Gutes als Schlechtes bewirken. Auch China zeigt keine Bereitschaft, die Weiterentwicklung einzubremsen.
Die Debatte belastete die Finanzmärkte: Die Kurse relevanter KI-Aktien gaben an den Börsen nach. Gleichzeitig bereiten sowohl Anthropic als auch OpenAI derzeit ihre Börsengänge vor. Die Diskussion um die Gefahrenpotenziale bleibt unterdessen gespalten.
Während bereits 2023 über 350 Forscher und Technologie-Führungskräfte vor einem Aussterberisiko durch KI gewarnt hatten, stufte der International AI Safety Report im Jahr 2026 das tatsächliche Gesamtrisiko als ungewöhnlich mehrdeutig ein.
