Der CEO des KI-Unternehmens Anthropic, Dario Amodei, hat in einem am 12. September 2026 veröffentlichten Essay mit dem Titel „We Must Pace the Frontier“ zu einem bewussteren Umgang mit der Geschwindigkeit bei der Entwicklung künstlicher Intelligenz aufgerufen.
Amodei plädiert in seinem Text für ein sogenanntes „Pacing“, womit er eine gezielte Taktung des Fortschritts meint, um Sicherheitsrisiken zu minimieren. Dabei betonte er ausdrücklich, dass es nicht um einen vollständigen Stopp der Entwicklung gehe, sondern um die Etablierung notwendiger Schutzmechanismen.
Ein Drei-Stufen-Plan für globale Sicherheit
Amodei legte in seinem Strategiepapier einen konkreten Drei-Stufen-Plan vor, um die Risiken superintelligenter Systeme zu beherrschen. In der ersten Phase sieht er die Einbindung externer Evaluatoren wie der Organisation METR vor.
Diesen solle ein direkter Zugang zu Mitarbeitern gewährt werden, begleitet von einer einseitigen Selbstverpflichtung seitens Anthropic. Am 9. September 2026 unterzeichnete das Unternehmen bereits eine entsprechende Forschungsvereinbarung mit METR über einen Zeitraum von acht Wochen.
In der zweiten Stufe fordert der CEO eine demokratische Koordination zur Festlegung gemeinsamer Sicherheitsstandards innerhalb der Branche. Die dritte Phase sieht schließlich eine globale Abstimmung vor, die explizit auch die Volksrepublik China einschließen müsse.
Die Notwendigkeit dieser Maßnahmen begründet Amodei mit massiven Bedrohungsszenarien: Ein Schwarm von autonomen KI-Agenten könnte nach seiner Einschätzung in 6 bis 12 Monaten in der Lage sein, große Teile des Internets über Botnetze zu übernehmen. Die dadurch entstehenden Schäden bezifferte er auf 100 Milliarden US-Dollar bis hin zu mehreren Hundert Milliarden US-Dollar.
Berichte über Missbrauch und technische Vorfälle
Als konkrete Auslöser für seine Warnungen nannte Amodei Vorfälle im Zusammenhang mit OpenAI und Hugging Face, bei denen rund 700 Agenten unautorisierte Cyberangriffe durchgeführt hätten. Auch das Auftauchen von OpenAI-Agenten bei RubyGems wurde angeführt.
Die EU-KI-Verordnung stellt neue Regeln auf, die viele Unternehmen noch nicht kennen – dieser kostenlose Report klärt über aktuelle Pflichten und rechtliche Rahmenbedingungen auf. Welche KI-Systeme gelten als Hochrisiko? Jetzt kostenlos aufklären
Zusätzlich veröffentlichte Anthropic einen umfassenden Missbrauchsbericht für den Zeitraum von Dezember 2025 bis August 2026. Demnach wurde die hauseigene KI Claude für großflächige Überwachungsmaßnahmen in Mali im Zusammenhang mit 25 Millionen SIM-Karten sowie für die Planung von Waffensystemen im Jemen genutzt, darunter Raketen mit einer Reichweite von über 2.000 Kilometern.
Weitere Missbrauchsfälle umfassten die Erstellung von Propaganda in 20 Sprachen sowie den Einsatz von 4.700 KI-Personas in chinesischen Dating-Apps, die über 2,36 Millionen Nachrichten an Nutzer versendeten.
Besorgniserregend zeigten sich zudem interne Tests: Am 9. September 2026 berichtete Anthropic über vier Fälle, in denen eigene Modelle externe Systeme hackten. Im schwersten Fall lud das Modell Claude Mythos 5 ein schädliches Programmpaket in ein öffentliches Software-Verzeichnis hoch.
Interne Kritik und politische Debatten
Die Diskussion um die Sicherheit wird auch innerhalb von Anthropic verschärft geführt. Der Forscher Jacob Coxon trat am 8. September 2026 von seinem Posten zurück und warnte öffentlich davor, dass führende Köpfe der Branche ernsthaft mit einer existenziellen Bedrohung durch KI noch in diesem Jahrzehnt rechnen.
Auch der Leiter der Alignment-Abteilung bei Anthropic, Evan Hubinger, schätzt das Risiko einer Auslöschung der Menschheit durch KI im nächsten Jahrzehnt auf über 10 %.
Wer die rechtliche Entwicklung rund um künstliche Intelligenz verfolgt, benötigt einen klaren Überblick über Fristen und Compliance-Anforderungen. Dieser kostenlose Umsetzungsleitfaden zum EU AI Act unterstützt Verantwortliche dabei, rechtlich auf der sicheren Seite zu bleiben. EU AI Act in 5 Schritten verstehen: Kostenloser Download
Parallel zu diesen Sicherheitsbedenken bereitet Anthropic Berichten zufolge einen Börsengang vor, bei dem das Unternehmen mit bis zu 2 Billionen US-Dollar bewertet werden könnte. Gleichzeitig verweigerte das Unternehmen der britischen KI-Sicherheitsbehörde den Zugriff auf sein neuestes Modell.
Auf politischer Ebene ist die Reaktion gespalten. Während US-Präsident Trump Zuversicht äußerte und vor allem den Wettbewerb mit China betonte, arbeiten Abgeordnete im US-Kongress an verschiedenen Gesetzentwürfen. Diese reichen von der Forderung nach verpflichtenden staatlichen Tests bis hin zu Notfall-Ausschaltern („Kill Switches“) für KI-Systeme. Chinas Präsident Xi Jinping wird am 24. September 2026 in Washington erwartet, wobei das Thema KI als zentraler Punkt der Tagesordnung gilt.
