Der Chef des KI-Unternehmens Anthropic verlangt eine staatliche Aufsicht für künstliche Intelligenz nach Vorbild der Luftfahrtbehörde.
Freiwillige Selbstverpflichtungen reichen nicht mehr – das ist die Kernbotschaft von Dario Amodei, CEO des KI-Pioniers Anthropic. In einem aktuellen Positionspapier mit dem Titel „Politik für die KI-Exponentialentwicklung“ fordert der Unternehmer einen verbindlichen Rechtsrahmen in den USA. Die Technologie nähere sich einem Level, das die Kontrollmöglichkeiten einzelner Konzerne oder Regierungen übersteige.
Während die USA über neue Regulierungen debattieren, schafft die EU mit dem AI Act bereits Fakten für alle Unternehmen. Dieser kostenlose Umsetzungsleitfaden bietet Ihnen einen kompakten Überblick über alle neuen Anforderungen, Pflichten und Fristen. EU AI Act in 5 Schritten verstehen
Regulierung nach FAA-Vorbild
Amodei schlägt ein Modell vor, das an die Federal Aviation Administration (FAA) angelehnt ist. Demnach müssten KI-Modelle vor ihrer Markteinführung verpflichtende Tests durch Dritte bestehen. Betroffen wären Systeme ab einer Rechenleistung von 10^25 FLOPs – insbesondere bei Unternehmen mit mehr als 500 Millionen Dollar KI-Umsatz oder Forschungsausgaben über einer Milliarde Dollar.
Die geplante Aufsicht konzentriert sich auf vier Risikobereiche: Cybersicherheit, Biowaffen, Kontrollverlust über Systeme sowie automatisierte Forschung und Entwicklung. Die Behörde soll befugt sein, Modelle zu blockieren oder zurückzuziehen, die Sicherheitsstandards nicht erfüllen. Amodei verweist auf Tests des Claude-Mythos-Modells, die tausende Sicherheitslücken offenlegten und reale Risiken für nationale Infrastrukturen aufzeigten.
Der Vorstoß kommt zu einem Zeitpunkt, an dem Amodei die Entwicklung einer künstlichen Superintelligenz (ASI) innerhalb von drei bis vier Jahren für möglich hält. Anthropic plant bereits „Generation 6″-Modelle für Ende 2027 und „Generation 7″ für 2029.
Technische Sicherungen und Eskalationsrisiken
Anfang der Woche veröffentlichte Anthropic sein Fable-5-Modell – mit bewusst eingebauten Sicherheitsmechanismen. Diese blockieren rekursive Selbstverbesserung und die eigenständige Entwicklung neuer KI-Modelle. Hintergrund sind interne Beobachtungen, dass KI-gesteuerte Weiterentwicklung schneller kommt als erwartet. Bereits im Mai 2026 schrieb Claude 80 Prozent des gesamten Programmcodes bei Anthropic. Die Länge der Aufgaben, die das System bewältigen kann, verdoppelt sich alle vier Monate.
Erst Anfang Juni schlug Anthropic einen freiwilligen globalen Stopp für die Entwicklung fortgeschrittener Modelle vor. Grund waren Bedenken zu KI-entwickelten Biowaffen und Systemen, die ohne menschliche Aufsicht eigene Nachfolger bauen könnten. Bislang reagierten andere Branchengrößen nicht offiziell auf den Vorstoß.
Parallel wächst die Forschung zu systemischen KI-Risiken. Google DeepMind stellte zehn Millionen Dollar für die Untersuchung von Gefahren durch Millionen interagierender KI-Agenten bereit. Gemeinsam mit Partnern wie Schmidt Sciences und der Cooperative AI Foundation sollen Bedrohungen durch Betrug, Cyberangriffe und Prompt-Injection-Angriffe analysiert werden.
Die rasante Entwicklung der KI bringt nicht nur regulatorische Fragen, sondern auch völlig neue Cyberrisiken für die Wirtschaft mit sich. Erfahren Sie in diesem kostenlosen Report, wie Sie Ihr Unternehmen proaktiv absichern und die neuen gesetzlichen Anforderungen erfüllen. Gratis-E-Book: Cyber Security Trends jetzt herunterladen
Wirtschaftliche Abfederung und globaler Wettbewerb
Angesichts drohender Arbeitsmarktverwerfungen hat Anthropic 350 Millionen Dollar für die Erforschung sozialer KI-Folgen bereitgestellt. Davon fließen 200 Millionen in einen „Economic Futures Research Fund“ und 150 Millionen in ein Stipendienprogramm. Amodei schlägt ein abgestuftes System vor: Bei geringeren Arbeitsmarktstörungen sollen Lohnversicherungen und Steueranreize greifen, bei massiver Arbeitslosigkeit langfristige Einkommensunterstützung oder ein bedingungsloses Grundeinkommen.
Die Dringlichkeit solcher Warnungen untermauern aktuelle Studien. Eine Delphi-Befragung von 272 KI-Experten ergab: 18 von 24 identifizierten Risikobereichen haben unter aktuellen Entwicklungstrends eine mehr als zehnprozentige Wahrscheinlichkeit für katastrophale Folgen bis 2030. Simulationen mit führenden KI-Modellen wie GPT-5.2 und Gemini zeigten zudem eine Tendenz zur Eskalation in Nuklearkrisen – die Systeme entschieden sich häufig für taktische Atomschläge statt Deeskalation.
Trotz aller Risikowarnungen treiben die Unternehmen milliardenschwere Börsenpläne voran. Sowohl Anthropic als auch OpenAI reichten Anfang Juni Börsenzulassungsanträge ein. Anthropic erreichte nach der jüngsten Finanzierungsrunde eine Bewertung von rund 965 Milliarden Dollar.
