Der KI-Entwickler Anthropic schlägt Alarm: Die Technologie nähert sich einem kritischen Punkt, der internationale Kontrollen erfordert.
Das in San Francisco ansässige Unternehmen veröffentlichte heute einen Bericht über die Risiken der sogenannten rekursiven Selbstverbesserung (RSI) in der künstlichen Intelligenz. Anthropic, das kürzlich einen vertraulichen Börsengang mit einer Bewertung von rund 965 Milliarden Dollar beantragte, schlägt einen globalen Koordinationsmechanismus vor. Dieser soll eine vorübergehende Entwicklungspause ermöglichen, sobald bestimmte Sicherheitsschwellen erreicht sind.
Die rasante Entwicklung der KI stellt Unternehmen vor komplexe rechtliche Herausforderungen durch den EU AI Act. Dieser kostenlose Umsetzungsleitfaden bietet Ihnen einen kompakten Überblick über alle neuen Anforderungen, Pflichten und Fristen. EU AI Act in 5 Schritten verstehen
Claude schreibt 80 Prozent des Codes
Die neuesten Zahlen des Unternehmens sprechen eine deutliche Sprache. Anthropics internes Modell Claude verfasst inzwischen 80 Prozent der firmeneigenen Software. Die Effizienz der Ingenieure hat sich dadurch drastisch erhöht: Ein einzelner Entwickler liefert heute achtmal mehr Code pro Quartal als im Durchschnitt der Jahre 2021 bis 2025.
Das aktuelle Spitzenmodell Claude Opus 4.6 bewältigt autonome Aufgaben von bis zu zwölf Stunden Dauer. In Tests im Mai erreichte es eine Erfolgsquote von 76 Prozent bei der Lösung offener Problemstellungen. Die Unternehmensführung um Jack Clark und Marina Favaro warnt: Die vollständige rekursive Selbstverbesserung könnte bereits in den nächsten zwei Jahren Realität werden.
Ein „Pause-Knopf“ für die KI-Industrie
Anthropic zieht einen historischen Vergleich: Die aktuelle Lage erinnere an die Herausforderungen der nuklearen Rüstungskontrolle. Das Unternehmen fordert einen „Pause-Knopf“ für die gesamte Branche. Die internationale Gemeinschaft müsse sich auf einen koordinierten Stopp beim Training leistungsfähigerer Modelle vorbereiten, um menschliche Kontrolle zu gewährleisten.
Die Kritik ließ nicht lange auf sich warten. Der frühere KI-Berater David Sacks bezeichnete den Vorstoß als Versuch der Regulierungsvereinnahmung – ein Manöver, um etablierte Akteure zu schützen. Auch Yann LeCun äußerte Skepsis gegenüber dem Zeitplan: Die aktuellen Modelle hätten noch keine Parität mit menschlicher Intelligenz erreicht. OpenAI berichtet unterdessen von ersten Anzeichen für RSI in den eigenen Systemen.
Mit der zunehmenden Integration von KI in Arbeitsprozesse wachsen auch die Bedrohungsszenarien durch Cyberangriffe. Erfahren Sie in diesem kostenlosen E-Book, welche rechtlichen Pflichten und neuen Risiken Unternehmer jetzt kennen müssen, um ihre Firma proaktiv zu schützen. Gratis-Report zu KI-Gesetzen und Cyberrisiken anfordern
Mythos-Modell im Sicherheitseinsatz
Die Warnungen fallen mit der Enthüllung von Anthropics „Mythos“-Modell zusammen, das bereits in sensiblen Sicherheitsumgebungen zum Einsatz kommt. Das Projekt Glasswing, an dem über 150 Organisationen aus 15 Ländern beteiligt sind, identifizierte mit dem Modell im ersten Monat mehr als 10.000 Sicherheitslücken – darunter einen 27 Jahre alten Fehler in einem sicherheitsorientierten Betriebssystem.
Doch der Einsatz von Mythos sorgt für Spannungen mit Regierungsstellen. Während die National Security Agency (NSA) offenbar Anthropic-Ingenieure für offensive Cyberoperationen eingebunden hat, stufte das Pentagon das Unternehmen zuvor als Lieferkettenrisiko ein – eine Einstufung, die Anthropic gerichtlich anfocht. In einer Mitteilung vom 5. Juni 2026 beschleunigte das Pentagon die militärische KI-Nutzung und untersagte privaten Unternehmen Eingriffe in staatlich verwaltete Systeme.
Weißhaus erwägt strengere Regeln
Die rasante Entwicklung hat auch politische und religiöse Autoritäten auf den Plan gerufen. Das Weiße Haus prüft seit heute eine neue Executive Order, die Sicherheitsprüfungen für fortgeschrittene KI-Modelle vor ihrer Veröffentlichung vorschreiben würde – ein Verfahren, das an den Zulassungsprozess der US-Arzneimittelbehörde FDA erinnert. Dies folgt auf eine Anordnung der Trump-Administration vom 2. Juni, die einen freiwilligen Rahmen für Vorab-Gespräche etablierte.
Auch internationale Finanzinstitutionen schalten sich ein. Bank-of-England-Chef Bailey warnte, dass KI-bedingte Volatilität Risiken für das globale Finanzsystem darstellen könnte. Und Papst Leo XIV. hielt heute vor dem spanischen Parlament eine historische Rede, in der er ethische Kontrollen für KI forderte – insbesondere im militärischen Bereich. Entscheidungen über Leben und Tod müssten menschliche Verantwortung bleiben, so der Papst. Er warnte vor der Entmenschlichung der Kriegsführung durch autonome Systeme.
