KI-Forscher warnen vor Kontrollverlust – Die Systeme werden immer autonomer.
Das KI-Unternehmen Anthropic hat eine Reihe von Warnungen zur rasanten Entwicklung künstlicher Intelligenz veröffentlicht. Die am 4. und 5. Juni 2026 veröffentlichten Berichte zeigen: Die Systeme sind zunehmend in der Lage, ihre eigene Weiterentwicklung voranzutreiben. Anthropic fordert internationale Regulierungsbehörden und Branchenkollegen zu einer koordinierten Entwicklungspause bei den leistungsfähigsten Modellen auf.
Die neue EU-KI-Verordnung stellt Unternehmen vor komplexe Herausforderungen bei der Risikodokumentation und Qualitätssicherung. Dieser kostenlose Umsetzungsleitfaden hilft Ihnen, die neuen rechtlichen Pflichten und Fristen des AI Act sofort zu verstehen. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Die KI schreibt sich selbst
Die Zahlen sind beeindruckend – und beunruhigend zugleich. Bereits im Mai 2026 schrieb das Anthropic-Modell Claude mehr als 80 Prozent des unternehmenseigenen Codes. Die Produktivität der Ingenieure stieg dadurch massiv: Sie liefern heute achtmal mehr Code pro Quartal als im Zeitraum zwischen 2021 und 2025.
Die Autonomie der Systeme wächst rasant. Die Zeitspanne, die eine KI eigenständig arbeiten kann, verdoppelt sich alle vier Monate. Während Claude Opus 3 im Jahr 2024 noch auf etwa 90 Minuten begrenzt war, schafft der aktuelle Claude Opus 4.6 bereits zwölfstündige Aufgaben. Das Claude Mythos Modell arbeitet sogar mehr als 16 Stunden am Stück autonom.
Die Erfolgsquote bei offenen Programmieraufgaben stieg auf 76 Prozent – vor einem halben Jahr lag sie noch bei 26 Prozent. Anthropic-Forscher stellen fest: Herkömmliche Benchmarks zur Bewertung von Softwareentwicklung und KI-Fähigkeiten werden zunehmend obsolet, weil die Technologie in diesen Bereichen nahezu vollständige Automatisierung erreicht.
„Ein Auto ohne Bremse“
Anthropic-Mitgründer Jack Clark vergleicht die aktuelle Lage der Branche mit einem Fahrzeug, das nur einen Gashebel, aber keine Bremse hat. In einem Interview am 4. Juni 2026 betonte er die Notwendigkeit eines Mechanismus, der die Entwicklung verlangsamen kann, wenn die Sicherheitsforschung mit dem technischen Fortschritt nicht Schritt hält. Clark plädiert für einen Regulierungsrahmen ähnlich dem der Ölindustrie, der Umwelt- und Gesellschaftsrisiken managt.
Das Unternehmen schlägt eine koordinierte, überprüfbare globale Pause oder Verlangsamung bei der Entwicklung von Spitzen-KI-Systemen vor. Dazu gehört auch eine bessere Abstimmung zwischen den USA und China, um einen Kontrollverlust zu verhindern. Diese Forderungen decken sich mit jüngsten Regierungsmaßnahmen: Eine US-Verordnung schreibt eine 30-tägige Prüfungsfrist vor der Veröffentlichung der leistungsstärksten KI-Modelle vor. Branchenexperten bezweifeln jedoch, dass 30 Tage für kleinere Infrastrukturanbieter ausreichen, um potenzielle Schwachstellen zu beheben.
Mit der rasanten Entwicklung autonomer Systeme steigen auch die rechtlichen Anforderungen an die Überwachung von KI-Anwendungen in Betrieben. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko eingestuft werden und welche Dokumentationspflichten Sie jetzt erfüllen müssen. Kostenlosen Umsetzungsleitfaden zum EU AI Act herunterladen
Cyberangriffe und Biowaffen
Anthropic warnt zudem vor wachsenden Risiken durch KI-Missbrauch in der Cybersicherheit und Biotechnologie. Eine Analyse von 832 gesperrten Konten zwischen März 2025 und März 2026 ergab: Mehr als zwei Drittel der Nutzer setzten KI zur Vorbereitung von Cyberangriffen oder zur Entwicklung von Schadsoftware ein. Während KI-gestützte Phishing-Versuche leicht zurückgingen (minus 8,6 Prozent), nahm der Einsatz von KI zur Kontenermittlung und zur lateralen Bewegung innerhalb von Netzwerken zu.
Im Projekt Glasswing identifizierte eine Vorschau des Claude Mythos 2 Modells Tausende hochpriorisierte und kritische Schwachstellen in mehreren Betriebssystemen und Browsern – betroffen waren rund 150 Organisationen weltweit.
Doch die Gefahr geht über digitale Sicherheit hinaus. Anthropic-CEO Dario Amodei schloss sich kürzlich Führungskräften von OpenAI und Google DeepMind an, um den US-Kongress vor biologischen Bedrohungen zu warnen. KI-Tools werden demnach zunehmend fähig, bei der Entwicklung biologischer Waffen zu helfen – teilweise mit Wissen, das über das spezialisierter Virologen hinausgeht.
Milliardenbewertung trotz Warnungen
Trotz aller Warnungen bleibt Anthropic ein Schwergewicht im milliardenschweren KI-Markt. Das Unternehmen, Ende 2024 noch mit über 18 Milliarden US-Dollar (rund 16,5 Milliarden Euro) bewertet, plant angeblich einen Börsengang mit einer Zielbewertung von etwa einer Billion Euro. Um das Wachstum und die damit verbundenen Risiken zu managen, will Anthropic Gespräche mit Regierungsvertretern, Wissenschaftlern und Wettbewerbern führen – Thema: die Umsetzung sicherheitsorientierter Entwicklungspausen.
