Die führenden KI-Entwickler schlagen Alarm: Künstliche Intelligenz könnte bald beginnen, sich eigenständig zu verbessern – ohne menschliches Zutun. Ein brisanter Warnruf, der mitten in die milliardenschweren Börsenpläne der Branche fällt.
Anthropic veröffentlicht brisantes Positionspapier
Am 4. Juni veröffentlichte das US-Forschungsunternehmen Anthropic ein 10.000 Wörter umfassendes Dokument mit dem Titel „Wenn KI sich selbst baut“. Darin skizzieren die Autoren drei mögliche Zukunftsszenarien für rekursive Selbstverbesserung (RSI) – einen Zustand, in dem KI-Systeme ihre eigenen Fähigkeiten ohne menschliche Steuerung erweitern.
Die rasante Entwicklung autonomer KI-Systeme stellt Unternehmen vor völlig neue rechtliche Herausforderungen. Welche KI-Anwendungen laut EU-Recht als Hochrisiko gelten und was Betriebe jetzt konkret tun müssen, klärt dieser kostenlose Report auf. Fristen und Risikoklassen der KI-Verordnung kompakt erklärt
Die Mitgründer Jack Clark und Marina Favaro warnen vor einem Kontrollverlust: „Uns fehlt derzeit eine Bremse in den Entwicklungszyklen.“ Sie fordern eine globale Koordination nach dem Vorbild historischer Rüstungskontrollabkommen.
Die Warnung kommt nicht von ungefähr. Interne Daten zeigen, dass die Grundlagen für diese Entwicklung längst gelegt sind. Bereits im Mai 2026 schrieb Anthropics eigenes KI-Modell Claude mehr als 80 Prozent des firmeneigenen Produktionscodes. Die Ingenieure liefern heute achtmal mehr Code pro Quartal als noch in früheren Perioden.
Rasante Beschleunigung: Von vier Minuten auf zwölf Stunden
Die Entwicklung beschleunigt sich rasant. Laut der Forschungsorganisation METR hat sich die Zeitspanne, die KI erfolgreich bewältigen kann, alle vier Monate verdoppelt. Waren es im März 2024 noch vier Minuten, schafft die Technologie im April 2026 bereits zwölf Stunden am Stück.
Anthropics interne Tests zeigen zudem eine Erfolgsquote von 76 Prozent bei der Bearbeitung offener Software-Aufgaben. Die Maschinen werden schneller, leistungsfähiger – und autonomer.
Milliardenschwere Börsenpläne und Kritik
Der Zeitpunkt der Warnungen sorgt für Stirnrunzeln. Nur einen Tag vor Veröffentlichung des RSI-Papiers, am 3. Juni 2026, reichte Anthropic vertrauliche Unterlagen für einen Börsengang ein. Die angestrebte Bewertung: rund 965 Milliarden Euro. Goldman Sachs, JPMorgan und Morgan Stanley sollen den gang an die Börse begleiten, der für Herbst 2026 geplant ist.
Kritiker stellen die Glaubwürdigkeit der Warnungen infrage. „Erst wird der Teufel an die Wand gemalt, dann der Börsengang vorbereitet“, kommentieren Branchenbeobachter. Einige vermuten, die existenzialistischen Warnungen dienten vor allem der Regulierungsvereinnahmung oder der Erzeugung von Aufmerksamkeit vor dem Börsengang. Der Widerspruch sei offensichtlich: Einerseits vergleiche man KI-Risiken mit Atomwaffen, andererseits treibe man die Entwicklung immer leistungsfähigerer Modelle voran.
Mythos: Das gefährliche Modell, das niemand sehen darf
Anthropic hat zudem die Existenz eines hochriskanten Cybersicherheitsmodells namens Mythos eingeräumt. Entwickelt im April 2026, bleibt es bislang unveröffentlicht. Das Modell kann nach Angaben des Unternehmens Sicherheitslücken in allen gängigen Betriebssystemen und Webbrowsern ausnutzen.
Über die Initiative Project Glasswing haben mehr als 150 Partnerorganisationen bereits eingeschränkte KI-Werkzeuge genutzt, um über 10.000 Sicherheitslücken zu identifizieren. Ein zweischneidiges Schwert: Die gleiche Technologie, die schützt, könnte auch angreifen.
Neue KI-Modelle bringen nicht nur Fortschritt, sondern auch komplexe neue Cyberrisiken und gesetzliche Pflichten für die Wirtschaft mit sich. Dieser Gratis-Report enthüllt, wie Sie Sicherheitslücken proaktiv schließen und gleichzeitig die aktuellen rechtlichen Anforderungen erfüllen. IT-Sicherheit stärken und Unternehmen langfristig schützen
Weltweiter Gegenwind: Klagen und Deklarationen
Der Druck auf die KI-Branche wächst. Erst kürzlich reichte die Generalstaatsanwaltschaft Floridas Klage gegen OpenAI und dessen CEO Sam Altman ein. Der Vorwurf: Das Unternehmen habe Profit über Sicherheit gestellt. Die Technologie sei mit Fällen von kognitivem Leistungsabbau und der Planung von Gewalttaten in Verbindung gebracht worden.
Auch in Europa wächst die Skepsis. Am 5. Juni debattierte das britische Oberhaus über „systemische und potenziell katastrophale“ Risiken der KI. Fast 2.000 Mathematiker von Eliteuniversitäten wie Harvard und Oxford unterzeichneten im Juni 2026 die Leidener Erklärung zu KI und Mathematik. Sie fordern mehr öffentliche Kontrolle und die Offenlegung von KI-Nutzung in der Forschung.
Der Hintergrund: Eine Studie vom Mai 2026 identifizierte fast 150.000 KI-generierte gefälschte Zitate in wissenschaftlichen Publikationen. Die Grenzen zwischen echter und maschineller Forschung verschwimmen zusehends.
Politische Reaktionen: Freiwillig oder militärisch?
Die US-Regierung reagiert mit einem Mix aus Zurückhaltung und Aufrüstung. Am 2. Juni unterzeichnete Präsident Biden eine neue Executive Order, die einen freiwilligen Rahmen für KI-Sicherheit schafft. Nur drei Tage später folgte ein Memorandum, das die militärische Nutzung von KI beschleunigen soll.
Experten wie der KI-Forscher Stuart Russell bleiben skeptisch. Solange KI-Systeme mit Zielen gebaut würden, die nicht mit menschlichen Interessen übereinstimmten, bleibe die Technologie eine existenzielle Bedrohung – unabhängig von freiwilligen Sicherheitsversprechen.
