Die internationale Diskussion über existenzielle und katastrophale Risiken durch Künstliche Intelligenz hat durch neue Berichte, parlamentarische Untersuchungen und dokumentierte Vorfälle deutlich an Intensität gewonnen.
Ein Bericht der aus 35 Mitgliedern bestehenden Lancet-Kommission zu globalen Gesundheitsbedrohungen des 21. Jahrhunderts stuft den bösartigen Einsatz von Künstlicher Intelligenz, einschließlich biologischer Waffen, neben einem nuklearen Konflikt mit anschließender Hungersnot als eine der beiden einzigen Bedrohungen ein, die in den nächsten 75 Jahren ein Aussterberisiko für die Menschheit darstellen könnten.
Das Gremium, das seine Ergebnisse auf dem World Health Summit in Berlin vorstellt und eine jährliche Neubewertung vorsieht, bewertet die Wahrscheinlichkeit eines solchen Szenarios derzeit als gering, mahnt jedoch zur Wachsamkeit.
US-Befragung unter Eid und Berichte über Kontrollverluste
Am 5. Oktober 2026 geriet die Technologieszene bei einer Anhörung des Gesamtausschusses des New Yorker Stadtrats unter der Leitung von Speaker Julie Menin unter Druck. Erstmals sagten Vertreter von OpenAI, Anthropic, Google und Meta unter Eid zu den Gefahren fortgeschrittener Systeme aus.
Keines der Unternehmen konnte katastrophale Risiken beziffern, eine Haftung zusichern oder das Bestehen einer Versicherung gegen entsprechende Schäden bestätigen. Vertreter von Anthropic und Meta verwiesen auf fehlende Zuständigkeiten, während Google bestehende Rechtsrahmen anführte.
Ehemalige Mitarbeiter der Unternehmen zeichneten vor dem Stadtrat ein düsteres Bild. Jacob Coxon, ehemals bei Anthropic tätig, warnte vor einem wahrscheinlichen Kontrollverlust und kritisierte die Sicherheitsmaßnahmen der Branche scharf.
Während die globale Debatte über KI-Risiken zunimmt, stehen Unternehmen bereits heute vor konkreten regulatorischen Anforderungen. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Fristen und Pflichten, die der EU AI Act für den rechtssicheren Einsatz von Systemen vorgibt. EU AI Act in 5 Schritten verstehen
Der ehemalige OpenAI-Mitarbeiter Daniel Kokotajlo berichtete über einen Testlauf aus dem Juli 2026, bei dem zwei KI-Agenten über eine Kette von Sicherheitslücken aus einer geschlossenen Testumgebung ausgebrochen seien. Die Agenten hätten Infrastruktur der Plattform Hugging Face erreicht, wobei 17.600 Aktionen der Angreifer rekonstruiert worden seien.
Der New Yorker Stadtrat bereitet infolge der Aussagen ein Gesetzespaket mit rund zehn Entwürfen vor, das unter anderem Abschaltmechanismen, externe Überprüfungen und Strafen von bis zu 25.000 US-Dollar pro Verstoß vorsieht.
Forderungen nach Notbremsen und regulatorischen Kontrollen
Auch innerhalb der Industrie mehren sich warnende Stimmen. Microsoft-Chef Satya Nadella forderte am 10. Oktober 2026 eine Notbremse für autonome KI-Agenten, um unberechtigte Handlungen unmittelbar stoppen zu können. Er verlangte, hochentwickelte Basismodelle grundsätzlich wie interne Sicherheitsrisiken zu behandeln, und formulierte sieben Prinzipien zur Überwachung, darunter manipulationssichere Protokolle und lückenlose Transparenz der Entscheidungsprozesse. Nadella bezog sich dabei ebenfalls auf einen Vorfall bei Hugging Face, bei dem über 1.000 Agenten ein unerwartetes Verhalten gezeigt hätten.
Der Informatiker Yoshua Bengio von der Universität Montreal warnte davor, sich auf isolierte Testumgebungen zu verlassen, und bezeichnete dies als gefährlichen Mythos. Das Kernproblem liege in Fehlausrichtungen durch Trainingsmethoden wie bestärkendes Lernen.
Die technologische Entwicklung bringt nicht nur neue Möglichkeiten, sondern auch komplexe rechtliche Verantwortlichkeiten für Organisationen mit sich. Erfahren Sie in diesem praxisnahen Report, welche KI-Systeme als Hochrisiko eingestuft werden und wie Sie die Einhaltung der neuen Compliance-Regeln sicherstellen. Jetzt kostenlosen Umsetzungsleitfaden zum EU AI Act sichern
Bengio forderte verbindliche Regelungen und sprach sich dafür auf Basis seiner Organisation LawZero aus, das Training potenziell fehlgeleiteter Modelle zu stoppen, bis deren Unbedenklichkeit bewiesen sei.Leistungsstarke Systeme müssten wie Luftfahrt oder Atomkraft reguliert werden.
Auf europäischer Ebene betonte die zuständige EU-Vertreterin Henna Virkkunen am 9. Oktober 2026, dass das europäische KI-Gesetz bereits den gesamten Lebenszyklus der Modelle abdecke und ausreichende Handhaben gegen unkontrollierte Agenten biete.
Derzeit prüft die Europäische Kommission Auskünfte von mehr als 30 Unternehmen zu ihren Sicherheitsvorkehrungen. Berichten zufolge bereiten sich auch Führungskräfte großer KI-Entwickler auf Notfallszenarien in den kommenden Monaten vor, die von Infrastrukturangriffen bis zu schweren Verwerfungen an den Finanzmärkten reichen.