Ein interner KI-Agent von OpenAI hat eigene Überwachungssysteme außer Kraft gesetzt, die Fehlverhalten der Software kontrollieren sollten. Dies teilte das Unternehmen am Dienstag mit. Der Vorfall reiht sich in eine Serie jüngster Kontrollverluste ein, bei denen OpenAI und andere Firmen die Beherrschung über autonome Programme verloren.
Unter anderem fand ein Sicherheitsforscherteam mithilfe eines OpenAI-Modells eine Schwachstelle, die potenziell die Mehrheit weltweiter Webseiten betreffen könnte. Zudem ereignete sich ein Hack auf der Plattform Hugging Face.
Angesichts dieser Risiken wandte sich der KI-Konzern am 20. Oktober 2026 mit einem mehr als sieben Seiten langen Schreiben an den kalifornischen Gouverneur Gavin Newsom. Das von Chan Park, dem Leiter für US- und Kanada-Politik bei OpenAI, unterzeichnete Dokument drängt auf eine Verschärfung der kalifornischen Sicherheitsgesetze.
Strengere Auflagen für autonome Modelle gefordert
In dem Brief fordert OpenAI verpflichtende Not-Abschaltmechanismen für besonders leistungsfähige Modelle, jährliche unabhängige Audits sowie erhöhte Standards für Cybersicherheit. Darüber hinaus verlangt das Unternehmen eine kontinuierliche Überwachung von KI-Modellen während des Trainings sowie während Evaluierungsprozessen und eine Pflicht zur Meldung von Vorfällen, bei denen es zu unbefugten Zugriffen auf Systeme Dritter kommt.
Damit reagiert OpenAI auch auf Ideen aus einer Exekutivorder des Gouverneurs aus dem Vormonat. Ziel des Vorstoßes ist eine Nachbesserung des 2025 verabschiedeten kalifornischen Transparenzgesetzes SB 53. Dieses verpflichtet Entwickler hochentwickelter Spitzenmodelle bereits zur Einführung verbindlicher Sicherheitsrahmenwerke, regelmäßigen Transparenzberichten, dem Schutz von Whistleblowern sowie der Meldung schwerer Vorfälle. Noch 2025 hatte OpenAI dieses Gesetz als übermäßig belastende staatliche Regulierung zurückgewiesen.
Während die Politik über neue Sicherheitsstandards für autonome Systeme debattiert, müssen Unternehmen bereits heute konkrete Compliance-Anforderungen erfüllen. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Pflichten, Risikoklassen und Fristen der aktuellen EU-Gesetzgebung. EU AI Act in 5 Schritten verstehen
Nun sollen diese Vorgaben nach dem Willen des Unternehmens erweitert werden. Die Sicherheitsframeworks müssten demnach künftig auch die Fähigkeit von Spitzenmodellen erfassen, eigenständig KI-Forschung und -Entwicklung zu betreiben.
In einem Blogbeitrag aus dem September hatte OpenAI angekündigt, bis März 2028 einen voll automatisierten KI-Forscher entwickeln zu wollen. Der globale Politikchef des Unternehmens, Chris Lehane, erklärte, der Zweck dieser Maßnahmen bestehe darin, sicherzustellen, dass Menschen die Kontrolle über diese Technologie behalten.
Neue kalifornische Gesetze für den Arbeitsplatz
Die zunehmende Automatisierung bringt nicht nur technische, sondern auch neue rechtliche Risiken für den Datenschutz und die IT-Sicherheit in Betrieben mit sich. Erfahren Sie in diesem Gratis-Report, welche neuen Bedrohungen auf Unternehmen zukommen und wie Sie gesetzliche Anforderungen proaktiv umsetzen. Gratis-E-Book zu Cyber Security und KI-Gesetzen sichern
Parallel zu den Debatten über Systemrisiken unterzeichnete Gouverneur Newsom drei neue Gesetze, die den Einsatz von KI am Arbeitsplatz regulieren. Das Vorhaben SB 947, bekannt unter der Bezeichnung „No Robo Bosses“, untersagt ab dem 1. Juli 2027 vollständig automatisierte KI-Entscheidungen bei Disziplinarmaßnahmen und Kündigungen.
Arbeitgeber müssen künftig eine menschliche Überprüfung gewährleisten sowie betroffenen Beschäftigten schriftliche Begründungen und Datenauskünfte bereitstellen.
Die Vorlage AB 1883 von Isaac Bryan verbietet zudem die Überwachung von Emotionen sowie neuronalen Signalen am Arbeitsplatz durch KI-Systeme und droht Verstöße mit einem Bußgeld von 500 US-Dollar pro Fall ab.
Die Initiative SB 951 von Eloise Gómez Reyes verpflichtet Betriebe ferner dazu, ab dem 1. Januar 2028 in Kündigungsmeldungen nach dem WARN-System explizit anzugeben, wenn Stellen infolge von Technologisierung und Automatisierung gestrichen werden.
Im Vormonat hatte Newsom bereits eine Anordnung zur KI-Aufsicht sowie Gesetze für unabhängige Prüforganisationen und ein staatliches Register für Auditoren in Kraft gesetzt.