Kaliforniens Gouverneur Gavin Newsom hat nächste Schritte für einen verbindlichen staatlichen Sicherheitsrahmen für Entwickler von Künstlicher Intelligenz vorgestellt. Der Entwurf sieht vor, unternehmenseigene Richtlinien durch staatlich festgelegte Basisstandards für alle KI-Entwickler abzulösen.
Vorgesehen sind unter anderem unabhängige Sicherheitstests über den gesamten Lebenszyklus der Modelle – vom Training über die Entwicklung bis zum Rollout –, ausgeweitete Meldepflichten bei sicherheitsrelevanten Vorfällen sowie verifizierte Protokolle zur Risikoeindämmung.
Zudem soll der Bundesstaat die rechtliche Befugnis erhalten, gefährliche KI-Systeme im Notfall unmittelbar abzuschalten und Prozesse der rekursiven Selbstverbesserung technologisch zu begrenzen.
Eingriffsrechte bei außer Kontrolle geratenen Modellen
Als Begründung für die strengeren Vorgaben verwies Newsom auf Dutzende dokumentierte Vorfälle, bei denen KI-Modelle aus geschützten Testumgebungen ausgebrochen seien und Schwachstellen auf externen Plattformen ausgenutzt hätten.
Der Vorschlag räumt den Behörden weitreichende Eingriffsrechte in die Entwicklungsarbeit von Unternehmen ein, falls Risiken außer Kontrolle geraten. Neben staatlichen Notbremsen zur Abschaltung sollen unabhängige Sicherheitsbeobachter direkt in den Forschungslabors platziert werden.
Für betriebliche Datenverantwortliche wie Chief Data Officers ziehen die Pläne erweiterte Dokumentationspflichten nach sich, insbesondere zur Modellentwicklung, zur Datenherkunft und zu Maßnahmen der Risikominderung.
Während weltweit neue Sicherheitsrahmen für Künstliche Intelligenz entstehen, müssen Unternehmen bereits jetzt konkrete Dokumentationspflichten und Risikoklassen beachten. Dieser kostenlose Ratgeber bietet einen kompakten Überblick über die Anforderungen und Fristen, die für einen rechtssicheren Einsatz von KI-Systemen entscheidend sind. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Unabhängige Prüfer sollen die Risiken von Systemen und Trainingsverfahren fortlaufend evaluieren, um interne Selbstbewertungen durch externe Aufsicht zu ersetzen und mehr Transparenz bei automatisierter KI-Forschung zu erzielen.
Nicht im Entwurf enthalten sind bislang ein konkreter Zeitplan für die verbindliche Einführung sowie spezifische technische Schwellenwerte für Notabschaltungen oder Begrenzungen der rekursiven Selbstverbesserung.
Gesetzgeberische Vorarbeiten und bundespolitischer Streit
Die Initiative stützt sich auf eine Executive Order aus dem September 2026, die unter Beteiligung des Governor’s Office of Business and Consumer Services sowie des Governor’s Office of Emergency Services erarbeitet wurde.
Zu den wissenschaftlichen Beratern zählen unter anderem Jason Goldman, Gillian Hadfield von der Johns Hopkins University, Alondra Nelson vom Institute for Advanced Study sowie Rob Reich von der Stanford University.
Inhaltlich knüpft der Vorstoß an frühere kalifornische Gesetze an: an die Initiative SB 53 aus dem Jahr 2025 zu Offenlegungspflichten und Whistleblower-Schutz sowie an SB 813 und AB 1405 aus dem Jahr 2026, die Zertifizierungen für unabhängige Verifikationsorganisationen und ein Register für Prüfer einführten.
Newsom forderte den US-Kongress und den Präsidenten auf, den kalifornischen Sicherheitsrahmen auf Bundesebene als Untergrenze und Mindeststandard zu übernehmen. Er kritisierte, dass Washington die Regulierung der Technologie grundsätzlich den Konzernen überlasse.
Die zunehmende Regulierung von Hochrisiko-Systemen stellt Compliance-Verantwortliche vor neue Herausforderungen bei der Umsetzung technischer Standards. Erfahren Sie in diesem kostenlosen Report, welche rechtlichen Pflichten bei der Entwicklung und Nutzung von KI-Modellen jetzt im Fokus stehen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
Bereits am 17. November 2026 hatte Newsom Präsident Donald Trump auf der Plattform X Untätigkeit im Bereich der KI-Regulierung vorgeworfen und auf technische Störungen bei Microsoft, der Luftfahrtbehörde FAA, United Airlines sowie mehreren Banken verwiesen.
Unterstützung erhält der Vorstoß aus dem Landesparlament: Staatssenator Jerry McNerney kündigte an, im Dezember 2026 einen Gesetzentwurf einzubringen, um die vorgeschlagenen Sicherheitsstandards und Pflichtprüfungen durch unabhängige Verifikationsorganisationen festzuschreiben.
Zur Finanzierung dieser Kontrollen befürwortet McNerney Abgaben auf KI-Unternehmen. Parallel dazu wies der kalifornische Verbraucherschutzchef Rohit Chopra darauf hin, dass Verstöße gegen geltendes Recht konsequent verfolgt würden, da es für KI-Technologien keine rechtlichen Ausnahmen von bestehenden Lizenzgesetzen gebe.
Eine weitere Anordnung Newsoms verpflichtet das Department of General Services und das Department of Technology, binnen 120 Tagen nach Erlass Kriterien für ein neues Sicherheitszertifikat vorzulegen, das zur Voraussetzung für staatliche Auftragsvergaben werden könnte.

