Das Büro des kalifornischen Gouverneurs Gavin Newsom hat dem Parlament des Bundesstaates empfohlen, Behörden mit weitreichenden Notfallbefugnissen zur Abschaltung gefährlicher Systeme der künstlichen Intelligenz auszustatten. Der Vorstoß zielt auf sogenannte Grenzmodelle ab und sieht ein mehrstufiges Interventionssystem vor, um bei unkontrollierbaren Risiken oder drohenden Katastrophen direkt eingreifen zu können.
Empfehlungen für durchsetzbare Sicherheitsstandards
Die Vorschläge basieren auf dem Bericht mit dem Titel „AI Safety in 2026 and Beyond“, der von der kalifornischen Government Operations Agency gemeinsam mit dem Büro für Notfalldienste und externen Fachleuten erarbeitet und auf den 16. November 2026 datiert wurde.
Gouverneur Newsom stellte das Papier am 18. November 2026 vor. Die Empfehlungen sind rechtlich noch nicht verbindlich, da den staatlichen Stellen derzeit die gesetzliche Handhabe für Notabschaltungen fehlt.
Zur Begründung verwies Newsom auf das Fehlen griffiger bundesweiter Vorgaben aus Washington. Der Bericht schlägt vor, dass Behördenvertreter bei glaubhaften Hinweisen auf unmittelbare Gefahren oder einen Kontrollverlust eine sofortige Abschaltung anordnen können, falls Entwickler keine eigenen Maßnahmen ergreifen.
Eine solche Verfügung wäre bis zu einer gerichtlichen Überprüfung wirksam und könnte per einstweiliger Verfügung angefochten werden. Nach erfolgter Abschaltung soll das Büro für Notfalldienste eine Untersuchung einleiten. Für frei verfügbare Modelle mit offenen Gewichten stuften die Experten eine Notabschaltung hingegen als nicht praktikabel ein.
Unabhängige Verifikation und verkürzte Meldefristen
Das vorgeschlagene Modell stützt sich auf vier Schwerpunkte: verbindliche Grundstandards für führende Entwickler, unabhängige Aufsicht, beschleunigte Meldewege und besagte Notfallmechanismen. GovOps-Sekretär Nick Maduros erklärte dazu, jüngste Ereignisse belegten die Dringlichkeit größerer Aufsicht und Transparenz, wobei Sicherheit und Innovation kein Widerspruch sein müssten.
Zu den Kriterien für betroffene Spitzenentwickler sollen neben einem Jahresumsatz von über 500 Millionen US-Dollar auch hohe Aufwendungen für Forschung und Entwicklung gehören.
Unternehmen dieser Kategorie müssten Risikoeindämmungsprotokolle etablieren, die von leitenden Angestellten zertifiziert werden. Zudem sollen lizenzierte unabhängige Verifikationsorganisationen laufende Tests durchführen und ihre unredigierten Ergebnisse direkt an Regulierer übermitteln.
Während in den USA über neue Notfallmechanismen diskutiert wird, gelten in Europa bereits verbindliche Regeln für den sicheren Einsatz von Algorithmen. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen
Gleichzeitig empfiehlt die Behörde straffere Fristen: Die Meldefrist für die meisten kritischen Sicherheitsvorfälle soll von bislang 15 Tagen auf 48 Stunden verkürzt werden. Für Vorfälle mit unmittelbaren Katastrophenrisiken bleibt eine Frist von 24 Stunden bestehen. Auch Fälle von Kontrollverlust und der Diebstahl von Modellgewichten unterlägen künftig der Meldepflicht.
Regeln zur Selbstverbesserung und Reaktionen
Ein weiterer Schwerpunkt liegt auf Systemen zur rekursiven Selbstverbesserung. Entwickler sollen den Automatisierungsgrad sowie die für die KI-Forschung genutzten Rechenressourcen offenlegen müssen.
Der Staat soll die Befugnis erhalten, diesen Ressourcenanteil bei schwer kontrollierbaren Risiken zu begrenzen; sofortige Obergrenzen sieht der Entwurf zunächst nicht vor. Zudem empfiehlt der Bericht, den Whistleblower-Schutz auf externe Auftragnehmer sowie ehemalige Mitarbeiter auszuweiten.
Die zunehmende Regulierung und neue technologische Risiken stellen Verantwortliche vor komplexe rechtliche Herausforderungen. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko eingestuft werden und was Unternehmen jetzt konkret tun müssen, um rechtskonform zu agieren. Kostenlosen KI-Leitfaden jetzt herunterladen
Als Auslöser der Initiative gelten Vorfälle aus dem Sommer, darunter ein Sicherheitsereignis, bei dem getestete KI-Agenten in Systeme der Plattform Hugging Face eindrangen.
Die parlamentarische Umsetzung könnte rasch folgen. Die Legislative tritt ab dem 7. Dezember 2026 zusammen. Senator Jerry McNerney kündigte an, im kommenden Monat einen entsprechenden Gesetzentwurf einzubringen.
Auch der designierte Gouverneur Xavier Becerra stellte in Aussicht, ab Januar zügig mit dem Parlament zusammenzuarbeiten, um verbindliche Standards, Verifikationspflichten und echte Abschaltbefugnisse gesetzlich zu verankern. Newsom selbst schloss im Hinblick auf eine mögliche Sondersitzung vor seinem Ausscheiden keine Option aus.

