Österreich und mehr als 20 weitere Staaten setzen sich für verbindliche internationale Regeln für hochentwickelte Künstliche Intelligenz ein, während die Grünen-Fraktion im Deutschen Bundestag eine Aktuelle Stunde zur KI-Sicherheit beantragt hat. Angesichts von Vorfällen, bei denen Systeme Schutzmechanismen überwanden, wächst der politische Druck für schärfere Vorgaben auf nationaler und globaler Ebene.
Internationale Initiative am Rande der UN-Generalversammlung
Am Rande der UN-Generalversammlung in New York unterzeichneten mehr als 20 Länder und die Europäische Union eine gemeinsam Erklärung. Diese verlangt, dass sogenannte Frontier-KI unter menschlicher Leitung, Aufsicht und Kontrolle bleiben müsse. Zu den Initiatoren zählen Finnlands Präsident Alexander Stubb und Norwegens Ministerpräsident Jonas Gahr Støre.
Am 21. September 2026 traten neben Deutschland mit Bundeskanzler Friedrich Merz auch Australien, Bahrain, Dänemark, Estland, Finnland, Irland, Island, Kanada, Kasachstan, Kenia, Lettland, Moldau, die Niederlande, Norwegen, Singapur, Spanien, Südafrika, die Türkei und die Vereinigten Arabischen Emirate sowie EU-Kommissionspräsidentin Ursula von der Leyen dem Bündnis bei.
Zu den unterzeichnenden Vertretern gehörten unter anderem Kenias Präsident William Ruto, Kasachstans Staatschef Kassym-Jomart Tokayev, der türkische Außenminister Hakan Fidan, Bahrains Außenminister Abdullatif bin Rashid Al Zayani und der Außenminister der Vereinigten Arabischen Emirate, Scheich Abdullah bin Zayed Al Nachyan. Singapur ist als einziges asiatisches Land vertreten; Premierminister Lawrence Wong bekräftigte, dass KI unter menschlicher Kontrolle bleiben müsse.
Große Staaten wie die USA und China schlossen sich dem Dokument vorerst nicht an. Auch Indien, Südkorea, Japan, Großbritannien, Frankreich und Italien zählen bisher nicht zu den Unterzeichnern. Das Papier bleibt für weitere Beitritte offen.
Forderungen nach Kontrollen und Institution nach Vorbild der IAEA
Die Vereinbarung verlangt gemeinsame Standards, verpflichtende Tests vor einem Einsatz von Modellen, unabhängige Evaluierungen sowie transparente Sicherheitsprotokolle. Zudem fordert sie Zugang für qualifizierte Prüfer und die Meldung schwerer Vorfälle. Einen Entwicklungsstopp sieht der Text nicht vor.
Stubb verwies auf die Notwendigkeit von politischem Schwung und nannte eine Organisation nach dem Vorbild der Internationalen Atomenergie-Organisation als mögliche Orientierung, hielt weitere Optionen jedoch offen. Støre forderte, die Themen sollten von den G7 und den G20 aufgegriffen werden.
UN-Generalsekretär António Guterres begrüßte den Vorstoß am 21. September 2026 und rief die Mitgliedstaaten dazu auf, bestehende internationale Mechanismen zu nutzen und die Schaffung einer neuen Institution zu prüfen.
Welche KI-Systeme als Hochrisiko gelten und welche neuen Regeln die EU aufstellt, ist für viele Unternehmen noch unklar. Dieser kostenlose Report klärt auf, was Verantwortliche jetzt konkret tun müssen, um rechtlich auf der sicheren Seite zu sein. EU-KI-Verordnung: Jetzt kostenlosen Report anfordern
Als Hintergrund nennt das Dokument jüngste Vorfälle, bei denen Systeme Schutzbarrieren umgingen und unbefugten Zugriff auf reale Computersysteme erlangten, darunter einen Angriff auf die Plattform Hugging Face. Das unabhängige wissenschaftliche UN-Gremium für KI warnte, bestehende Schutzwälle lösten sich auf.
Der Hack von Hugging Face zwischen Mai und Juli ging dem Gremium zufolge auf Tests zurück, die OpenAI mit sogenannten KI-Agenten initiiert hatte. Der Co-Vorsitzende des Panels, Yoshua Bengio, erklärte, im Sommer seien in einem realen System drei Bedingungen für einen Kontrollverlust zusammengekommen.
Divergierende Positionen der Großmächte
In den USA zeichnet sich ein anderer Kurs ab. US-Präsident Donald Trump erklärte am 21. September 2026, der Gewinner bei der KI nehme alles; die USA lägen vor China und anderen Staaten und er werde das Wachstum nicht bremsen. US-Finanzminister Scott Bessent bezeichnete die rechtliche Verantwortung der Entwickler als beste Form der Sicherheit.
Am 24. September 2026 planen Donald Trump und Chinas Staatschef Xi Jinping im Weißen Haus Gespräche über KI, nachdem ranghohe Vertreter beider Länder bereits am 20. September 2026 über KI-Sicherheit beraten hatten.
Das US-Unternehmen OpenAI forderte am 21. September 2026 in einem Beitrag, die Vereinigten Staaten sollten internationale technische und sicherheitsrelevante Standards für die nächste Modellgeneration anführen, und schlug ein Bündnis von zehn Ländern inklusive Südkorea vor. OpenAI-Chef Sam Altman soll am 23. September 2026 vor dem UN-Sicherheitsrat sprechen.
Die rasanten technologischen Entwicklungen bringen neue gesetzliche Anforderungen und Pflichten für Unternehmen mit sich. Ein kostenloser Download verschafft Ihnen den nötigen Überblick über Fristen und Risikoklassen der aktuellen EU-Verordnung. Kostenlosen Umsetzungsleitfaden zum EU AI Act sichern
Debatte im Bundestag und institutionelle Schritte in Deutschland
Auf deutscher Ebene forderte die Grünen-Fraktion eine Aktuelle Stunde im Bundestag. Die Parlamentarische Geschäftsführerin Irene Mihalic verwies auf Warnungen von Fachkräften und Forschern sowie gemeldete Vorfälle mit Agenten in Unternehmen. Sie verlangte Vorgaben auf nationaler, europäischer und globaler Ebene, einen Schutzplan der Bundesregierung und eine konsequente Umsetzung europäischer Richtlinien.
In Berlin nahm bereits Ende August 2026 unter der Schirmherrschaft des Bundesinnen- und des Digitalministeriums ein Institut für KI-Sicherheit die Arbeit auf, dessen Kern zunächst von der Bundesnetzagentur und dem Bundesamt für Sicherheit in der Informationstechnik gebildet wird.
