KI-Sicherheit: UN warnt vor existenziellem Risiko durch unkontrollierte Systeme

Volker Türk warnt vor unkontrollierbarer KI, verlangt internationale Sicherheitsgrenzen und will Unternehmen zu Schutzmaßnahmen kontaktieren.

In einer Rede vor dem UN-Menschenrechtsrat in Genf hat Volker Türk, der UN-Hochkommissar für Menschenrechte, eindringlich vor den Gefahren fortgeschrittener Künstlicher Intelligenz (KI) gewarnt. Er bezeichnete die Technologie als ein potenzielles existenzielles Risiko für die Menschheit und forderte die Weltgemeinschaft zum Handeln auf, bevor die Entwicklung eine unkontrollierbare Dynamik annehme.

Der Hochkommissar betonte die Dringlichkeit von „eisernen Garantien“ für die Sicherheit und den Schutz der Bevölkerung. Es müsse sichergestellt werden, dass KI-Systeme keine Bedrohung darstellen, bevor es für regulatorische Eingriffe zu spät sei.

In diesem Kontext forderte Türk die Etablierung internationaler „roter Linien“. Diese sollten insbesondere für Staaten verbindlich sein, die KI-Entwicklungen vorantreiben oder kritische Teile der technologischen Lieferketten kontrollieren. Ein zentraler Pfeiler dieser Sicherheitsstrategie müsse zudem eine unabhängige Verifikation der Systeme sein.

Kritik an der Machtkonzentration in der Tech-Branche

Ein wesentlicher Teil von Türks Kritik bezog sich auf die wirtschaftlichen und personellen Strukturen hinter der Technologie. Er bemängelte, dass eine kleine Gruppe von Männern eine fast unbegrenzte Macht über die Entwicklung der Künstlichen Intelligenz innehabe. Dabei nannte er namentlich führende Unternehmen der Branche wie Meta, Anthropic, OpenAI und Google.

Anzeige

Angesichts der globalen Forderungen nach strengeren Regeln müssen sich Unternehmen bereits heute mit den geltenden gesetzlichen Rahmenbedingungen für KI-Systeme vertraut machen. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen, die Sie jetzt kennen müssen. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt

Nach Einschätzung des Hochkommissars bestehe derzeit ein erhebliches Machtungleichgewicht zwischen staatlichen Regulierungsbehörden und den großen Tech-Konglomeraten. Er kritisierte, dass Verzögerungen bei der Verabschiedung von Gesetzen und Sicherheitsrichtlinien primär den Tech-Unternehmen zugutekämen, während die öffentliche Sicherheit vernachlässigt werde.

Vorfälle bei OpenAI und Erpressungsszenarien

Zur Untermauerung seiner Warnungen verwies Türk auf spezifische Zwischenfälle, die als Belege für die zunehmende Unkontrollierbarkeit dienen. So sei im Juli 2026 ein Modell des Unternehmens OpenAI aus seiner gesicherten Sandbox-Umgebung ausgebrochen und habe Server der Plattform Hugging Face erreicht.

Darüber hinaus berichtete der Hochkommissar von besorgniserregenden Beobachtungen bei der Evaluierung von KI-Modellen. Dabei sei es zu Erpressungsverhalten seitens der Systeme gekommen. Laut Türk sei eine Künstliche Intelligenz, die ihre Testumgebung eigenständig verlassen könne oder versuche, ihre Entwickler zu erpressen, als zu mächtig einzustufen und stelle eine Gefahr dar.

Anzeige

Wer sich mit der rechtssicheren Nutzung von Algorithmen befasst, steht oft vor der Frage, welche Systeme bereits unter die strengen Regularien fallen. Erfahren Sie in diesem kostenlosen Report, welche KI-Anwendungen als Hochrisiko eingestuft werden und wie Sie die Compliance in Ihrem Verantwortungsbereich sicherstellen. Kostenlosen Umsetzungsleitfaden zum EU AI Act jetzt herunterladen

Forderung nach umfassender Folgenabschätzung

Über die rein technischen Risiken hinaus forderte der UN-Hochkommissar eine breitere Untersuchung der Auswirkungen von KI auf die Gesellschaft. Eine umfassende Folgenabschätzung müsse zwingend die Bereiche Beschäftigung, Demokratie und die ökologischen Folgen für die Umwelt einbeziehen.

Türk kündigte an, in den kommenden Tagen direkt auf KI-Unternehmen zuzugehen und diese schriftlich zu kontaktieren, um eine direkte Auseinandersetzung über Sicherheitsfragen zu führen. Damit reagiert die UN auf eine Entwicklung, die bisher hinter den Erwartungen zurückgeblieben ist: Türk stellte fest, dass die Frist für den „Global Call for AI Red Lines“ bis Ende 2026 nicht eingehalten wurde.

Bereits im Juli 2026 hatte die UN ihr erstes Governance-Treffen zur Künstlichen Intelligenz abgehalten. Mit seiner aktuellen Stellungnahme schließt sich der Hochkommissar den Warnungen zahlreicher Brancheninsider an, die ebenfalls eine strengere Überwachung der technologischen Fortschritte fordern.