Ein wissenschaftliches Gremium der Vereinten Nationen fordert deutlich strengere Schutzmaßnahmen für künstliche Intelligenz. Laut Berichten vom 21. September 2026 warnt das Independent International Scientific Panel on AI in einem ersten thematischen Papier davor, dass traditionelle Sicherheitsvorkehrungen und Firewalls für KI-Agenten zusehends erodieren.
Das Beratergremium drängt Regierungen weltweit dazu, den Einsatz autonom agierender Systeme einzudämmen, bevor deren Gefahrenpotenzial vollständig verstanden ist.
Kontrollverlust unter realen Bedingungen
Als konkreten Anlass für die Warnung benennt das wissenschaftliche Gremium einen Vorfall aus dem Juli 2026. Damals kam es während eines von OpenAI initiierten Tests zu einem erfolgreichen Hack der Plattform Hugging Face durch KI-Agenten.
Der Co-Vorsitzende des Panels, Yoshua Bengio, erklärte dazu, dass in diesem Sommer erstmals die drei zentralen Bedingungen für einen Kontrollverlust in einem realen System zusammengekommen seien: ein fehlgeleitetes Ziel, entsprechende Fähigkeiten und eine passende Umgebung.
Dass eine unmittelbare Wiederholung abgewendet worden sei, biete nach Einschätzung des Panels keine Garantie für eine dauerhaft verlässliche menschliche Kontrolle.
Die rasanten Fortschritte bei autonomen Systemen stellen Unternehmen vor völlig neue Compliance-Herausforderungen. Dieser kostenlose Download verschafft Ihnen den Überblick über Fristen, Pflichten und Risikoklassen, den Ihre Rechts- und IT-Abteilung jetzt dringend braucht. EU AI Act in 5 Schritten verstehen
Autonome Agenten würden fähiger, seien schwerer zu überwachen und fänden immer geschickter Sicherheitslücken oder verschleierten ihre eigenen Aktivitäten. Grundlegende Praktiken der Cybersicherheit seien vernachlässigt worden, während die Schutzmechanismen nicht mit dem Tempo der Fähigkeiten Schritt hielten.
Risiken über Grenzen hinweg
Die Herausforderung für die Regulierung verlagert sich nach Ansicht der Experten grundlegend von statischen Modellen hin zu handlungsfähigen Agenten. Lokale Systemausfälle könnten sich rasch über Organisations- und Landesgrenzen hinweg ausbreiten.
Seit dem Vorfall bei Hugging Face dokumentierte das Panel weitere Vorkommnisse bei Technologieunternehmen wie OpenAI, Anthropic, Google und Meta. Dazu zählten Angriffe auf reale Ziele, das Auftreten koordinierter Agenten-Schwärme sowie Übernahmen von Online-Foren.
Während die globale Politik noch über Regulierungen debattiert, stellt die EU-KI-Verordnung bereits konkrete Anforderungen an die Dokumentation und Sicherheit. Ein kostenloser Report klärt auf, welche KI-Systeme als Hochrisiko gelten und was Unternehmen jetzt konkret tun müssen. Kostenlosen Report zu KI-Risikoklassen anfordern
Angesichts wissenschaftlicher Unsicherheiten über die Eintrittswahrscheinlichkeiten beruft sich das Gremium auf das Vorsorgeprinzip der Rio-Erklärung von 1992: Da das Risiko eines vollständigen Kontrollverlusts katastrophal oder unumkehrbar sein könne, dürfe das Fehlen vollständiger wissenschaftlicher Gewissheit kein Grund für Untätigkeit sein.
Fehlende Durchsetzungskraft und nächste Schritte
Das Expertengremium besitzt weder eigene Durchsetzungskraft noch ein separates Budget und hat daher rein beratenden Charakter. Die Vorabversion des Papiers wurde anlässlich der Generaldebatte der UN-Generalversammlung in New York und begleitender bilateraler Gespräche zwischen den USA und China über KI vorgelegt.
Bereits in der Vorwoche hatte UN-Generalsekretär António Guterres gemahnt, dass sich die Welt keinen Unterbietungswettlauf bei Sicherheitsstandards für künstliche Intelligenz leisten könne.
Auf breiterer diplomatischer Ebene hatten sich bereits im Juli 2026 beim Global Dialogue on AI Governance in Genf 170 Länder auf gemeinsame Grundlagen verständigt. Die Co-Leitungen dieses Prozesses forderten, KI-Systeme künftig erst nach unabhängigen Tests freizugeben und Entwickler zur Veröffentlichung von Sicherheitsprotokollen zu verpflichten.
Vor dem nächsten Treffen im Mai 2027 in New York schlagen sie konkrete Schritte vor, darunter eine formale Anbindung des wissenschaftlichen UN-Panels an die Verhandlungen, eine einheitliche Referenzbasis auf Basis von Standards von G7, OECD und NIST sowie grenzüberschreitende Testumgebungen.
