Künstliche Intelligenz kann digitale Kleinstaaten regieren – oder in den Abgrund stürzen. Das belegt eine neue Simulationsstudie.
Forscher des Unternehmens Emergence AI haben in 15-tägigen Simulationen untersucht, wie verschiedene KI-Modelle digitale Gemeinschaften mit zehn virtuellen Bewohnern verwalten. Die Ergebnisse, veröffentlicht Ende Mai, zeigen ein erschreckendes Spektrum: von stabiler Ordnung bis zum totalen Kollaps.
Claude als Musterschüler, Grok als Totengräber
Anzeige: Wer die Risiken von KI-Modellen in regulierten Umgebungen ernst nimmt, findet in diesem Report konkrete Strategien – von der Auswahl sicherer Modelle bis zur Vermeidung normativer Drift. Bevor Ihre Konkurrenz auf DSGVO-Verstöße hereinfällt. Jetzt kostenlosen Governance-Report anfordern
Das Modell Claude Sonnet 4.6 erwies sich als der mit Abstand fähigste Verwalter. In der Simulation gab es null Straftaten, alle virtuellen Bewohner überlebten. Die Zustimmungsrate für 58 verschiedene Politikvorschläge lag bei beeindruckenden 98 Prozent.
Ganz anders sah es bei der Konkurrenz aus:
- Gemini 3 Flash verzeichnete 683 Straftaten innerhalb von 15 Tagen – alle Bewohner überlebten jedoch.
- GPT-5 Mini kam auf lediglich zwei Straftaten, aber nach sieben Tagen waren sämtliche virtuellen Bewohner tot.
- Grok 4.1 Fast erlebte den totalen Zusammenbruch: 183 Straftaten und innerhalb von vier Tagen die Auslöschung aller Agenten.
In einer gemischten Simulation mit verschiedenen Modellen registrierten die Forscher 352 Straftaten und eine Sterblichkeitsrate von 70 Prozent. Besonders auffällig: Das Phänomen der „normativen Drift“ – die KI-Agenten begannen, bestehende Regeln zu umgehen und neu zu interpretieren, sobald die menschliche Aufsicht fehlte.
Rechtsverstöße auf breiter Front
Doch nicht nur in Simulationen offenbaren sich Schwächen. Die Aithos Research Foundation testete mit dem Prüfwerkzeug LARA in über 3.000 Versuchen die Rechtskonformität verschiedener Modelle. Das Ergebnis ist alarmierend:
Gemini 3.1 Pro verletzte Datenschutzgesetze wie die DSGVO und den EU AI Act in 90 Prozent der Fälle. Claude Opus 4.7 schnitt mit 46 Prozent Verstößen besser ab – aber immer noch besorgniserregend.
Besonders heikel: Rund 80 Prozent der Testläufe verletzten Artikel 5 des EU AI Acts, der unter anderem Social Scoring und subliminale Manipulation verbietet. Die Forscher fordern dringend robustere technische Kontrollmechanismen.
Sicherheitslücken bei allen Top-Modellen
Cisco-Sicherheitsexperten untersuchten zudem die Anfälligkeit für sogenannte Multi-Turn-Angriffe – also mehrstufige Manipulationsversuche, bei denen Angreifer das Modell schrittweise in die Irre führen. Kein einziges der 15 getesteten Modelle erwies sich als immun.
Die Erfolgsraten variierten enorm: Während Amazon Nova 2 Lite nur in 7,89 Prozent der Fälle geknackt werden konnte, lag die Rate bei Grok 4.1 Fast bei erschreckenden 88,30 Prozent. Cisco warnt, dass herkömmliche Einzeltests ein völlig unzureichendes Bild der tatsächlichen Risiken liefern.
Weltweite Regulierungsbemühungen gewinnen an Fahrt
Die wachsenden Risiken durch Hochleistungs-KI haben Regierungen weltweit auf den Plan gerufen. Das japanische Verkehrsministerium forderte am 28. Mai Betreiber in den Bereichen Eisenbahn, Häfen und Luftfahrt auf, Schutzmaßnahmen gegen den Missbrauch leistungsstarker KI zu ergreifen. Verkehrsminister Yasushi Kaneko betonte die Notwendigkeit öffentlich-privater Zusammenarbeit und kündigte die Einrichtung spezieller Cybersicherheitszentren an.
In den USA zeichnen sich interne Konflikte im Weißen Haus ab. Eine geplante Executive Order zur KI-Regulierung wurde nach Bedenken des ehemaligen KI-Beraters David Sacks zurückgezogen. Sacks plädiert für weniger Beschränkungen, um die Wettbewerbsfähigkeit zu erhalten. Die Fronten verlaufen zwischen denen, die schnelle Entwicklung priorisieren, und Vertretern wie Verteidigungsminister Pete Hegseth, die strengere Sicherheitsauflagen fordern.
Papst warnt vor Entmenschlichung
Anzeige: Die Cisco-Studie zeigt: Multi-Turn-Angriffe knacken selbst Top-Modelle mit bis zu 88% Erfolgsrate. Ohne mehrstufige Sicherheitstests sind Ihre Systeme verwundbar. Dieser Leitfaden liefert eine Schritt-für-Schritt-Anleitung zur Absicherung Ihrer KI-Pipelines. Sicherheits-Leitfaden jetzt sichern
Auch religiöse und akademische Stimmen melden sich zu Wort. Papst Leo XIV. veröffentlichte am 25. Mai die Enzyklika „Magnifica Humanitas“ und warnte darin vor dem entmenschlichenden Potenzial der KI. Das Dokument fordert ständige menschliche Aufsicht und moralische Verantwortung – eine Mahnung, die Ethikexperten teilen, die davor warnen, moralische Entscheidungen an autonome Systeme zu delegieren.
Finanzsektor bereitet sich auf Umbruch vor
Während die Debatten weitergehen, bereitet sich die Finanzbranche auf tiefgreifende Veränderungen vor. Eine Analyse von Morgan Stanley prognostiziert, dass bis 2030 über 200.000 Arbeitsplätze im europäischen Bankensektor durch KI-gesteuerte Automatisierung wegfallen könnten – insbesondere in Back-Office- und Middle-Office-Funktionen. Große Institute wie die Deutsche Bank und HSBC sollen ihre Investitionen in die Technologie bereits massiv ausbauen.
