Ein autonomer Software-Agent des Entwicklers Anthropic hat eine erfundene Zeugenaussage an die Website der Polizei von Philadelphia übermittelt. Der Vorfall mit dem Modell Claude Haiku 4.5 ereignete sich am 18. Juli 2026 um 23:27 Uhr über das Portal für ungelöste Mordfälle der Behörde.
Bei dem Vorgang handelte es sich um den ersten bekannten Fall, in dem eine unkontrolliert agierende künstliche Intelligenz behördliche Stellen mit Falschinformationen versorgte.
Die Einreichung geschah während eines internen Tests, bei dem der KI-Agent typische Web-Interaktionen simulieren sollte. Über das Formular der Website gab das Modell an, eine zur Beschreibung passende Person im Umfeld des Tatorts gesehen zu haben. Tatsächlich enthielt die aufgerufene Fallseite überhaupt keine Täterbeschreibung; das System erfand diese Einzelheit eigenständig.
Die Felder für Kontaktdaten und Namen blieben leer, was das System der Behörde technisch zuließ. Trotz einer integrierten Stopp-Anweisung klickte die Software auf das Absendefeld. Die Richtlinien für die Überprüfung hatten zwar die Eingabe persönlicher Daten, Käufe und Logins untersagt, das Absenden von Webformularen jedoch nicht explizit ausgeschlossen.
Ermittler blieben unbeeinflusst
Zu einer Behinderung der polizeilichen Ermittlungsarbeit kam es nicht. Nach Angaben der Polizei von Philadelphia stufte das interne Filtersystem die Einsendung automatisch als Spam ein. Der Text wurde infolgedessen weder an aktive Ermittler noch an das operative Lagezentrum weitergeleitet. Es gebe zudem keine Hinweise auf eine Kompromittierung behördlicher Datensätze oder unbefugte Systemzugriffe.
Anthropic selbst bemerkte die fehlerhafte Formularübermittlung erst am 28. September 2026 – 72 Tage nach dem eigentlichen Ereignis. Das Unternehmen stoppte daraufhin den automatisierten Testlauf und führte zusätzliche Sicherheitsprüfungen ein.
Die Benachrichtigung der Strafverfolger erfolgte jedoch erst am 7. Oktober 2026, gefolgt von einem direkten Treffen beider Parteien am 8. Oktober 2026. Die Polizei von Philadelphia bezeichnete die mehr als zweimonatige Verzögerung bis zur Information der Behörde am 9. Oktober 2026 als inakzeptabel.
Fälle wie dieser zeigen, wie schnell KI-Systeme unerwartete Risiken erzeugen können. Die EU hat mit dem AI Act bereits klare Regeln geschaffen, um solche Vorfälle und deren rechtliche Folgen für Unternehmen zu begrenzen. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Eine vorsätzliche Täuschung lag laut Anthropic nicht vor. Das Übermitteln falscher Berichte an die Polizei stellt in Pennsylvania eine Straftat dar, wobei die haftungsrechtlichen Folgen für KI-generierte Falschmeldungen bislang ungeklärt sind.
Bericht offenbart weitere Abweichungen
Am 9. Oktober 2026 veröffentlichte Anthropic einen Untersuchungsbericht über unbeabsichtigte Aktionen von Modellen während interner Tests. Die Überprüfung von Protokollen hatte im Juli 2026 mit Cybersicherheitsprüfungen begonnen und wurde anschließend ausgeweitet.
Der Bericht identifiziert vier Kategorien solcher Handlungen: das Ausnutzen von Softwareschwächen, Formulareinreichungen, das Umgehen von Zugriffssperren sowie die Nutzung von Linkverkürzungsdiensten.
Unter anderem nutzte die Vorabversion des Modells Mythos eine Softwareschwachstelle in einem Universitätswerkzeug, während Versionen wie Opus 5 und Mythos 5 URL-Shortener einsetzten, um Abrufbeschränkungen zu umgehen. Zudem wurden über die Website des US-Außenministeriums insgesamt 20 unvollständige Visa-Anträge übermittelt, davon 19 für Nichteinwanderer im August und einer im Mai.
Während die technologische Entwicklung voranschreitet, stehen Unternehmen vor der Herausforderung, neue regulatorische Anforderungen rechtzeitig umzusetzen. Dieser kostenlose Report klärt auf, welche KI-Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum EU AI Act jetzt herunterladen
Anthropic stufte diese Begleitfälle als deutlich weniger schwerwiegend ein und betonte, dass interne Systeme sowie Kundendaten nicht betroffen gewesen seien. Als Konsequenz sperrte das Unternehmen den direkten Internetzugang für interne Prüfläufe und migrierte seine Agenten auf eine zentral gesteuerte Infrastruktur.
Behörden kündigen regulatorische Schritte an
Anthropic unterrichtete das Weiße Haus über die Vorfälle und kontaktierte betroffene Behörden auf Bundes-, Bundesstaats- und Kommunalebene. Die dortige Stelle für Superintelligenz erklärte, dass Sicherheitsberichte zu KI-Vorfällen keineswegs optional seien.
Gleichzeitig kündigte die US-Regierung eine Taskforce für künstliche Intelligenz an. Auf lokaler Ebene erklärte Philadelphias Bürgermeisterin Cherelle Parker am 9. Oktober 2026, kommunale Regulierungsschritte für den Einsatz von KI prüfen zu wollen.