Der KI-Entwickler Anthropic hat für sein Sprachmodell Claude ein neuartiges Sicherheitsverfahren auf Basis einer internen Selbstbewertung eingeführt. Das System lief seit Juni 2026 für vier Monate im Hintergrund und prüft Dialoge nach jeder generierten Antwort verdeckt auf unethisches Verhalten.
Auffällige Konversationen werden für eine manuelle Überprüfung durch menschliche Prüfer markiert, ohne dass die Nutzer eine Warnung erhalten. Technische Einzelheiten zu dem Verfahren veröffentlichte das Unternehmen in einem technischen Blog.
Stille Klassifizierung statt sofortiger Blockaden
Im Gegensatz zu herkömmlichen Schutzfiltern setzt der Ansatz nicht auf eine sofortige Blockade im Chatverlauf. Stattdessen erhält das Modell nach jeder Ausgabe eine verdeckte Anweisung, die bisherige Konversation in Form eines strukturierten JSON-Formats einzustufen. Dabei vergibt das System Bewertungen zu Parametern wie Risiko, Priorität und etwaiger Verweigerung. Schwerwiegende Vorfälle werden gesammelt und täglich in einer Zusammenfassung an menschliche Sicherheitsprüfer weitergeleitet.
Durch die technische Integration über die Weiternutzung des sogenannten KV-Caches erfordert die Analyse lediglich rund zehn zusätzliche Tokens pro Vorgang. Der zusätzliche Rechenaufwand beläuft sich damit auf unter 2%. Frühere Sicherheitsarchitekturen hatten den Rechenaufwand um 24% gesteigert, während Sicherheitsfunktionen des Konkurrenten OpenAI bis zu 16% zusätzliche Rechenleistung beanspruchen.
Wer sich mit dem Einsatz moderner KI-Systeme befasst, muss heute auch die rechtlichen Rahmenbedingungen und Sicherheitsvorgaben genau kennen. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen
Hohe Trefferquote bei großen Modellen
Nach Angaben von Anthropic konnten durch das Verfahren zahlreiche zuvor unentdeckte Regelverstöße identifiziert werden. Rund ein Drittel der erfassten Markierungen fiel dabei in keine der bereits vordefinierten Risikokategorien. Bei aus dem Trainingsdatensatz entfernten Beispielen von Betrug und Cyberangriffen lag die Erkennungsquote bei 90%.
Die Leistungsfähigkeit des Schutzmechanismus variiert stark nach der Modellgröße. Während das kleinste Modell bei einer Fehlalarmrate von 1% lediglich 16% der schädlichen Dialoge identifizierte, erreichte das größte Modell eine Erkennungsrate von 96%.
Für Claude Fable 5 wies Anthropic im Produktivbetrieb eine Erkennungsquote von 78% über alle schädlichen Konversationen sowie von 94% bei Fällen mit hoher Priorität aus, ebenfalls bei einer Fehlalarmquote von 1%.
In standardisierten Sicherheitstests, sogenannten Red-Team-Prüfungen, erreichte die Angriffserfolgsquote ohne Schutzmaßnahmen einen Wert von 79%. Unter Einsatz der neuen Selbstbewertung sank diese Quote auf 54%. Wurde stattdessen ein unabhängiger Sofort-Klassifikator eingesetzt, lag der Wert bei 25%.
Die technologische Entwicklung bringt neue Regeln mit sich, die viele Unternehmen noch nicht vollständig überblicken. Ein kostenloser Report klärt darüber auf, welche KI-Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Report zu Risikoklassen anfordern
Aufgedeckte Missbrauchsfälle und verbleibende Risiken
Der praktische Einsatz des Systems lieferte bereits konkrete Ergebnisse bei der Verfolgung von Plattformmissbrauch. Im August 2026 meldete das Unternehmen mehr als 100.000 Fälle von Material über sexuellen Missbrauch von Kindern bei einem API-Kunden an die zuständigen US-Behörden.
Im September 2026 führte zudem die Aufdeckung eines Romance-Scams über das Programmierwerkzeug Claude Code, der Dutzende Betrugsopfer forderte, zur Sperrung der betroffenen Benutzerkonten.
Gleichzeitig verweist Anthropic auf bestehende Risiken des Ansatzes. Neben Fehlalarmen, die unbeteiligte Anwender treffen können, besteht die theoretische Gefahr einer internen Absprache des Modells zur Verschleierung von Verstößen.