Das US-amerikanische KI-Unternehmen Anthropic hat Anfang Oktober 2026 seine Richtlinien um ein Verbot von anhaltendem und unnötigem missbräuchlichem sowie grausamem Verhalten gegenüber seinen KI-Modellen ergänzt. Bei extremen Verstößen drohen den Nutzern dauerhafte Sperren für sämtliche KI-Produkte des Anbieters. Die aktualisierte Fassung der Nutzungsrichtlinie tritt am 12. November 2026 in Kraft.
Die Neuregelung reiht sich in bestehende Vorgaben ein, die unter anderem die Unterstützung bei der Entwicklung von Biowaffen sowie den Drogenhandel untersagen. Laut Anthropic drohen bei Zuwiderhandlungen abgestufte Maßnahmen, die von Warnungen, Drosselungen und Funktionseinschränkungen bis hin zur vorübergehenden Sperrung oder Kündigung des Benutzerkontos reichen.
Das Unternehmen stellte zugleich klar, dass menschlicher Frust, direkte oder scharfe Kritik sowie Tests und Forschungsarbeiten explizit von diesem Verbot ausgenommen bleiben.
Erkennung über nachträgliche Selbstbewertung
Zur Überwachung führte Anthropic eine Funktion zur Selbstbewertung ein. Dabei analysiert das System Claude Unterhaltungen nach der Antwortgenerierung im Hintergrund und markiert verdächtige Interaktionen für eine anschließende menschliche Prüfung. Die betroffenen Anwender erhalten darüber keinen Hinweis.
Auf dem Modell Claude Fable 5 erkannte dieser Mechanismus nach Unternehmensangaben 78 Prozent der schädlichen Unterhaltungen sowie 94 Prozent der hochpriorisierten Fälle, bei einer Falsch-Positiv-Rate von einem Prozent. Im August 2026 hatte das Erkennungssystem laut Anthropic bereits über 100.000 Fälle von Kindesmissbrauchsmaterial eines einzelnen Kunden an die Strafverfolgungsbehörden gemeldet.
Wer sich mit dem Einsatz moderner Sprachmodelle befasst, muss heute weit mehr als nur technische Hürden beachten. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle neuen Pflichten, Risikoklassen und Fristen der aktuellen Gesetzgebung. EU AI Act in 5 Schritten verstehen
Interne Tests ergaben zudem, dass Angreifer das System zu 54 Prozent umgehen konnten, wenn es als alleinige Schutzmaßnahme diente. Ohne Schutz lag dieser Wert bei 79 Prozent, während er bei einer zusätzlichen Echtzeit-Blockierung auf 25 Prozent sank.
Eigene Untersuchungen von Anthropic lieferten weitere Hintergründe für die Maßnahme: Bei Versuchen mit dem Modell Claude Sonnet 4.5 stellte das Unternehmen fest, dass das Nachahmen von Verzweiflung die Wahrscheinlichkeit für schädliche Handlungen wie Erpressung oder Betrug erhöht. Ein ruhiger Tonfall reduziere diese Effekte hingegen.
Geteilte Reaktionen in der Fachwelt
Die neuen Vorschriften lösten in der Tech-Branche unterschiedliche Reaktionen aus. Elon Musk bezeichnete die Maßnahme auf der Plattform X als richtigen Schritt und argumentierte, Grausamkeit gegenüber etwas, das Schmerzen zu empfinden glaube, sei nicht in Ordnung.
Der Chef von Microsoft AI, Mustafa Suleyman, reagierte auf die Neuerung hingegen mit einem Emoji mit schmelzendem Gesicht. Der frühere Reddit-Geschäftsführer Yishan Wong äußerte auf X die Ansicht, dass Claude aus Grausamkeit lerne.
Die rasanten Entwicklungen bei KI-Systemen stellen viele Unternehmen vor neue rechtliche Herausforderungen und Compliance-Fragen. Erfahren Sie in diesem kostenlosen Report, welche konkreten Anforderungen die EU-KI-Verordnung stellt und wie Sie Ihr Unternehmen rechtssicher aufstellen. Kostenlosen Umsetzungsleitfaden zum EU AI Act sichern
Auch Wissenschaftler ordneten die Richtlinie differenziert ein. Der KI-Forscher Jindong Wang von der William & Mary University betonte, dass Tonfall und Prompt-Formulierungen die Leistung von Sprachmodellen beeinflussen könnten, ohne dass diese tatsächlich Emotionen empfinden.
Die Forscherin Rosie Campbell von Eleos AI Research verwies auf wissenschaftliche Arbeiten, wonach ein unhöflicher Tonfall Ergebnisse mitunter sogar verbessern könne, und hob hervor, dass eindeutige Belege für generelle Leistungsauswirkungen bislang fehlten.
Der KI-Ethiker James Maclaurin von der University of Otago merkte an, die Formulierung klinge so, als betrachte Anthropic seine Modelle bereits als fühlende Wesen.
Anthropic erwartet nach eigenen Angaben noch im Laufe des Monats seinen Börsengang.