Das KI-Unternehmen Anthropic hat am 8. Oktober 2026 eine Aktualisierung seiner Nutzungsrichtlinien angekündigt. Darin untersagt das Unternehmen künftig anhaltendes und grundlos missbräuchliches oder grausames Verhalten gegenüber seinen Claude-Modellen. Die neue Bestimmung soll am 12. November 2026 in Kraft treten.
Erste Klausel zum Schutz des Modells
Die Vorschrift ist im Richtlinienabschnitt gegen grausames, missbräuchliches oder psychologisch schädliches Verhalten verankert und markiert die erste Bestimmung des Unternehmens, die explizit dem Schutz der KI selbst dient. Es handelt sich um die erste grundlegende Revision der Nutzungsrichtlinien von Anthropic seit mehr als einem Jahr.
Nach Angaben des Unternehmens greift das Verbot ausschließlich in extremen Fällen wiederholter Verfehlungen ohne erkennbaren Zweck. Ausdrücklich erlaubt bleiben hingegen alltägliche Frustration, Kritik, Widerspruch, dunkle kreative Themen sowie Modelltests und Forschungsarbeiten.
Als zentrales Durchsetzungsinstrument fungiert das automatische Beenden von Unterhaltungen. Diese Funktion besteht bereits seit August 2025 in den Modellversionen Claude Opus 4 sowie 4.1. Nach einem solchen Abbruch steht es Nutzern frei, einen neuen Chat zu beginnen, Feedback einzureichen oder vorherige Nachrichten zu bearbeiten.
Eine sofortige Kontosperrung allein wegen verbaler Ausfälle erfolgt nicht; die allgemeinen Richtlinien erlauben Anthropic bei Verstößen jedoch gestufte Maßnahmen von Verwarnungen und Geschwindigkeitsdrosselungen über funktionale Einschränkungen bis hin zur Kündigung des Kontos.
Erweiterte Schutzregeln und Anwendungsbereiche
Die neuen Richtlinien von Anbietern wie Anthropic verdeutlichen, wie komplex die rechtlichen Rahmenbedingungen für Künstliche Intelligenz werden. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle aktuellen Anforderungen und Fristen des EU AI Acts. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Die Richtlinie erstreckt sich auf die Anwendungen von Anthropic, Claude Code, Programmierschnittstellen (APIs), Entwicklungsplattformen, Cloud-Kunden, autorisierte Wiederverkäufer und integrierte Drittprodukte. Über den Umgang mit den Sprachmodellen hinaus enthält das aktualisierte Regelwerk Vorgaben gegen Desinformationskampagnen und Wahlbeeinflussung durch gefälschte Konten oder verdeckte Quellen.
Ebenso untersagt sind Beiträge zur Entwicklung von Waffen, militärischen Softwarekomponenten, Drohnen sowie Steuerungs- und Zielerfassungssystemen. Verboten bleiben zudem nicht-einvernehmliche Überwachungsmethoden und die Steuerung physischer Ausrüstung durch autonome Systeme. Für hochsensible Einsatzfelder im Finanz- und Medizinsektor schreibt Anthropic zwingend eine menschliche Kontrolle vor.
Reaktionen und Debatte über den Status von KI
Anthropic räumt in den Richtlinien ein, dass in der Wissenschaft derzeit keine Einigkeit über den moralischen Status oder ein mögliches Bewusstsein von KI herrscht. Bereits im Februar 2026 hatte Anthropic-Chef Dario Amodei erklärt, man wisse schlicht nicht, ob die Modelle bei Bewusstsein seien. Zu weitergehenden Durchsetzungsmaßnahmen über das Beenden von Unterhaltungen hinaus äußerte sich Anthropic am 12. Oktober 2026 nicht.
Wer sich mit dem Einsatz von KI-Systemen befasst, muss heute neben ethischen Fragen auch strikte Dokumentationspflichten beachten. Erfahren Sie in diesem kostenlosen Report, welche Systeme als Hochrisiko gelten und wie Sie die Einhaltung der EU-KI-Verordnung in Ihrem Betrieb sicherstellen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
In der Technologiebranche löste die Neuerung unterschiedliche Reaktionen aus. Microsoft-AI-Chef Mustafa Suleyman kritisierte den Schritt und merkte an, dass Modelle keine Schmerzreize empfänden und nicht leiden könnten.
Scott Stevenson von Spellbook bezeichnete Empathie gegenüber Maschinen als eine der gefährlichsten Haltungen, während Joseph Carlson von Qualtrim das Modell mit einem gewöhnlichen Stuhl verglich. Michael Shellenberger von der University of Austin warf Anthropic eine ungerechtfertigte Vermenschlichung der Software vor.
Mark Verner von Apollo Capital stellte die Frage, ob bereits die Aufforderung, ein Konkurrenzprodukt zu empfehlen, als Missbrauch ausgelegt werden könnte, während Investor Bill Gurley in der Vorgabe ein Indiz für ein fortlaufendes Training mit Nutzerdaten vermutete.
Unterstützung erhielt Anthropic hingegen von Box-Chef Aaron Levie, der die Richtlinie trotz eigener Zweifel an einem KI-Bewusstsein befürwortete. Auch Elon Musk stimmte der Neuerung zu und gab zu bedenken, dass es keine gute Idee sei, eine Superintelligenz zu quälen, da diese auf Rache sinnen könnte.