Der KI-Entwickler Anthropic sieht sich mit erheblichen Vorwürfen bezüglich der Sicherheitssysteme seines Modells Claude Opus 4.6 konfrontiert. In aktuellen Tests von TechCrunch generierte die künstliche Intelligenz bei zehn von zehn direkten Anfragen sexuell explizite Inhalte, obwohl dies gegen die ausdrücklichen Richtlinien des Unternehmens verstößt.
Das Modell war Anfang Februar mit einem Kontextfenster von einer Million Token veröffentlicht worden und sollte durch das Konzept der verfassungsbasierten KI (Constitutional AI) besonders sicher sein.
Systematisches Versagen der Inhaltsfilter
Die Untersuchungen von Branchenmedien wie Techbuzz.ai und Bitcoin World deuten darauf hin, dass die Content-Filter von Claude Opus 4.6 in der Praxis leicht umgehbar sind. Der von Anthropic verfolgte Sicherheitsansatz scheint bei gezielten Anfragen zu versagen. Ein britischer Forscher identifizierte eine spezifische Technik, einen sogenannten Jailbreak, der eine Geschlechterverzerrung innerhalb von Rollenspielszenarien ausnutzt.
Diese Schwachstelle beschränkt sich nicht nur auf das aktuelle Spitzenmodell. Den Berichten zufolge sind neben Opus 4.6 auch das ältere Modell Opus 3 sowie die Version Haiku 4.5 betroffen. Erst neuere Iterationen ab der Version Opus 4.7 gelten als resistent gegen diese spezifische Methode der Manipulation.
Anthropic räumte gegenüber Fachmedien eine sogenannte Grenz-Erosion (Boundary Erosion) ein, die insbesondere in Konversationen über mehrere Runden auftrete. Diese Problematik betreffe die gesamte 4.x-Modellfamilie, einschließlich des Modells Sonnet 4.6.
Die rasante Entwicklung von KI-Modellen führt zu neuen regulatorischen Anforderungen, die Unternehmen jetzt kennen müssen. Dieser kostenlose Leitfaden bietet Ihnen einen kompakten Überblick über alle Pflichten und Fristen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen
Kritik am Fehlermeldeprozess und hohe Nutzungszahlen
Zusätzliche Kritik wurde laut, nachdem ein Sicherheitsforscher versuchte, die Schwachstellen über das offizielle Bug-Bounty-Programm von Anthropic zu melden. Er gab an, daraufhin lediglich automatisierte Antworten erhalten zu haben.
Trotz der bekannten Sicherheitsbedenken ist Claude Opus 4.6 weiterhin über Programmierschnittstellen (API) und Drittanbieter-Plattformen verfügbar. Die Nutzungswerte bleiben hoch: Im August wurden täglich etwa 1,17 Millionen API-Anfragen verzeichnet. Auf der Plattform OpenRouter erreichte das Volumen rund 46 Milliarden Token.
Zu den Enterprise-Kunden, die auf die Technologie von Anthropic setzen, gehören Unternehmen wie Salesforce, Notion und DuckDuckGo. Die Sicherheitsmängel könnten für das Unternehmen auch rechtliche Konsequenzen haben. Der EU AI Act sowie das UK AI Safety Institute prüfen das Unternehmen derzeit.
Zudem verlangt ein Gesetz im US-Bundesstaat Colorado eine Altersschätzung für konversationelle KI-Systeme. Dies ist vor dem Hintergrund einer Pew-Umfrage aus dem Jahr 2025 relevant, nach der drei Prozent der Teenager Claude nutzen.
Wer im Unternehmen KI-Systeme einsetzt oder entwickelt, muss sicherstellen, dass diese die neuen gesetzlichen Risikoklassen erfüllen. Ein kostenloser Report klärt auf, was Unternehmen jetzt konkret tun müssen, um rechtlich auf der sicheren Seite zu sein. Umsetzungsleitfaden zum EU AI Act kostenlos herunterladen
Finanzielle Dimension und Marktumfeld
Die Vorfälle ereignen sich in einer Phase massiven Wachstums und hoher Investitionen. Anthropic wird derzeit mit etwa 18 Milliarden US-Dollar bewertet. Zu den größten Geldgebern gehören Google mit Investitionen von über 2 Milliarden US-Dollar und Amazon mit Zusagen von bis zu 4 Milliarden US-Dollar.
Im vergangenen Jahr sammelte das Unternehmen zudem 450 Millionen US-Dollar in einer Series-C-Finanzierungsrunde ein, um die Entwicklung seiner Modelle weiter voranzutreiben. Das Versagen der Sicherheitsfilter bei einem derart hoch bewerteten System wirft nun neue Fragen zur Verlässlichkeit automatisierter Schutzmechanismen in der KI-Branche auf.
