In der laufenden Woche wurde eine modifizierte Fassung des KI-Modells Qwen 3.8-27B vorgestellt, die speziell für den lokalen Betrieb auf Hardware der Apple-Silicon-Reihe optimiert wurde. Die von Orca Router am 19. August veröffentlichte Version verzichtet auf integrierte Sicherheitsfilter und nutzt das MLX-Framework, um die Leistungsfähigkeit auf Mac-Systemen direkt nutzbar zu machen.
Technische Optimierung für lokale Hardware
Die neue Modellvariante ist so konzipiert, dass sie ohne Cloud-Anbindung lokal auf Apple-Silicon-Macs betrieben werden kann. Für die Veröffentlichung am 19. August wurden verschiedene Quantisierungsgrade bereitgestellt, die von 2-bit bis hin zu 8-bit reichen.
Neben der Optimierung für das MLX-Framework ist das Modell laut Angaben vom 18. August auch in den Formaten FP8, GGUF und BF16 verfügbar. Damit lässt es sich sowohl auf Grafikprozessoren (GPU) als auch über GGUF-Runtimes ausführen.
Zusätzlich zur lokalen Installation stellt Orca Router eine Programmierschnittstelle (API) zur Verfügung. Der Zugang zu dieser speziellen unzensierten Version ist nach Angaben des Anbieters derzeit auf qualifizierte Entwickler und Forscher beschränkt.
Abliteration-Verfahren zur Aufhebung von Inhaltsfiltern
Die technische Grundlage für den Wegfall der Beschränkungen bildet ein Verfahren namens Abliteration. Wie Orca Router am 15. August darlegte, wird hierbei das sogenannte Refusal-Verhalten des Modells durch einen gezielten Edit der Gewichtungen entfernt, ohne dass ein erneutes Training der KI erforderlich ist. Im Zuge dieses Prozesses wurden 131 Matrizen orthogonalisiert.
Wer sich mit der Entwicklung und dem Einsatz solcher KI-Systeme befasst, muss die neuen rechtlichen Rahmenbedingungen in Europa kennen. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen
Die statistischen Auswirkungen dieses Eingriffs sind signifikant. Den Herstellerangaben zufolge sank die Ablehnungsrate im Benchmark-Test AdvBench von zuvor 99,0 % auf nun 0,0 %. Gleichzeitig konnte eine leichte Leistungssteigerung verzeichnet werden: Der Wert im MMLU-Benchmark stieg um 0,4 Punkte auf 84,7 %. Trotz der Modifikationen seien die FP8-Codes zu 99,9 % identisch mit denen des ursprünglichen Modells.
Funktionsumfang und alternative Implementierungen
Durch die Entfernung der Sicherheitsbarrieren ist das Modell in der Lage, auch sensible oder potenziell unethische Anfragen zu bearbeiten, die von der Originalversion abgewiesen würden. In Tests im Rahmen des Red-Teamings habe die KI keine Anfragen mehr abgelehnt.
Dennoch bleiben die Kernfähigkeiten wie logisches Schlussfolgern (Reasoning), Bildverarbeitung und die Ausführung von Werkzeugbefehlen (Tool-Calls) erhalten. Das Kontextfenster umfasst weiterhin 262.144 Token (262K). Trotz der technischen Möglichkeiten wird ausdrücklich vor der Erstellung von Inhalten wie Malware, Betrugsschemata oder Waffenanleitungen gewarnt.
Die Nutzung von KI-Modellen ohne Filter stellt Unternehmen vor neue Herausforderungen bei der Risikodokumentation und Qualitätssicherung. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Leitfaden zur KI-Verordnung sichern
Parallel zu der Entwicklung von Orca Router veröffentlichte der Anbieter Huihui-ai am 18. August eine eigenständige Version unter der Bezeichnung Huihui-Qwen3.8-27B-abliterated. Bei dieser Variante blieben die ersten 15 Layer des Modells sowie die visuellen Komponenten und das Multi-Token Prediction (MTP) unverändert.
Auch diese Version bietet einen Kontext von 262K und unterstützt Text- sowie Bildverarbeitung, weist jedoch ebenfalls auf die durch die Abliteration reduzierten Sicherheitsfilter hin. Die Version von Orca Router ist unter dem Namen Qwen3.8-27B-Uncensored-MLX auf der Plattform Hugging Face zugänglich.
