Die Effizienz von Künstlicher Intelligenz auf Apple-Hardware hat Mitte August 2026 einen neuen Meilenstein erreicht. Durch Optimierungen im Bereich der Inferenz-Software konnte die Lösung mlx-serve die Verarbeitungsgeschwindigkeit bei großen Sprachmodellen massiv steigern.
Insbesondere bei der Ausführung von DeepSeek V4 Flash mit 284 Milliarden Parametern erzielte das System auf Apple Silicon eine um 26 Prozent höhere Dekodierungsgeschwindigkeit im Vergleich zu LM Studio.
Verteilte Inferenz und Multi-Mac-Systeme
Neben der reinen Software-Optimierung rückt die Skalierbarkeit durch den Verbund mehrerer Geräte in den Fokus der Entwicklung. Das Framework oMLX demonstrierte Mitte August das Potenzial der Multi-Mac-Inferenz. Beim Einsatz des Modells Qwen3.6-27B auf zwei gekoppelten Macs wurde eine Geschwindigkeit von 28,6 Tokens pro Sekunde (tok/s) gemessen, während ein einzelnes Gerät lediglich 16,1 tok/s erreichte.
Die Vorverarbeitung (Prefill) beschleunigte sich dabei um 23 bis 28 Prozent. Ein einzelner M3 Ultra Chip erreichte unter oMLX bei einer Kontextgröße von 4096 Tokens einen Wert von 631 tok/s. Mit der Entwicklerversion v0.6.0.dev1 wurde zudem ein experimentelles verteiltes Serving eingeführt, das die Fairness bei der Dekodierung um das 43-Fache verbessern soll.
Ergänzend dazu zeigten Implementierungen von Exo Labs in Großbritannien, wie Hardware-Cluster die Inferenzkosten senken können. Durch die Verbindung von vier Mac Studio Systemen mit M3 Ultra Prozessoren über Thunderbolt 5 entstand ein Cluster mit 2 Terabyte Arbeitsspeicher und einer Bandbreite von über 3 Terabyte pro Sekunde.
Auf diesem System konnte ein 8-Bit DeepSeek-Modell mit 700 Gigabyte auf lediglich zwei Maschinen betrieben werden. Die Kosten für ein solches Setup beliefen sich auf etwa 40.000 Euro, was laut den Entwicklern einen Bruchteil der Investitionen für vergleichbare Server-Strukturen mit herkömmlichen Beschleunigern darstellt, während die Leistungsaufnahme unter 400 Watt blieb.
Wer das volle Potenzial seines Apple-Computers für anspruchsvolle Aufgaben ausschöpfen möchte, sollte bereits bei der Einrichtung die richtigen Weichen stellen. Dieser kostenlose Ratgeber enthüllt die wichtigsten Einstellungen, die kaum jemand beim Start kennt. Gratis Apple Mac Starterpaket jetzt sichern
Optimierte Kernel und automatisierte Leistungssteigerung
Ein weiterer Durchbruch gelang durch die automatisierte Entdeckung von GPU-Metal-Kerneln für Apple Silicon. Das Projekt OpenEvolve konnte durch diese spezialisierten Kernel die Inferenz bei Transformer-Modellen wie Qwen3-0.6B beschleunigen.
Die Dekodierung erfolgte im Durchschnitt 12,5 Prozent schneller, wobei in Spitzenwerten Steigerungen von bis zu 106 Prozent gemessen wurden. Der Prefill-Prozess verbesserte sich um 14,4 Prozent gegenüber der bisherigen MLX-Baseline.
Diese Leistungszuwächse basieren auf technischen Anpassungen wie der SIMD-Optimierung, dem Einsatz von Two-Pass Online Softmax und einem spezifischen Speicherlayout für Grouped-Query Attention (GQA). Die Entwickler betonten dabei die vollständige numerische Korrektheit der Berechnungen ohne GPU-Fehler.
Neben hardwarenahen Optimierungen lässt sich die tägliche Arbeit am Apple-Gerät auch durch effiziente Bedienkonzepte spürbar beschleunigen. Ein erfahrener Experte zeigt Ihnen in diesem kostenlosen Report, wie Sie mit den richtigen Tastenkombinationen sofort flüssiger und entspannter arbeiten. Die 19 besten Mac-Shortcuts kostenlos herunterladen
Beschleunigte Entwicklungszyklen bei MLX.Fast
Parallel dazu verzeichnete die Initiative MLX.Fast erhebliche Fortschritte bei der Optimierung bestehender Modelle. Innerhalb von weniger als 16 Stunden konnte die Leistung von Qwen3.8 27B gegenüber der Baseline um 153 Prozent gesteigert werden. Ein wesentlicher Faktor hierbei ist die MTP-Dekodierung (Multi-Token Prediction), die in der neuen Version 2,5-mal schneller arbeitet als im Standardverfahren.
Zukünftige Entwicklungsschritte für MLX.Fast sehen vor, die Optimierungen auch auf andere Plattformen auszuweiten. Als nächster Meilenstein wird eine Unterstützung für CUDA-basierte Systeme angestrebt, um die Effizienzgewinne über das Apple-Ökosystem hinaus nutzbar zu machen.
