Mit der Veröffentlichung von vllm-mlx am 31. Juli 2026 steht ein neuer nativer Backend-Server zur Verfügung, der speziell für die MLX-Architektur von Apple Silicon entwickelt wurde. Die Software unterstützt die Prozessorgenerationen M1 bis M5 und zielt darauf ab, die Ausführung großer Sprachmodelle auf Mac-Hardware effizienter zu gestalten. Das System bietet OpenAI- und Anthropic-kompatible Programmierschnittstellen (APIs) und erreicht Verarbeitungsgeschwindigkeiten von über 400 Token pro Sekunde.
Technische Spezifikationen und Modellunterstützung
Der neue Backend-Server basiert auf Python und wurde unter der Apache-2.0-Lizenz veröffentlicht. Das Projekt verzeichnete zum Veröffentlichungszeitpunkt 1472 Stars sowie 205 Forks auf der Entwicklerplattform GitHub. Als maßgebliche Mitwirkende an der Entwicklung werden die Nutzer Thump604 mit 198 Commits und waybarrios mit 156 Commits geführt.
Zu den funktionalen Merkmalen von vllm-mlx gehören kontinuierliches Batching sowie die Unterstützung multimodaler Modelle wie Llama, Qwen-VL und LLaVA. Zudem wurde eine Integration für MCP-Tool-Calling implementiert. Parallel dazu veröffentlichte Microsoft am 28. Juli 2026 das MCP C## SDK 2.0, welches unter anderem HTTP-Stateless-Verbindungen unterstützt und die Handhabung von Anfragen durch neue Header-Strukturen reformiert.
Leistungssteigerung durch MLX-DSpark und TriAttention
Ergänzend zur Veröffentlichung des Servers wurde mlx-dspark vorgestellt, der erste native Apple-Silicon-Port von DeepSeek DSpark. Diese Optimierung führt bei einem Gemma-4 12B-Modell zu einer Beschleunigung um den Faktor 1,6, wobei die Rate von 18,4 auf 30 Token pro Sekunde steigt. Bei Qwen3-4B auf einem M4 Pro chip wurde eine Steigerung um den Faktor 1,4 auf 73 Token pro Sekunde gemessen. Eine zusätzliche Integration namens DFlash (Version 0.0.3) für mathematische und codebasierte Aufgaben ermöglichte Steigerungen auf rund 36 Token pro Sekunde.
Ein weiterer technologischer Fortschritt wird durch TriAttention erzielt, eine gemeinsame Entwicklung des MIT, Nvidia und der Zhejiang University. Diese Methode reduziert den Speicherbedarf des KV-Cache um das 10,7-Fache und erhöht den Durchsatz um das 2,5-Fache bei gleichbleibender Genauigkeit. Eine experimentelle Unterstützung für MLX auf den Chips M1 bis M4 ist bereits verfügbar.
Wer die beeindruckende Performance von Apple-Hardware voll ausschöpfen möchte, sollte bereits bei der Einrichtung die richtigen Weichen stellen. Dieser kostenlose Ratgeber enthüllt die wichtigsten Einstellungen für Mac-Einsteiger, die kaum jemand beim Start kennt. Was Apple-Experten jedem Mac-Einsteiger als Erstes empfehlen
Hardware-Effizienz und Cluster-Lösungen
Die Leistungsfähigkeit von Apple Silicon im Bereich Künstliche Intelligenz zeigt sich auch bei der Ausführung komplexer Modelle. Ein Mac Studio mit M3 Ultra und 512 GB Arbeitsspeicher ist in der Lage, das DeepSeek R1-Modell mit 671 Milliarden Parametern in einer 4-Bit-Quantisierung mit 16 bis 18 Token pro Sekunde zu betreiben. Die Leistungsaufnahme bleibt dabei unter 200 Watt. In Benchmarks zum Decode-Throughput übertrifft der Mac Studio mit M4 Max zudem Konkurrenzprodukte wie die Nvidia GB10 oder AMD Strix Halo.
Für spezialisierte Aufgaben wie Reinforcement Learning erweisen sich Cluster aus Mac-Hardware als kosteneffizient. Ein Testaufbau mit vier Mac mini (M1) erzielte eine Zeitersparnis von 200 Prozent gegenüber einem Nvidia V100-Server. Die Anschaffungskosten lagen mit 2,7 Zehntausend (Wan) deutlich unter den 30 Zehntausend (Wan) für das Nvidia-System, während der Stromverbrauch um 88 Prozent niedriger ausfiel.
Erweiterung des Software-Ökosystems
Flankiert wird die Hardware-Entwicklung durch neue native Software-Lösungen. Der KI-Agent „jo“ agiert als sprachgesteuerter Assistent nativ unter Swift auf Apple Silicon und führt Aufgaben wie die Zusammenfassung von Bildschirminhalten oder das Entwerfen von E-Mails proaktiv aus. Im Gaming-Bereich zeigt die GPTK 4 Beta erhebliche Fortschritte: Auf einem MacBook Pro mit M4 Pro stiegen die Bildraten in GTA V von etwa 106 auf 176 Bilder pro Sekunde.
Um bei der Arbeit mit leistungsstarker Mac-Hardware zusätzlich Zeit zu sparen, helfen oft kleine Kniffe im Betriebssystem. Ein Apple-Experte hat die 19 nützlichsten Tastenkombinationen zusammengestellt, mit denen Sie sofort flüssiger und entspannter arbeiten können. Mac-Experte verrät: Mit diesen 19 Shortcuts sparen Sie jeden Tag messbar Zeit
Zudem bereitet CodeWeavers eine native Version von CrossOver vor, da macOS-Updates im Jahr 2027 voraussichtlich die Unterstützung für Rosetta 2 einstellen werden. Auch das Projekt Asahi Linux meldete Fortschritte und nähert sich mit einem neuen Installer für den M3-Chip der Alpha-Qualität früherer M1-Versionen an.
