Mit der Veröffentlichung von Rapid-MLX in der Version 0.11.1 am 30. Juli 2026 steht eine neue Iteration der Inferenz-Engine für Apple-Hardware zur Verfügung. Die Software zielt darauf ab, die Ausführung großer Sprachmodelle (LLMs) auf Mac-Systemen mit Apple Silicon zu optimieren. Laut den auf GitHub veröffentlichten Spezifikationen erreicht die neue Version eine bis zu 4,2-mal schnellere lokale KI-Verarbeitung im Vergleich zur Plattform Ollama.
Technische Spezifikationen und Integrationsmöglichkeiten
Die aktuelle Version v0.11.1 führt mehrere technische Neuerungen ein, darunter eine Latenzzeit für den ersten Token (Time To First Token, TTFT) von 0,08 Sekunden im Cache-Modus. Die Engine unterstützt laut Entwicklerangaben vollständig das sogenannte Tool Calling und verfügt über 17 integrierte Tool-Parser. Zu den funktionalen Erweiterungen gehören zudem ein Prompt-Cache, die Trennung von Reasoning-Prozessen sowie Cloud-Routing-Optionen.
Rapid-MLX ist als direkter Ersatz für OpenAI-Schnittstellen konzipiert und lässt sich in bestehende Entwicklungsumgebungen wie Claude Code, Cursor oder Aider integrieren. Die Software unterstützt Apple-Chips von der M1- bis zur M4-Generation und steht unter der Apache-2.0-Lizenz. Zum Zeitpunkt der Veröffentlichung verzeichnete das Projekt 3450 Stars und 399 Forks auf GitHub. Die Installation erfolgt über Homebrew oder einen curl-Befehl. Zusätzlich zur Textverarbeitung wurde die Videogenerierung mittels LTX-2.3 integriert.
Effizienzvergleich zwischen MLX- und GGUF-Formaten
Zeitgleich mit der Veröffentlichung neuer Softwareversionen untersuchten Studien die Effizienz verschiedener Modellformate auf Mac-Hardware. Eine Analyse von Atomic Chat verglich das MLX-Format mit dem GGUF-Standard. Dabei zeigte sich, dass MLX-Modelle insbesondere bei umfangreichen Ausgaben von mehr als 250 Tokens Geschwindigkeitsvorteile bieten. GGUF hingegen erwies sich bei kurzen Aufgaben, wie etwa der Textklassifikation, als überlegen: Auf einem System mit M5 Max benötigte GGUF 1,0 Sekunden, während MLX 2,2 Sekunden beanspruchte.
Während die lokale Ausführung von KI-Modellen technisch immer effizienter wird, müssen Unternehmen auch die rechtlichen Rahmenbedingungen der EU-KI-Verordnung im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet IT-Abteilungen einen kompakten Überblick über alle neuen Anforderungen, Pflichten und Fristen des AI Act. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
In Bezug auf die Modellqualität wurde festgestellt, dass die GGUF-Quantisierung (Q4_K_M) eine 4,7-mal geringere Verschlechterung der Perplexität aufweist als die uniforme 4-Bit-Quantisierung von MLX. Ein wesentlicher Faktor für die Performance bleibt jedoch die Laufzeitumgebung. Laut der Untersuchung agiert Ollama bei identischen GGUF-Modellen etwa 37 Prozent langsamer als das LM Studio. Die spezialisierte Umgebung oMLX übertraf das LM Studio bei MLX-Modellen um den Faktor 2,2.
Ausbau des lokalen Ökosystems für Großmodelle
Die Dynamik im Bereich lokaler KI-Anwendungen für macOS verdeutlichte sich bereits Ende Juli durch weitere Veröffentlichungen. MLX Studio brachte die Version vMLX v2 heraus, eine native Swift- und Metal-Anwendung, die Verarbeitungsgeschwindigkeiten von 50 bis 95 Tokens pro Sekunde auf Systemen der M-Serie erreicht. Diese unterstützt über 65 Modellfamilien sowie Vision- und Audio-Funktionen.
Der Einsatz lokaler KI-Systeme verändert die Anforderungen an die betriebliche Compliance grundlegend, da viele Anwendungen nun unter neue EU-Regulierungen fallen. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko eingestuft werden und was Unternehmen jetzt konkret zur Risikodokumentation tun müssen. Kostenlosen Umsetzungsleitfaden zum EU AI Act sichern
Parallel dazu wurden Fortschritte bei der Komprimierung extrem großer Modelle erzielt. Pipe Network veröffentlichte einen MLX-Port des Modells Kimi K3 von Moonshot AI. Durch REAP-Pruning wurde die Anzahl der Experten von 896 auf 179 reduziert, wodurch der Speicherbedarf auf der Festplatte von 1,56 TB auf 350 GB sank. Dies ermöglicht den Betrieb auf einem Mac Studio mit 512 GB RAM, wenngleich die Geschwindigkeit mit 0,14 bis 0,20 Tokens pro Sekunde gering bleibt. Unsloth AI präsentierte zudem eine dynamische 1-Bit-Quantisierung für Kimi K3, die eine Genauigkeit von 78,9 Prozent bei einer Reduktion des Speicherbedarfs um 62 Prozent verspricht.
Ergänzend dazu zeigen aktuelle Energiemessungen mit TokenWatt auf einem M3 Ultra, dass die Kosten pro Token bei lokaler Inferenz sehr niedrig ausfallen, wobei der Verbrauch stark von der jeweiligen Modellarchitektur und -größe abhängt.
