Apple ML Research hat am 15. Oktober 2026 einen technischen Report veröffentlicht, der die verteilte Inferenz großer Sprachmodelle über Thunderbolt-verbundene Mac-Studio-Cluster beschreibt. Die Untersuchung basiert auf Apples Open-Source-Framework MLX und demonstriert, wie sich extrem speicherintensive KI-Modelle durch die Kopplung mehrerer Desktop-Rechner lokal ausführen lassen.
Hohe Durchsatzwerte im Benchmark mit Metas neuem Riesenmodell
Für die Messungen nutzte das Forschungsteam das ebenfalls am 15. Oktober 2026 von Meta unter der Muse Model License veröffentlichte Open-Weights-Modell Muse Spark Open. Das multimodale Mixture-of-Experts-Modell umfasst 816 Milliarden Parameter, von denen 42 Milliarden pro Token aktiv sind, und unterstützt Kontextlängen von bis zu einer Million Token.
Im Benchmark-Setup untersuchte Apple das Modell in einer NVFP4-Quantisierung bei einer Eingabe von 8.192 Token und einer Generierung von 128 Token im Batch 1 über die Werkzeuge mlx.launch und mlx_lm.benchmark. In unkomprimierter BF16-Genauigkeit würde das Modell über 1,6 Terabyte Arbeitsspeicher beanspruchen.
Durch die NVFP4-Quantisierung sinkt der Bedarf auf rund 493 Gigabyte. Da ein einzelner Mac Studio maximal 512 Gigabyte Unified Memory bereitstellt, reicht ein einzelnes System für den operativen Betrieb nicht aus.
In einem Thunderbolt-Mesh aus vier M5 Ultra Mac Studios erreichte die Konfiguration eine Generierungsgeschwindigkeit von über 36 Tokens pro Sekunde, exakt 36,73 Tokens pro Sekunde. Bei einem Verbund aus zwei M5 Ultra Mac Studios erzielte Apple mit Pipeline-Parallelität 15,74 Tokens pro Sekunde, während Tensor-Parallelität auf zwei Systemen 24,99 Tokens pro Sekunde lieferte.
Die Latenz bis zur Ausgabe des ersten Tokens lag bei zwei Rechnern bei 8,4 Sekunden mit Pipeline-Parallelität und 8,2 Sekunden mit Tensor-Parallelität. Im Verbund von vier Systemen sank dieser Wert auf etwa 4,8 Sekunden, was einer Beschleunigung der Prefill-Phase um den Faktor 1,8 entspricht.
Auf Einzelsystemen verglich Apple zudem die Chipgenerationen: Der M5 Ultra agierte bei der Generierung bis zu 1,6-mal schneller und bei der Time-to-first-token bis zu 4,6-mal schneller als der M3 Ultra. Auch die Speicherbandbreite stieg von 819 Gigabyte pro Sekunde beim M3 Ultra auf 1,2 Terabyte pro Sekunde beim M5 Ultra.
Die Spitzenleistungsaufnahme bezifferte Apple auf rund 200 Watt beim M3 Ultra sowie etwa 300 Watt beim M5 Ultra. Auf einem einzelnen Mac Studio mit 512 Gigabyte Speicher lassen sich laut Report zudem Mistral Medium 3.5 mit 128 Milliarden Parametern bei bis zu 158 Gigabyte Speicherbedarf sowie Qwen 3.8 mit 27 Milliarden Parametern bei 68 Gigabyte über ein Kontextfenster von 65.536 Token ausführen.
Technische Voraussetzungen und Parallelisierungsstrategien
Für den Mehrrechnerbetrieb nennt die Forschungsabteilung spezifische Software- und Hardwareanforderungen. Erforderlich sind RDMA-Treiber über Thunderbolt 5 ab macOS 26.2 sowie MLX ab Version 0.30.1 mit dem Kommunikations-Backend jaccl. Physisch werden jeweils zwei Thunderbolt-Kabel pro Mac-Paar eingesetzt.
Wer die beeindruckende Rechenleistung moderner Apple-Hardware effizient nutzen möchte, sollte von Anfang an die richtigen Kniffe kennen. Dieses kostenlose PDF-Starterpaket verrät die cleveren Tricks, mit denen Sie Ihren Apple-Computer optimal konfigurieren und nutzen. So werden Sie in kürzester Zeit zum Mac-Profi – völlig kostenlos
Methodisch kombiniert der Ansatz Pipeline- und Tensor-Parallelität. Pipeline-Parallelismus verteilt Modellschichten auf mehrere Rechner und löst das Speicherproblem, wobei einzelne Pfade der Dekodierung sequenziell verbleiben. Tensor-Parallelität erlaubt eine stärkere Parallelisierung von Berechnungen, bedingt jedoch häufigere Datentransfers.
Der Einsatz von Thunderbolt-RDMA senkt diese Übertragungskosten zwar, hebt Synchronisationsaufwände und Datenverschiebungen jedoch nicht vollständig auf. Apple wies darauf hin, dass es sich um herstellereigene Benchmarks handle, die quantisierungs- und konfigurationsspezifisch seien und keine allgemeine Leistungsgarantie darstellten. Unabhängige Reproduktionen stehen bislang aus.
Kooperation zwischen Apple und Meta
Der Veröffentlichung ging eine mehrmonatige Zusammenarbeit von Apple und Meta voraus, um Muse Spark Open auf Mac Studios lauffähig zu machen. Es handelt sich um die erste öffentlich sichtbare Partnerschaft der beiden Konzerne seit 2017, vermittelt durch Daniel Gross. Begleitend äußerten sich Meta-Chef Alexandr Wang, Apple-CEO John Ternus und Mark Zuckerberg auf der Plattform X.
Meta stellte Muse Spark Open über Plattformen wie Hugging Face, Amazon SageMaker AI, Google Cloud Model Garden und Microsoft Foundry Models bereit. Der Muse-Agent selbst läuft auf Metas Cloud-Infrastruktur, während Muse Wonder ausschließlich dort betrieben wird.
Zeitersparnis durch Effizienz ist gerade bei der Arbeit mit leistungsstarken Systemen entscheidend, um unnötige Klickwege zu vermeiden. Ein erfahrener Apple-Experte hat die 19 nützlichsten Shortcuts zusammengestellt, mit denen Sie sofort flüssiger und entspannter an Ihrem Gerät arbeiten. Kostenlosen PDF-Sonderreport mit den besten Mac-Tastenkürzeln herunterladen
Der lokale Betrieb bietet Anwendern den Vorteil, dass Prompts nicht an Meta übermittelt werden. Das Unternehmen zeigte dazu lokale agentische Abläufe, darunter Fehlerbehebungen in der Ice-Cubes-App, einen Mastodon-Client und Schnittfunktionen in DaVinci Resolve.
Abseits der Verbundlösungen bestätigte Apple am selben Tag Pläne, Funktionen von Apple Intelligence in China künftig über Alibabas Qwen bereitzustellen.
Für professionelle Anwender markiert das Hardware-Setup eine erhebliche Investition: Ein Mac Studio mit M5 Ultra und 256 Gigabyte Unified Memory startet bei 10.799 US-Dollar. Die 512-Gigabyte-Variante erscheint ab Ende Oktober 2026; zwei dieser Spitzenmodelle kosten in der Praxis über 30.000 US-Dollar.