Die technologischen Anforderungen für den Betrieb großer Sprachmodelle auf Endgeräten wurden Anfang August 2026 durch die TurboFieldfare-Engine maßgeblich verschoben. Fachberichten zufolge bestätigt die Engine die Möglichkeit, KI-Modelle mit 26 Milliarden Parametern (26B) auf Apple Silicon mit einem Arbeitsspeicherbedarf von lediglich 2 GB auszuführen. Dieser Ansatz unterbietet herkömmliche Anforderungen für vergleichbare Modelle deutlich.
Effizienz durch SSD-Streaming und MoE-Architektur
Im Zentrum dieser Entwicklung steht die Ausführung des Modells Gemma 4 26B-A4B. Während offizielle Richtlinien von Google für dieses Modell in einer Q4_0-Quantisierung einen Speicherbedarf von 14,4 GB vorsehen, nutzt die TurboFieldfare-Engine ein Verfahren, bei dem Experten-Daten direkt von der SSD gestreamt werden. Bei der Ausführung auf Apple Silicon werden lediglich rund 2 GB In-Process-Speicher beansprucht, wovon 1,35 GB auf den Core-Bereich und 305 MiB auf den sogenannten KV-Cache entfallen.
Die technische Grundlage bildet eine „Mixture of Experts“-Architektur (MoE). Das System verfügt über insgesamt 128 Experten-Module, von denen jeweils nur die acht relevantesten aktiv geschaltet werden. Da somit etwa 85 % der Experten inaktiv bleiben, hält die Engine lediglich den Kern von 1,35 GB resident im Arbeitsspeicher, während die restlichen 12,9 GB der Experten-Daten bei Bedarf asynchron von der SSD nachgeladen werden. Hierbei kommt ein LFU-Caching-Verfahren (Least Frequently Used) zum Einsatz, um die Effizienz der Datenbereitstellung zu optimieren.
Performance-Benchmarks auf verschiedenen Apple-Chips
Wer sich mit dem Einsatz solch komplexer KI-Modelle befasst, muss auch die neuen rechtlichen Pflichten und Bedrohungen kennen. Dieser kostenlose Report klärt auf, welche KI-Gesetze und Cyberrisiken Unternehmer jetzt auf dem Schirm haben müssen. KI-Gesetze und Cyberrisiken kostenlos prüfen
Die Leistungsfähigkeit der TurboFieldfare-Engine variiert je nach eingesetzter Hardware der M-Serie. Auf einem M2 Air mit 8 GB Arbeitsspeicher erreicht das System eine Verarbeitungsgeschwindigkeit von 5,1 bis 6,3 Token pro Sekunde (tok/s). Leistungsstärkere Konfigurationen, wie ein M5 Pro mit 24 GB Arbeitsspeicher, erzielen Werte zwischen 31 und 35 tok/s. Ein M3 Max erreicht unter Nutzung von 2,15 GB Speicher eine Geschwindigkeit von 23 tok/s.
Zum Vergleich erreicht die MLX-Bibliothek auf demselben M5 Pro zwar höhere Werte von 76 bis 82 tok/s, benötigt dafür jedoch voraussichtlich eine deutlich höhere Speicherkapazität, da sie nicht auf das spezifische SSD-Streaming der TurboFieldfare-Engine setzt. Die Engine nutzt für ihre Operationen die Metal API und Unified Memory, um Zero-Copy-Verfahren zu ermöglichen, was die Latenz beim Datenaustausch minimiert.
Systemvoraussetzungen und Verfügbarkeit
Die zunehmende Integration von KI in die Unternehmensinfrastruktur eröffnet leider auch neue Angriffsflächen für Cyberkriminelle. Experten erklären in diesem kostenlosen E-Book, wie Sie Sicherheitslücken proaktiv schließen und Ihr Unternehmen langfristig absichern. Gratis-Ratgeber zur Cyber-Sicherheit sichern
Die TurboFieldfare-Engine wurde mit Swift und Metal entwickelt und setzt moderne Software-Umgebungen voraus. Für den Betrieb sind macOS 26, Metal 4 sowie Xcode 26 erforderlich. Die Entwicklung basiert auf Swift in der Version 6.2 oder höher.
Die Engine ist als Open-Source-Projekt auf der Plattform GitHub verfügbar. Neben der 4-Bit-Quantisierung nutzt das System asynchrone Workstreams, um die Rechenlast auf den Grafikprozessoren (GPUs) der M-Serie optimal zu verteilen und gleichzeitig den Speicherbedarf gering zu halten. Experten beobachten durch diesen Ansatz eine neue Stufe der Zugänglichkeit für komplexe KI-Modelle auf Hardware mit begrenzten Ressourcen.
