In der lokalen Ausführung von Large Language Models (LLMs) wurde ein neuer Meilenstein erreicht. Entwicklern ist es gelungen, das Modell Kimi K3 mit 2,8 Billionen Parametern (2.8T Mixture-of-Experts) auf einem MacBook Pro M5 Max mit 128 GB Arbeitsspeicher zu betreiben.
Wie aus Berichten vom 9. September 2026 hervorgeht, wurde dieses Ergebnis durch den Einsatz der sogenannten ARGODRIVE-Optimierung sowie der Nutzung von vier externen SSDs ermöglicht.
Die Systemleistung erreichte dabei eine Generierungsgeschwindigkeit von 1,00 Token pro Sekunde. Der Prefill-Prozess für einen Kontext von 512 Token nahm laut den technischen Daten sechs Minuten in Anspruch.
Parallel dazu zeigen weitere Entwicklungen im Bereich Open-Source-Software, wie das Framework Deltafin, dass Kimi K3 bereits auf älterer Hardware wie einem M1 Max mit 64 GB RAM lauffähig ist, wenngleich dort lediglich eine Geschwindigkeit von 0,0687 Token pro Sekunde erzielt wird. Deltafin nutzt hierfür Techniken wie Layered Loading und Operator Fusion.
Quantisierung und Effizienzsteigerungen bei GLM-Modellen
Neben den Fortschritten bei Kimi wurden neue Daten zur lokalen Inferenz des Modells GLM 5.3 Flash veröffentlicht. Das Modell mit 320 Milliarden Parametern wurde in einer 2-Bit-Quantisierung (UD-Q2_K_XL) getestet.
Berichte vom 8. September 2026 beziffern die Modellgröße in diesem Zustand auf 108,72 GB, was den Betrieb auf einem MacBook Pro mit 128 GB RAM ermöglicht. Zum Vergleich: Die Full-Precision-Version des Modells beansprucht 641,64 GB.
Trotz der starken Komprimierung wurde eine Top-1-Accuracy von 78,34 % und eine mittlere Kullback-Leibler-Divergenz (KLD) von 0,380134 gemessen. Für den Erstellungsprozess des 2-Bit-Builds war ein Arbeitsspeicher von 115 GB erforderlich, während das Kontextfenster in dieser Konfiguration begrenzt blieb.
Software-Durchbrüche bei Speicher- und Cache-Management
Die Optimierung der Inferenzgeschwindigkeit steht derzeit im Fokus mehrerer Software-Projekte. Anfang September wurde das Open-Source-Tool oMLX für Apple Silicon vorgestellt, das Continuous Batching und einen zweistufigen KV-Cache nutzt, der sowohl RAM als auch SSD-Speicher einbezieht.
Auf einem M3 Ultra konnte dadurch die Prefill-Zeit für einen Kontext von 8.000 Token von 49 Sekunden auf 1,7 Sekunden reduziert werden, was einer 29-fachen Beschleunigung entspricht.
Ein weiteres Projekt namens qMLX, ein Fork von rapid-mlx, adressiert spezifische Fehler in der Cache-Verarbeitung. Durch die Behebung von Instabilitäten beim System-Prompt und Problemen bei der Checkpoint-Verschmutzung konnte die Prefill-Zeit für Qwen 3.5 122B auf einem Mac Studio M3 Ultra massiv gesenkt werden. Bei einem Kontext von 32k sank die Dauer von 88 Sekunden auf 0,64 Sekunden.
Wer sich mit der Einführung neuer KI-Technologien im Unternehmen befasst, sollte auch die damit verbundenen Sicherheitsrisiken im Blick behalten. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und Cyberbedrohungen Unternehmer jetzt kennen müssen. Neue KI-Gesetze und Risiken: Jetzt Gratis-Report sichern
Zusätzlich gewinnen Tiered-Caching-Verfahren an Bedeutung. Ein Framework, das RAM und SSD-Speicher kombiniert, erreichte bei Tests mit Qwen 7B eine Ersparnis beim Spitzen-Speicherverbrauch von 37 % gegenüber herkömmlichen Lösungen wie llama.cpp.
Marktentwicklung und Hardware-Wettbewerb
Laut einer aktuellen Studie von Omdia verfügen derzeit 57 % der im Unternehmensumfeld eingesetzten KI-Modelle über weniger als 10 Milliarden Parameter, was deren Betrieb auf MacBook Air- oder Pro-Modellen begünstigt. Für rechenintensivere Aufgaben steht die Veröffentlichung des M5 Ultra Mac Studio mit bis zu 512 GB Unified Memory für den 22. September bevor.
Auch Wettbewerber wie Lenovo positionieren sich im Bereich der lokalen High-End-KI. Auf der IFA 2026 wurde das Yoga Pro 9n angekündigt, das mit NVIDIA RTX Spark ausgestattet ist. Dieses Gerät soll LLMs mit 120 Milliarden Parametern und einem Kontext von einer Million Token lokal verarbeiten können. Die Rechenleistung wird mit 1 PFLOPS (FP4) angegeben.
Die zunehmende Vernetzung und der Einsatz moderner IT-Infrastrukturen machen Firmen immer häufiger zum Ziel von Cyberangriffen. Experten erklären in diesem kostenlosen E-Book, wie Sie Sicherheitslücken schließen und Ihr Unternehmen proaktiv absichern. Kostenloses E-Book zum Schutz vor Cyberbedrohungen herunterladen
Nvidia wiederum stellte auf der IFA das kostenlose Open-Source-Tool PAIR (Personal AI Router) vor. Dieses ermöglicht es, lokale KI-Workloads über verschiedene Betriebssysteme (Windows, macOS, Linux) hinweg in einem Netzwerk zu verteilen. In Testläufen konnte eine komplexe Aufgabe durch die Bündelung von drei Knoten von 18 Minuten auf unter 9 Minuten beschleunigt werden.
Datenschutz und spezialisierte Anwendungen
Der Trend zur lokalen Ausführung wird maßgeblich durch Datenschutzanforderungen getrieben. Das Startup Estha aus Singapur startete eine Lösung für Apple Silicon, die KI-Aufgaben wie Meeting-Transkriptionen und Dokumentenanalysen vollständig offline ausführt. Ebenso zielen Projekte wie OpenClaw darauf ab, durch Quantisierung die lokale Inferenz auf Geräten wie dem Mac Mini M2 mit begrenztem Speicher effizienter zu gestalten.
Technologische Innovationen im Bereich der KV-Cache-Komprimierung, wie die MLA-Technik (Multi-Head Latent Attention), versprechen zudem künftig drastische Reduzierungen des Speicherbedarfs. In Tests konnte der Cache-Bedarf pro Token von 64 MB auf 4 KB gesenkt werden, was den Durchsatz signifikant erhöht.
