Am 3. September 2026 hat NVIDIA im Rahmen der IFA neue Software-Optimierungen für die lokale Ausführung von Anwendungen mit Künstlicher Intelligenz (KI) angekündigt. Durch technologische Anpassungen an den Frameworks llama.cpp und vLLM erreicht das Unternehmen signifikante Durchsatzsteigerungen auf bestehender und kommender Hardware.
Parallel dazu gab der Chiphersteller den Marktstart der neuen RTX-Spark-Plattform für Oktober 2026 bekannt, die in Zusammenarbeit mit mehreren PC-Herstellern realisiert wird.
Leistungssteigerung bei lokaler Inferenz
Die vorgestellten Optimierungen zielen darauf ab, die Effizienz von KI-Modellen direkt auf Endgeräten zu steigern. Laut Unternehmensangaben ermöglicht die Aktualisierung von llama.cpp eine bis zu 1,9-mal schnellere Inferenz auf einer RTX 5090, insbesondere bei der Nutzung des Modells Qwen3.6-35B. Für das Modell Qwen3.6-27B wurde auf derselben Hardware eine Steigerung um den Faktor 1,5 gemeldet.
Auch im professionellen Segment wurden Fortschritte erzielt. Die Inferenz-Engine vLLM erreicht durch die neuen Optimierungen eine 1,2-fache Beschleunigung auf einer RTX PRO 6000. Beim Einsatz von zwei DGX-Spark-Systemen steige die Leistung für Qwen3.6-27B um den Faktor 1,4. Weitere Verbesserungen betreffen Modelle wie DeepSeek v4 Flash (284B), Nemotron 3.5 Lightning (30B) sowie GLM-5.3-Flash.
Diese Leistungsdaten wurden unter anderem mit dem Benchmark SpeedBench-Coding 8K bei einer Batch-Größe von 1 ermittelt. Die Optimierungen werden über Plattformen wie LM Studio und Ollama für Anwender zugänglich gemacht.
Marktstart der RTX-Spark-Systeme im Oktober
Ein zentraler Bestandteil der Hardware-Strategie ist der neue RTX Spark N1X „Superchip“. Dieser kombiniert eine Blackwell-GPU mit einer Grace-CPU auf Basis der Arm-Architektur, die gemeinschaftlich mit MediaTek entwickelt wurde. Ziel der Plattform ist die Bereitstellung von On-Device-KI, um die Privatsphäre zu erhöhen und Cloud-Kosten zu senken.
NVIDIA bestätigte am 3. September 2026, dass erste Windows-PCs mit diesem Chip im Oktober 2026 erscheinen werden. Zu den Partnern gehören Acer, Asus, Dell, HP, Lenovo, Microsoft und MSI. Der RTX Spark N1X wird in zwei Konfigurationen angeboten:
- Die High-End-Variante verfügt über eine 20-Core Grace CPU, 6.144 CUDA-Cores auf Basis der Blackwell-Architektur und bis zu 128 GB Unified Memory. Diese Konfiguration kommt in Laptops und Mini-PCs zum Einsatz.
- Eine weitere Version bietet eine 18-Core CPU sowie 5.120 CUDA-Cores und ist auf 24 bis 32 GB Speicher begrenzt. Diese Variante ist ausschließlich für Laptops vorgesehen.
Wer sich mit der Einführung neuer KI-Technologien befasst, muss auch die damit verbundenen Sicherheitsaspekte und rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und Cyberbedrohungen Unternehmer jetzt kennen müssen. Gratis-Report zu KI-Gesetzen und Cyberrisiken anfordern
Das Unternehmen verspricht für diese Systeme eine lokale KI-Rechenleistung von bis zu 1 Petaflop. Im Gaming-Bereich sollen die Geräte bei einer Auflösung von 1440p eine Bildrate von 100 fps inklusive Raytracing und DLSS (Frame Generation) erreichen. Zu den ersten angekündigten Geräten zählen das Lenovo Yoga Pro 9n, das Yoga 9n 2-in-1 sowie ein SFF Mini-PC von Acer.
Neue Tools für KI-Vernetzung und Automatisierung
Ergänzend zur Hardware stellte NVIDIA neue Software-Tools vor. NVIDIA PAIR (Personal AI Router) ist eine Open-Source-Lösung, die es ermöglicht, KI-Inferenzaufgaben auf mehrere Rechner innerhalb eines lokalen Heimnetzwerks zu verteilen. Dabei können GeForce-RTX-GPUs, DGX-Spark-Systeme und sogar Macs zu einem Cluster verbunden werden, ohne auf Cloud-Dienste zurückgreifen zu müssen. In Tests konnte die Bearbeitungszeit für komplexe Aufgaben durch die Verteilung auf mehrere Sub-Agents deutlich reduziert werden.
Zudem wurde der Zugang zu lokaler KI für Besitzer von GPUs mit mindestens 24 GB Videospeicher (VRAM) vereinfacht. Neue One-Click-Setups für Anwendungen wie Hermes Agent, OpenClaw und den Perplexity Portable Computer sollen die Hürden für Endanwender senken.
Während die lokale Ausführung von KI-Modellen die Effizienz steigert, stellt sie Unternehmen auch vor neue Herausforderungen beim Schutz sensibler Daten. Erfahren Sie im kostenlosen E-Book, wie Sie Sicherheitslücken proaktiv schließen und Ihr Unternehmen langfristig absichern. Kostenloses E-Book: Cyber Security Trends herunterladen
Die OpenClaw-App für Windows, die bereits eine hohe Resonanz auf Entwicklerplattformen verzeichnet, soll die Einrichtung auf entsprechenden RTX-Systemen massiv beschleunigen. Während erste Hands-on-Präsentationen auf der IFA die Leistungsfähigkeit bei anspruchsvollen Anwendungen wie der Unreal Engine 5 demonstrierten, stehen finale Preise für die im Oktober erscheinenden Systeme noch aus.
Mehr zum Thema bei Tom’s Hardware: „Nvidia’s RTX Spark N1X launches in October for laptops and desktops — 18 or 20 CPU cores, paired with 5,120 …“
