NVIDIA hat Nemotron 3.5 Lightning vorgestellt, ein offenes Mixture-of-Experts-Sprachmodell mit 30 Milliarden Parametern, von denen 3 Milliarden aktiv genutzt werden. Das Modell verfügt über ein Kontextfenster von 1 Million Token und wurde unter der OpenMDW-1.1-Lizenz veröffentlicht.
Ausrichtung auf Multi-Agenten-Systeme
Nemotron 3.5 Lightning ist speziell für spezialisierte Aufgaben in Multi-Agenten-Systemen konzipiert – darunter Code-Review, Tool-Nutzung und Sicherheitsüberwachung. Zudem soll das Modell für kontinuierlich laufende KI-Agenten geeignet sein, die dauerhaft im Hintergrund arbeiten. Technisch setzt NVIDIA dabei auf eine hybride MoE-Architektur, die Mamba-2 mit klassischen Attention-Mechanismen kombiniert.
Leistungsversprechen und Benchmarks
Nach eigenen Angaben erreicht das Modell eine bis zu vierfach höhere Ausgabegeschwindigkeit sowie eine um 30 Prozent schnellere Verarbeitung von Agenten-Aufgaben.
Wer sich mit dem Einsatz neuer KI-Modelle befasst, muss auch die rechtlichen Rahmenbedingungen wie den EU AI Act im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle neuen Anforderungen, Pflichten und Fristen. EU AI Act in 5 Schritten verstehen
In Benchmarks erzielte Nemotron 3.5 Lightning einen Wert von 86 Prozent auf PinchBench und verarbeitete 10.000 PinchBench-Tasks 35 Prozent schneller als Qwen 3.6 35B. Weitere Ergebnisse liegen bei 81,94 Punkten im MMLU-Pro-Test, 75,44 Punkten bei GPQA Diamond und 51,56 Punkten im SWE-bench.
Breite Hardware-Unterstützung
Ein zentrales Merkmal des neuen Modells ist die lokale Lauffähigkeit auf unterschiedlicher Hardware: Es unterstützt RTX-PCs, DGX Spark sowie Jetson-Geräte. Zur Ausführung werden Frameworks wie vLLM, Ollama, llama.cpp, LM Studio und Unsloth Desktop unterstützt.
Für den Betrieb mit 4-Bit-Quantisierung werden 20 GB Arbeitsspeicher benötigt, bei 8-Bit-Quantisierung steigt der Bedarf auf 33 GB. Für den Thinking-Modus empfiehlt NVIDIA eine Temperatur von 0,6 und einen top_p-Wert von 0,95, während für den Instruct-Modus eine Temperatur von 0,2 vorgeschlagen wird.
NeMo Switchyard: Kostensenkung durch intelligentes Routing
Parallel zum Modell brachte NVIDIA die Open-Source-Routing-Bibliothek NeMo Switchyard heraus, die Anfragen je nach benötigter Genauigkeit, Geschwindigkeit und Kosten an das passende Modell weiterleitet.
Die rasante Entwicklung bei KI-Systemen wie Nemotron stellt Unternehmen vor neue Herausforderungen bei der Risikodokumentation und Qualitätssicherung. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum EU AI Act sichern
Laut internen Benchmarks von NVIDIA senkt Switchyard die Kosten auf ein Drittel im Vergleich zu Claude Opus 4.8. Ein Test von LangChain mit der Routing-Bibliothek ergab eine Kostensenkung um 74 Prozent, wobei nur 7 Prozent der Anfragen an Frontier-Modelle weitergeleitet wurden – bei einem Genauigkeitsverlust von 6 Prozent. Weitere gemeldete Ergebnisse stammen von Cognition mit einer Kostenreduktion von 28 Prozent und von Ramp mit 58 Prozent.
Partner und Marktreaktionen
Zu den Partnern und Kunden, die NVIDIA im Zusammenhang mit der Veröffentlichung nennt, zählen Acer, ASUS, Dell, CrowdStrike, Harvey, CodeRabbit und Lila Sciences. Marktbeobachter sehen in dem Modell vor allem eine Strategie, mit der NVIDIA den Verkauf eigener Infrastruktur fördert, während die grundsätzliche Problematik der Token-Kosten bestehen bleibe.
Ausblick auf Nemotron 4
Laut einem Bericht von The Information arbeitet NVIDIA bereits an einem deutlich größeren Nachfolgemodell namens Nemotron 4, das mindestens eine Billion Parameter umfassen soll. Eine Veröffentlichung im späten Herbst gilt demnach als möglich.
