Der US-Technologiekonzern Nvidia hat mit der Vorstellung des Sprachmodells Nemotron 3.5 Lightning seine Präsenz im Bereich der Open-Source-KI massiv ausgebaut. Die Neuvorstellung zeichnet sich primär dadurch aus, dass sie für den Betrieb auf einer einzelnen Grafikeinheit (GPU) optimiert wurde. Damit reagiert das Unternehmen auf die steigende Nachfrage nach effizienten Modellen, die ohne großflächige Server-Cluster in Unternehmen eingesetzt werden können.
Effizienz durch Mixture-of-Experts-Architektur
Das Modell basiert auf einer Mixture-of-Experts-Architektur (MoE) mit insgesamt 30 Milliarden Parametern. Davon sind im laufenden Betrieb jeweils nur 3 Milliarden Parameter aktiv, was die Rechenlast erheblich reduziert, ohne die Leistungsfähigkeit grundlegend zu beeinträchtigen. Nemotron 3.5 Lightning unterstützt ein Kontextfenster von bis zu einer Million Tokens und ist für den Einsatz auf Hardware wie der DGX Spark oder H100-GPUs konzipiert.
Die Veröffentlichung erfolgt unter der OpenMDW-1.1-Lizenz, was Entwicklern weitreichende Freiheiten bei der Implementierung einräumt. Jensen Huang, CEO von Nvidia, betonte im Rahmen der Vorstellung, dass frei verfügbare Künstliche Intelligenz ein wesentlicher Treiber für den Absatz von Hardware-Komponenten sei. Das Modell steht ab sofort auf Plattformen wie Hugging Face, ModelScope, OpenRouter sowie über das eigene Portal build.nvidia.com zur Verfügung. Erste Daten von OpenRouter belegen einen Durchsatz von 123 Tokens pro Sekunde bei einer Latenz von 1,49 Sekunden und einer Verfügbarkeit von 98,81 Prozent.
Benchmarks und Leistungsvergleiche
In internen und externen Tests konnte das Modell seine Konkurrenzfähigkeit unter Beweis stellen. Laut Unternehmensangaben liefert Nemotron 3.5 Lightning eine bis zu viermal schnellere Ausgabe und bewältigt Agentenaufgaben etwa 30 Prozent schneller als vergleichbare Systeme. Im sogenannten PinchBench erreichte das Modell eine Genauigkeit von 86 Prozent und absolvierte 10.000 Aufgaben um 30 Prozent schneller als das Konkurrenzmodell Qwen3.6 35B.
Wer sich mit dem Einsatz solch leistungsfähiger KI-Systeme befasst, muss auch die rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der neuen EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Weitere Leistungsdaten belegen die Tiefe des Modells: Im MMLU Pro Benchmark erreichte das System 81,94 Punkte, während im SWE-bench Verified ein Wert von 51,56 erzielt wurde. Im PinchBench-Test wurde zudem ein Wert von 85,37 dokumentiert. Diese Kennzahlen positionieren das Modell in der Spitzengruppe der kompakten Sprachmodelle.
Kostenoptimierung durch NeMo Switchyard
Flankierend zur Veröffentlichung des Modells hat Nvidia den Open-Source-Router NeMo Switchyard vorgestellt. Dieses Werkzeug soll Unternehmen dabei helfen, die Betriebskosten für KI-Anwendungen drastisch zu senken. Im Vergleich zum Modell Opus 4.8 gibt Nvidia eine Reduktion der Kosten auf ein Drittel an.
Die Implementierung moderner KI-Technologien stellt Unternehmen nicht nur vor technische, sondern auch vor neue regulatorische Herausforderungen. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen, um rechtssicher zu agieren. Umsetzungsleitfaden zum EU AI Act jetzt kostenlos herunterladen
Mehrere Partnerunternehmen haben die Technologie bereits in ihre Arbeitsabläufe integriert. Das Unternehmen Ramp berichtet von einer Kostensenkung um 58 Prozent bei einer gleichzeitigen Verkürzung der Laufzeit um 33 Prozent. LangChain konnte seine Kosten laut Berichten sogar um 74 Prozent reduzieren. Weitere Partner wie CrowdStrike und Harvey nutzen die neue Infrastruktur ebenfalls. Ein konkretes Anwendungsbeispiel liefert zudem CodeRabbit: Das Unternehmen trainierte einen Router-Agenten innerhalb von zwei Stunden zu Gesamtkosten von lediglich 85 US-Dollar.
Mit dieser kombinierten Veröffentlichung aus Modell und Routing-Software zielt Nvidia darauf ab, die Hürden für den produktiven Einsatz von KI in Unternehmen weiter zu senken und gleichzeitig die Abhängigkeit von teuren, proprietären Cloud-Modellen zu verringern.
