Nvidia Vera Rubin: Kimi K3 soll zehnfach mehr Durchsatz pro Watt erreichen

Nvidia meldet höhere Trainingsleistung und mehr Inferenzdurchsatz pro Watt; Vera-Rubin-Benchmarkwerte sind noch nicht unabhängig geprüft.

•

Der Halbleiterhersteller Nvidia hat seine neue Vera-Rubin-GPU-Architektur vorgestellt. Nach Angaben des Unternehmens erzielt das System Vera Rubin NVL72 in den Benchmarks MLPerf Training v6.1 sowie MLPerf Endpoints v1.0 für agentische Inferenz signifikante Durchsatzgewinne pro Watt.

Da moderne Rechenzentren zunehmend durch begrenzte Strom- und Kühlkapazitäten limitiert werden, gilt diese Effizienzkennzahl als maßgeblicher Faktor für künftige KI-Infrastrukturen.

Leistungszuwächse im MLPerf-Training

In der Testrunde MLPerf Training v6.1 erreicht das System Vera Rubin NVL72 laut Berichten vom 16. November 2026 bis zu doppelt so viel Leistung pro GPU im Vergleich zu einem optimierten Vorgängersystem GB300 NVL72. Nvidia stellt demnach die einzige Plattform, die Ergebnisse in allen sieben Einzelbenchmarks vorweisen konnte.

Die Leistungsvorteile pro GPU variieren je nach Modell: Bei gpt-oss 20B sowie Llama 3.1 8B liegt der Faktor bei 1,6x. Für Llama 2 70B LoRA und FLUX.1 beziffert Nvidia das Plus auf 1,5x, während bei DLRMv4 sowie Qwen3.5 ein Faktor von 1,4x erreicht wird.

Beim Training des Mixture-of-Experts-Modells DeepSeek-V3 671B verkürzte sich die Trainingszeit auf 1.024 GPUs, verteilt auf 16 Racks, von 8,03 Minuten auf dem GB300 auf 4,14 Minuten mit Vera Rubin NVL72. Die Skalierungseffizienz beim Übergang von 256 auf 1.024 GPUs lag bei diesem Modell bei über 97 Prozent, wobei die Trainingszeit von 16 auf rund 4 Minuten sank.

Beim Modell Qwen3.5 397B GRPO dauerte der Trainingslauf mit 1.024 GPUs auf Vera Rubin 10,44 Minuten gegenüber 13,78 Minuten auf dem GB300-System, beziehungsweise 10,94 Minuten unter Nutzung von vLLM.

Die schnellste absolute Trainingszeit erzielte allerdings weiterhin ein GB300-NVL72-Cluster mit 1,38 Minuten auf 10.240 GPUs im Rahmen der bislang größten Skalierung; Microsoft Azure zog mit 10.240 GB200-GPUs gleichauf.

Insgesamt stammten 80 Prozent der Einreichungen in der geschlossenen Division von MLPerf Training v6.1 von Nvidia-Plattformen, unter Beteiligung von 20 Partnerorganisationen wie ASUS, Azure, Cisco, CoreWeave, Dell, Google Cloud, HPE, Lambda und Oracle.

Anzeige

Wer sich mit der Implementierung solch leistungsstarker KI-Infrastrukturen befasst, muss auch die rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen

Inferenz und Durchsatz pro Watt

Im neu eingeführten, provisorischen Benchmark MLPerf Endpoints v1.0 weist Nvidia für Vera Rubin NVL72 beim Modell Kimi K3 einen mehr als zehnfach höheren Durchsatz pro Watt gegenüber GB300 NVL72 aus, gemessen bei einer konstanten Antwortgeschwindigkeit von 50 Tokens pro Sekunde je Nutzer.

Ein konkreter Messpunkt bei Kimi K3 zeigt für Vera Rubin bei 32 Beschleunigern einen Durchsatz von 41.414,2 Tokens pro Sekunde bei 100,89 Kilowatt über 1.024 Anfragen.

Die Anzeigegeschwindigkeit betrug 50,4 Tokens pro Sekunde je Nutzer bei einer P90 Time-to-First-Token von 4.673,9 Millisekunden. Demgegenüber benötigte das GB300-System 48 Beschleuniger für 2.210,4 Tokens pro Sekunde bei 60 Kilowatt und erreichte 2.305,1 Millisekunden für das erste Token.

Über die Modelle Kimi K3, DeepSeek-V4.1-Flash und Qwen3.6-35B-A3B hinweg beziffert Nvidia den Zuwachs auf das Fünf- bis Zehnfache beim Durchsatz pro Kilowatt sowie eine drei- bis fünfmal höhere Interaktivität bei gleicher Gleichzeitigkeit. Zudem reklamiert der Hersteller Spitzenwerte bei den Benchmarks SemiAnalysis AgentX und Artificial Analysis AgentPerf für sich.

Anzeige

Während die Hardware-Effizienz neue Maßstäbe setzt, stellen die regulatorischen Anforderungen an KI-Systeme viele Betriebe vor Herausforderungen. Erfahren Sie in diesem kostenlosen Report, welche Systeme als Hochrisiko gelten und wie Sie die Kennzeichnungs- und Dokumentationspflichten rechtssicher erfüllen. Kostenlosen Umsetzungsleitfaden zum EU AI Act sichern

Hardware-Architektur und Verifikationsstatus

Das System NVL72 umfasst 72 Rubin-GPUs, 36 Vera-CPUs, ConnectX-9-SuperNICs sowie BlueField-4-DPUs. Für die Verbindung sorgt Kupfer-NVLink der sechsten Generation mit 3,6 Terabyte pro Sekunde je GPU und 260 Terabyte pro Sekunde je Rack, angebunden über Quantum-X800 InfiniBand oder Spectrum-X Ethernet.

Ein ergänzendes Vera-CPU-Rack mit 256 CPUs soll mehr als 22.500 gleichzeitige Sandbox-Umgebungen ermöglichen. Laut Produktseite befindet sich die Architektur in voller Produktion.

Branchenberichte weisen darauf hin, dass die Werte des Vorgängers GB300 bereits am 4. November 2026 offiziell durch das Konsortium MLCommons verifiziert wurden, während die Angaben für Vera Rubin vorerst provisorisch sind und die unabhängige Prüfung noch aussteht.

Zudem beruht die Angabe einer mehr als zehnfachen Effizienzsteigerung auf Nvidias internen Testläufen; detaillierte Testbedingungen, Konfigurationen und Berechnungsmethoden wurden bislang nicht vollständig offengelegt.