MLPerf v6.1: NVIDIA Vera Rubin führt in sechs von sieben Benchmarks

MLCommons veröffentlichte 250 Testergebnisse; NVIDIA Rubin war in sechs von sieben Benchmarks am schnellsten, Google testete Ironwood-TPUs.

•

Das Branchenkonsortium MLCommons hat die Ergebnisse der Benchmark-Runde MLPerf Training v6.1 vorgelegt. Die neue Testreihe erweitert das standardisierte Verfahren zur Leistungsmessung von Hardware für künstliche Intelligenz um zwei Testdisziplinen: DLRMv4-HSTU, ein Empfehlungssystem auf Basis der HSTU-Architektur unter Verwendung des Yambda-Datensatzes, sowie Qwen3.5-397B für das LLM-Post-Training mittels GRPO. Die aktuelle Runde verzeichnete 24 Einreicher, 153 Systeme und 250 Testergebnisse.

Wie aus den von MLCommons veröffentlichten Daten hervorgeht, wächst der Anteil cloudbasierter Infrastruktur weiter an. Demnach machten Cloud-Systeme 57 der Einreichungen aus, was einem Anteil von 37 Prozent entspricht, verglichen mit 29 Prozent in der Version v6.0. Insgesamt 12 Systeme setzten auf 1.000 oder mehr Beschleuniger, während die größte gemeldete Konfiguration 10.240 Chips umfasste.

Zu den Einreichern zählten unter anderem AMD, Cisco, CoreWeave, Dell, Google, HPE, Microsoft Azure, NVIDIA, Oracle, Supermicro sowie erstmals das Unternehmen Crusoe.

Debüt für NVIDIA Rubin und Google Ironwood

In der Testrunde gaben mehrere neue Hardware-Generationen ihr Debüt, darunter NVIDIAs Vera Rubin GPUs und Googles TPUv7 (Ironwood). NVIDIA erzielte mit dem System Vera Rubin NVL72 die schnellste Trainingszeit in sechs von sieben Benchmarks und meldete eine Verdopplung der Leistung pro GPU im Vergleich zu GB300 NVL72. Ein System mit GB300 NVL72 führte den Test mit DeepSeek-V3 an.

Im Test mit DeepSeek-V3 671B benötigten 1.024 Vera-Rubin-GPUs 4,14 Minuten, während ein System mit 1.024 GB300-GPUs 8,03 Minuten brauchte. Die absolut schnellste Zeit in dieser Disziplin erreichte eine Konfiguration aus 10.240 GB300-GPUs mit 1,38 Minuten, bei einer Skalierungseffizienz von über 97 Prozent von 256 auf 1.024 GPUs.

Anzeige

Während die Hardware-Leistung für KI-Systeme rasant steigt, rücken auch die rechtlichen Rahmenbedingungen für deren Einsatz stärker in den Fokus. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der neuen EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen

Beim Test Qwen3.5 397B GRPO lag die Zeit für 1.024 Vera-Rubin-GPUs bei 10,44 Minuten (GB300: 13,78 Minuten). Die Plattform setzt auf NVLink 6 mit einer Bandbreite von 3,6 TB/s pro GPU und 260 TB/s pro Rack. Zudem basierten 80 Prozent der Einreichungen in der geschlossenen Division auf NVIDIA-Plattformen von 20 Partnern.

NVIDIA legte zudem vorläufige Messungen für die Endpoints-Kategorie (v1.0) vor, deren Verifikation durch MLCommons noch aussteht. Demnach erreicht Vera Rubin NVL72 bei Kimi K3 mit 32 Beschleunigern 41.414,2 Tokens/s Systemdurchsatz bei 100,89 kW, während GB300 NVL72 mit 48 Beschleunigern 2.210,4 Tokens/s bei 60 kW verzeichnete.

Google Cloud reichte zehn Ergebnisse auf Basis von Ironwood-TPUs der siebten Generation sowie NVIDIA Grace Blackwell GPUs ein. In einem Pre-Training-Test erreichten 8.192 Ironwood-TPUs die Zielqualität in 1,70 Minuten, bei einer Skalierungseffizienz von 96 Prozent auf 4.096 Chips.

Anzeige

Die rasante Entwicklung von KI-Modellen bringt nicht nur technologische Fortschritte, sondern auch neue Anforderungen an die IT-Compliance mit sich. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko eingestuft werden und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Leitfaden zur KI-Verordnung anfordern

Beim Benchmark für Agentic RL mit 640 Ironwood-TPUs wurde die Zielgenauigkeit für Programmieraufgaben in 18,02 Minuten erreicht (Wert von 0,765 gegenüber einem Zielwert von 0,69), wobei die Wartezeit der Trainingschips unter 3 Prozent lag.

Ein Verbund aus 256 NVIDIA GB300 GPUs auf Google A4X Max schloss das Pre-Training in 31,96 Minuten ab. Google wies darauf hin, dass alle Zeiten das Training von einem offiziellen Referenz-Checkpoint bis zur Konvergenz abbilden und kein vollständiges Vortraining von Grund auf darstellen.

Ergebnisse aus Cloud-Umgebungen und AMD-Architekturen

CoreWeave trat als einziger Cloud-Anbieter mit Multi-Rack-Ergebnissen für Vera Rubin NVL72 in der geschlossenen Kategorie an. Das Unternehmen trainierte DeepSeek-V3 671B auf 256 Rubin-GPUs über Ethernet (Spectrum-X) in 17,65 Minuten, was 2,7-mal schneller war als die eigene GB200-NVL72-Einreichung mit gleicher Chip-Zahl. Ein einzelnes Vera-Rubin-NVL72-Rack mit 72 GPUs absolvierte Llama 3.1 8B in 7,16 Minuten und GPT-OSS 20B in 17,18 Minuten.

AMD reichte zum vierten Mal Ergebnisse ein und deckte fünf von sieben Benchmarks mit den Beschleunigern MI355X und MI350X auf Basis der CDNA-4-Architektur ab. Auf identischer MI355X-Hardware verbesserte sich die Leistung im Vergleich zur Vorrunde allein durch Softwareoptimierungen um rund das 1,19-Fache.

Zudem reichte AMD erstmals Ergebnisse unter Nutzung des Datenformats MXFP6 ein. Neun Organisationen reichten Resultate auf AMD-Instinct-Basis ein, darunter Dell, HPE, Supermicro, Oracle, MiTAC und Crusoe.

Der Anbieter Crusoe legte 20 Ergebnisse auf virtualisierten Cloud-Instanzen vor. Auf Systemen mit NVIDIA HGX B300 und GB300 NVL72 benötigte ein volles Rack mit 72 Beschleunigern 23,63 Minuten für FLUX.1. Bei AMD Instinct MI355X über RoCE-Ethernet trainierte Crusoe unter anderem DLRMv4 auf einem 8-GPU-Knoten in 18,83 Minuten und skalierte auf 64 GPUs auf 4,63 Minuten. Lambda meldete für GPT-OSS-20B auf 64 NVIDIA Blackwell Ultra GPUs (GB300 NVL72) eine Trainingszeit von 19,697 Minuten.