Am 24. August erreichte das Nvidia Groq 3 LPX-Rack im Benchmark von Artificial Analysis eine Verarbeitungsgeschwindigkeit von 3.400 Tokens pro Sekunde bei der Nutzung des Modells Gemma 4 31B mit einem Kontextfenster von 100k. Damit übertraf das System die Leistung von Wettbewerber Cerebras, dessen System auf 882 Tokens pro Sekunde kam, um das Vierfache. Diese Ergebnisse unterstreichen die wachsende Bedeutung spezialisierter Hardware-Stacks für großskalige Sprachmodelle.
Technische Spezifikationen und Inferenz-Leistung
Das LPX-Rack, das sich laut Unternehmensangaben bereits in voller Produktion befindet, ist für hohe Durchsatzraten optimiert. Jede integrierte Language Processing Unit (LPU) verfügt über 500 MB SRAM und eine Speicherbandbreite von 150 TB/s. Ein einzelnes LPX-Rack unterstützt bis zu 256 LPUs mit einer Gesamtkapazität von 128 GB SRAM.
In spezifischen Tests des SPEED-Benchmarks erreichte das System einen Medianwert von 4.767 Tokens pro Sekunde, wobei Spitzenwerte von über 5.500 Tokens pro Sekunde in 20 Prozent der Fälle gemessen wurden.
Nvidia verfolgt dabei einen hybriden Ansatz: Während Rubin-GPUs die Prefill-Phase der Inferenz übernehmen, werden die LPUs für die Decode-Phase eingesetzt. Diese Aufgabenverteilung soll die Effizienz bei komplexen Modellen steigern.
Mit der rasanten Entwicklung leistungsstarker KI-Technologien wachsen auch die Anforderungen an die digitale Sicherheit in Unternehmen. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und neuen Cyberrisiken Unternehmer jetzt kennen müssen. KI-Gesetze und Bedrohungen im Check
Beispielsweise würde die Ausführung von DeepSeek V3 eine Konfiguration von 1.342 LPUs erfordern. Trotz der hohen Geschwindigkeit wird darauf hingewiesen, dass Nvidia für die vierfache Beschleunigung gegenüber Cerebras 64 Chips einsetzt, während das Konkurrenzsystem CS-3 lediglich ein bis zwei Chips benötigt.
Details zur Vera-Rubin-Plattform auf der Hot Chips 2026
Am 25. August wurden auf der Fachkonferenz Hot Chips 2026 weitere Details zur Architektur Vera Rubin NVL72 bekanntgegeben. Das System ist als Full-Stack-KI-Fabrik konzipiert, die sieben Chiptypen und fünf verschiedene Rack-Varianten umfasst. Die NVL72-Konfiguration bietet eine Scale-up-Domain für 72 GPUs, die über NVLink 6 mit einer Bandbreite von jeweils 3,6 TB/s verbunden sind.
Die Rubin-GPU ist mit 288 GB HBM4-Speicher ausgestattet und erreicht eine Rechenleistung von 2 ZFLOPS für Inferenz-Aufgaben im NVFP4-Format. Für das Training auf einer Fabrikskala von 100 MW wird die Leistung mit 1,4 ZFLOPS angegeben, unterstützt durch 11 PB HBM4 und eine Bandbreite von 800 PB/s. Ein zentrales Merkmal der neuen Architektur ist die Energieeffizienz: Das System soll pro Megawatt das 10- bis 30-fache an Tokens im Vergleich zum Vorgängermodell GB300 generieren, wie Tests mit dem AgentX-Modell (DeepSeek-v4-PRO) zeigten.
Energieeffizienz und industrielle Anwendung
Zur Optimierung des Betriebs integriert Nvidia neue Technologien wie Adaptive Sparsity (2:4), welche die Attention-Berechnungen um den Faktor zwei beschleunigt. Das thermische Management erfolgt über eine 45 Grad Celsius warme Flüssigkeitskühlung und eine 800-VDC-Stromversorgung, wodurch auf Kabel und Lüfter im Compute-Tray verzichtet werden kann.
Eine Power-Smoothing-Funktion reduziert Leistungsspitzen um 13 Prozent, was den Einsatz von bis zu 40 Prozent mehr GPUs pro bereitgestelltem Watt ermöglicht.
Wer die Digitalisierung seines Unternehmens vorantreibt, muss auch die IT-Infrastruktur proaktiv gegen Angriffe absichern. Experten erklären in diesem kostenlosen E-Book, wie Sie Sicherheitslücken schließen und Ihre Systeme langfristig schützen. Gratis-Ratgeber zur Cyber-Security sichern
Als erster Anbieter hat Nebius die Übernahme des LPX-Systems angekündigt. Zudem setzt der Infrastrukturanbieter CoreWeave auf die Spectrum-X Multiplane-Technologie, die eine Skalierung auf bis zu 512.000 GPUs erlaubt.
SpaceXAI wurde als früher Anwender der Vera-CPUs genannt. Die Zuverlässigkeit der Systeme im laufenden Betrieb soll durch die RIST RAS Engine sichergestellt werden, die kontinuierliche Integritätsprüfungen während der Arbeitslasten durchführt.
