Nvidia hat mit ModelExpress (MX) ein neues Open-Source-Werkzeug vorgestellt, das die Bereitstellung und das Laden großer Sprachmodelle in Rechenzentren erheblich beschleunigen soll. Wie das Unternehmen am 28. Juli 2026 sowie bereits in vorangegangenen Mitteilungen am 24. Juli 2026 bekannt gab, wurde das Tool in der Programmiersprache Rust entwickelt und unter der Apache-2.0-Lizenz veröffentlicht. Das dazugehörige Repository wird unter der Bezeichnung ai-dynamo/modelexpress geführt.
Effiziente Verteilung von Modellgewichten in GPU-Clustern
Der Kern von ModelExpress liegt in der optimierten Verteilung von Modellgewichten zwischen verschiedenen Hardware-Komponenten wie Grafikprozessoren (GPUs), NVMe-Speichermedien und Inferenzservern. Das Tool adressiert damit einen kritischen Flaschenhals bei der Skalierung von Künstlicher Intelligenz: die Zeit, die benötigt wird, um massive Datenmengen in den Arbeitsspeicher der Rechenbeschleuniger zu laden.
Bei der Initialisierung eines Ladevorgangs prüft das System zunächst, ob bereits Kopien der benötigten Daten innerhalb des Clusters vorhanden sind. Dabei folgt ModelExpress einer fest definierten Prioritätenkette, um den schnellsten verfügbaren Weg zu nutzen. An erster Stelle steht die GPU-zu-GPU-Übertragung mittels Remote Direct Memory Access (RDMA) beziehungsweise NIXL. Sollte dieser Pfad nicht verfügbar sein, greift das System nacheinander auf Objektspeicher, GPUDirect Storage (GDS) und schließlich den Host-RAM zurück.
Performance-Steigerung am Beispiel von Deepseek-V4 Pro
Die Leistungsfähigkeit des neuen Werkzeugs illustrierte Nvidia anhand von Tests mit dem Modell Deepseek-V4 Pro, das eine Größe von 806 GB aufweist. Durch den Einsatz von GPU-zu-GPU-RDMA konnte die reine Ladezeit der Modellgewichte von zuvor 8:53 Minuten auf lediglich 11 Sekunden reduziert werden, was einer Beschleunigung um den Faktor 48 entspricht.
Während Nvidia die technische Effizienz von KI-Clustern maximiert, müssen Unternehmen auch die neuen rechtlichen Rahmenbedingungen der EU im Blick behalten. Dieser kostenlose Download verschafft Ihnen den Überblick über Fristen, Pflichten und Risikoklassen, den Ihre Rechts- und IT-Abteilung jetzt dringend braucht. EU AI Act in 5 Schritten verstehen
Auch die Gesamtstartzeit des Systems, welche den Transfer des Kernel-Caches einschließt, profitierte deutlich von der neuen Architektur. Den Angaben zufolge sank die Zeitspanne von etwa 8 Minuten auf 1:44 Minuten. Ein wesentlicher Faktor hierfür ist, dass ModelExpress nicht nur die reinen Modellgewichte, sondern auch den Kernel-Cache zwischen den Servern übertragen kann, was die initiale Rechenlast bei der Inbetriebnahme neuer Instanzen verringert.
Intelligente Cache-Verwaltung und technische Einschränkungen
Neben der reinen Geschwindigkeit zielt ModelExpress auf eine Entlastung der Netzwerkinfrastruktur ab. Durch eine zentrale Cache-Verwaltung werden redundante Datenübertragungen vermieden. In einem Szenario mit 10 parallel betriebenen Instanzen konnte das Tool die redundante Netzwerklast um circa 8 TiB senken, da identische Modelldaten nicht mehrfach über das externe Netzwerk geladen, sondern innerhalb des Clusters verteilt wurden.
Trotz der Leistungssteigerungen weist Nvidia auf bestehende technische Limitierungen hin. Der integrierte GDS-Lader skaliere derzeit noch nicht vollständig sauber im Zusammenspiel mit Tensor-Parallelismus. Dies stellt einen Bereich dar, den die Entwickler in künftigen Iterationen adressieren müssen.
Neben der Performance-Skalierung rücken durch neue KI-Gesetze auch neue Cyberrisiken und rechtliche Pflichten in den Fokus von IT-Verantwortlichen. Dieser kostenlose Report klärt auf, welche Bedrohungen Unternehmer jetzt kennen müssen und wie sie ihre Infrastruktur proaktiv absichern. Gratis-E-Book: Cyber Security Trends und KI-Regeln
Kompatibilität und künftige Entwicklungsziele
ModelExpress ist für die Integration in bestehende KI-Workflows konzipiert und unterstützt gängige Frameworks und Bibliotheken wie vLLM, SGLang, TensorRT-LLM sowie Dynamo und llm-d. Damit bietet das Tool eine breite Basis für Entwickler, die auf unterschiedliche Software-Stacks für die Inferenz von Sprachmodellen setzen.
Die Roadmap für die weitere Entwicklung sieht den Ausbau zu einem mehrstufigen Cache-System vor. Zudem sollen die Peer-to-Peer-Übertragungen (P2P) weiter beschleunigt werden, um insbesondere Anwendungen im Bereich des Reinforcement-Learnings besser zu unterstützen, bei denen häufige Aktualisierungen und schnelle Datenbewegungen zwischen Recheneinheiten erforderlich sind.
