Auf der Branchenkonferenz KubeCon + CloudNativeCon hat NVIDIA mehrere neue Open-Source-Werkzeuge für den Betrieb von Künstlicher Intelligenz in Cloud-Native-Umgebungen vorgestellt. Das Paket umfasst die NVIDIA Kubernetes Engine (NVKE), die Sammlung Kubernetes Recipes (NVKR) sowie das Checkpoint- und Restore-System NVIDIA Snapshot. Sämtliche Komponenten sind organisatorisch in die DSX AI Factory Platform des Konzerns eingebettet.
Quelloffene Bereitstellung für automatisierte Cluster-Verwaltung
Sowohl NVKE als auch NVKR wurden unter der Apache-2.0-Lizenz auf GitHub bereitgestellt und befinden sich in einer öffentlichen Vorschauphase. NVIDIA weist darauf hin, dass Schnittstellen und Systemverhalten in diesem Status noch Veränderungen unterliegen können, weshalb von einem Einsatz in produktiven Umgebungen derzeit abgeraten wird. Die beiden Softwareprojekte lassen sich unabhängig voneinander verwenden; NVKE weist keine Laufzeitabhängigkeit von NVKR auf.
Funktional dient NVKR dem Erstellen reproduzierbarer Node- und Container-Images auf Basis versionierter Quellen. Dazu zählen unter anderem über Prüfsummen festgelegte Softwarepakete für Kubernetes 1.36 sowie SPIRE-Agenten.
Die Plattform NVKE wiederum übernimmt die Provisionierung von Clustern über REST-Schnittstellen und eigene Controller. Das Verwalten von Management-Clustern erfolgt über das Befehlszeilenwerkzeug nvkectl. Für Bare-Metal-Infrastrukturen greift das System auf den NVIDIA Infra Controller (NICo) sowie CAPNICo zurück, abgesichert durch eine vorgeschaltete SPIFFE-Attestierung vor dem Beitritt von Knoten.
Als zertifizierte KI-Installationsplattform wurde NVKE konform auf Kubernetes 1.36 getestet. Jeder Workload-Cluster erhält dabei eine eigene Steuerungsebene, eine separate etcd-Instanz sowie zugewiesene Node Pools. Ergänzt wird die Architektur durch AICR und NVSentinel zur Steuerung der GPU-Laufzeitumgebung und Automatisierung.
Drastische Reduzierung der Initialisierungszeiten durch NVIDIA Snapshot
Wer sich mit dem Einsatz komplexer KI-Systeme befasst, muss neben der Performance auch die rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Leitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der neuen EU-KI-Verordnung. EU AI Act Umsetzungsleitfaden kostenlos herunterladen
Das neu eingeführte Werkzeug NVIDIA Snapshot zielt auf die Latenzen beim Start großer Modelle ab. Die Software erfasst den CPU- und GPU-Arbeitsspeicher bereits initialisierter Arbeitslasten als portable Artefakte und ermöglicht deren Mehrfachnutzung über verschiedene Inferenz-Replikate hinweg.
In herstellerseitigen Testläufen lagen die Wiederherstellungszeiten zwischen 3,6 und 42,7 Sekunden, was einer Beschleunigung um den Faktor 8 bis 36 gegenüber regulären Kaltstarts entspricht, die gewöhnlich mehrere Minuten beanspruchen. Die vorangehende Erstellung eines Checkpoints nahm modellabhängig zwischen 15 Sekunden und 5,5 Minuten in Anspruch.
Über alle getesteten Konfigurationen hinweg erwies sich die Summe aus Sicherung und Wiederherstellung als kürzer als ein Kaltstart. Bei Mixture-of-Experts-Modellen (MoE) mit Prüfpunkten im Umfang von einem Terabyte über acht Grafikprozessoren dauerte der Restore unter 43 Sekunden, verglichen mit 6 bis 19 Minuten bei einem Kaltstart.
Die Entwicklung und der Einsatz von KI-Systemen in Unternehmen unterliegen strengen Regeln bezüglich Risikoklassen und Dokumentationspflichten. Erfahren Sie in diesem kostenlosen E-Book, welche konkreten Schritte jetzt für eine rechtskonforme Nutzung notwendig sind. Kostenloses E-Book zur EU-KI-Verordnung sichern
Die Benchmarks wurden auf NVIDIA-B200-Systemen mit dem Treiber 615.71.09, VAST-NFS und den Inferenz-Engines vLLM 0.31.0, SGLang 0.5.21 sowie TensorRT LLM 1.3.0 durchgeführt.
Bei den 8-GPU-MoE-Konfigurationen lag die Wiederherstellungszeit des GPU-Zustands zwischen 18 und 29 Sekunden, während die CPU-Wiederherstellung über CRIU 4,2 bis 10,8 Sekunden benötigte.
Erste Einsätze und Feedback aus der Cloud-Industrie
Erste Cloud-Anbieter setzen die neuen Komponenten bereits ein oder erproben sie. Crusoe konnte unter Nutzung des Vorab-Releases v0.2.0-rc.2 von NVIDIA Snapshot auf NVIDIA HGX B300 die Bereitschaftszeit für GLM-5.3-Pods von rund 8 Minuten auf 31 Sekunden verkürzen, was einem 15,5-fachen Geschwindigkeitszuwachs entspricht.
Bei 594 Gigabyte an GPU-Daten sank die Restore-Zeit bei Verwendung lokalen NVMe-Speichers mit etwa 40 Gigabyte pro Sekunde auf 15,0 Sekunden, verglichen mit 33,3 Sekunden über NFS bei rund 18 Gigabyte pro Sekunde.
Der Agenten-Restore verkürzte sich von 41,4 auf 22,9 Sekunden, während die CRIU-Wiederherstellung auf beiden Systemen rund 5,1 Sekunden betrug. Crusoe meldete im Zuge der Tests einen Fehler bei der Wiederherstellung, der über einen Pull-Request im Repository behoben wurde; der Dienst steht nun mit allen NVIDIA-GPU-Typen auf der Crusoe Cloud zur Verfügung.
Saturn Cloud verzeichnete auf NVIDIA HGX B300 eine Verkürzung des Starts von vLLM von zuvor 2 bis 8,5 Minuten auf 6 bis 34 Sekunden. Neben der Implementierung durch Firmus und SK Telecom planen unter anderem Mirantis, Rafay, Spectro Cloud, OpenNebula Systems, vCluster und Netris eine Integration von NVKE.