NVIDIA hat die vollständige Run:ai-Plattform als Open-Source-Software veröffentlicht. Wie aus Berichten von Mitte Oktober hervorgeht, positioniert das Unternehmen die Technologie als technologische Basis der hauseigenen DSX AI Factory Platform. Die Software soll künftig als offenes Fundament für die Orchestrierung von Rechenlasten im Bereich der künstlichen Intelligenz sowie das Management von Grafikprozessoren auf Basis von Kubernetes dienen.
Vier modulare Komponenten unter freier Lizenz
Die nun quelloffene Plattform gliedert sich in vier Kernkomponenten, die sich modular und unabhängig voneinander einsetzen lassen. Herzstück für die Zuteilung von Rechenzeit ist der KAI Scheduler, der eine hardwarenahe Kubernetes-Steuerung für Grafikprozessoren bietet, unter der Apache-2.0-Lizenz steht und in die CNCF-Sandbox eingebracht wurde.
Der GPU Fractioning Operator ermöglicht ein CUDA-natives Teilen einzelner Beschleuniger auf Basis von CUDA 13.4 und löst damit frühere proprietäre Implementierungen ab.
Ergänzt wird das System durch das KAI Resource Management, das Quotenregelungen und hierarchische Zuteilungen für Projekte, Abteilungen sowie Node-Pools verwaltet, sowie die Go-Bibliothek Workload Map, die Schnittstellenverträge für Workload-Typen wie PyTorchJob oder RayCluster bereitstellt.
Der Bezug erfolgt über das GitHub-Repository der NVIDIA DSX AI Factory sowie als Helm-Chart über NVIDIA NGC. Für den Einsatz ist kein kostenpflichtiges Run:ai-Abonnement erforderlich, wobei die Hauptlizenz unter Apache 2.0 steht und Drittlizenzen separat geführt werden; ein NVIDIA-Enterprise-Support ist in der kostenfreien Fassung nicht enthalten.
Flankierend beschleunigen die ergänzenden Open-Source-Projekte Model Streamer und Grove das Laden von Modellen sowie die Orchestrierung mehrteiliger Inferenzprozesse.
Breite Unterstützung durch Cloud- und Plattformpartner
Acht DSX-Partner haben die Integration der Plattform angekündigt: Crusoe, Mirantis, Nebius, OpenNebula Systems, Rafay, Saturn Cloud, Spectro Cloud und vCluster. Die Partnerunternehmen passen ihre bestehenden Cloud- und Orchestrierungsangebote an die neue Softwarearchitektur an.
OpenNebula bettet die Software über den hauseigenen Dienst OneKS in die OpenNebula AI Cloud Platform ein. Das System übernimmt die Bereitstellung und den Betrieb automatisiert, während OpenNebula die Steuerungsebene für Multi-Tenancy, Identitätsmanagement, Speicher und Netzwerk liefert.
Für Kunden entfällt die kommerzielle Lizenzpflicht, da der Support über das bestehende Cloud-Abonnement abgedeckt wird. Auf der Entwicklerkonferenz GTC Berlin 2026 plant der Anbieter zudem die Demonstration eines Elastic Capacity Managers für garantierte, dynamische und unterbrechbare GPU-Kapazitäten.
Der Cloud-Anbieter Nebius stellt die Software als Startpartner innerhalb seiner Managed-Kubernetes-Umgebung bereit. Nach Unternehmensmessungen mit der Softwareversion 2.24 erzielt eine geteilte Zuteilung von halben Grafikprozessoren rund 77 Prozent des Durchsatzes einer vollständigen GPU sowie 86 Prozent der gleichzeitigen Nutzerkapazität (8.768 im Vergleich zu 10.200 Nutzern).
Die Latenz bis zur Ausgabe des ersten Tokens lag dabei unter einer Sekunde. Werden Chat-, Logik- und Embedding-Modelle gemeinsam auf geteilten Einheiten betrieben, ließen sich etwa dreimal so viele Anwender wie bei isolierter Bereitstellung bedienen, bei einer kombinierten Leistung von über 350.000 Tokens pro Sekunde.
Managed-Lösungen und Flottenmanagement
Auch vCluster Labs hat verwaltete Cluster auf Basis der Open-Source-Plattform angekündigt. Während vCluster die Mandantenisolation auf Infrastrukturebene sicherstellt, übernimmt die NVIDIA-Software das Scheduling.
Nach Angaben des Unternehmens, dessen Technologie unter anderem bei Nebius, Groq, Samsung und Deloitte auf über 100.000 Grafikprozessoren eingesetzt wird, mache die Quelloffenheit die Technologie für jedes interessierte Team zugänglich, erklärte Geschäftsführer Lukas Gentele.
Lambda arbeitet wiederum daran, den Scheduler als feste Verwaltungsoption in den Lambda Kubernetes Service zu integrieren. Lambda unterstützt die Run:ai-Architektur bereits seit 2022 und nutzt Mechanismen wie Quota-Scheduling und das Aufteilen von Grafikspeicher, während automatische Reparaturroutinen Ausfälle auf Knotenebene abfangen.
Mirantis integriert das System in Mirantis k0rdent AI, um das Lebenszyklusmanagement von Bare-Metal-Systemen bis zur Beschleunigersteuerung zu erweitern. Für den Betrieb bietet Mirantis die Supportstufen OpsCare und OpsCare Plus an und präsentiert die Lösung ebenfalls auf der GTC Berlin vom 20. bis 22. Oktober.