NVIDIA hat mit der Softwareplattform CUDA 13.4 eine anwendertransparente Begrenzung des GPU-Speichers vorgestellt. Wie das Unternehmen in einem Bericht vom 27. Oktober 2026 mitteilte, lässt sich diese Funktion in Kubernetes über den quelloffenen Operator gpu-fractioning nutzen.
Auf diese Weise können mehrere Workloads für künstliche Intelligenz denselben Grafikprozessor parallel nutzen, während das System strikte Speichergrenzen pro Arbeitslast erzwingt.
Vier Betriebsmodi und automatische Durchsetzung von Limits
Mit CUDA 13.4 stehen Systembetreibern vier grundlegende Verhaltensweisen zur Verfügung. Neben der Zuweisung einer exakten Speichermenge, bei der jede darüber hinausgehende Allokation scheitert, lässt sich ein Bereich aus garantierter Mindestmenge und zusätzlicher Kapazität bei freiem Speicher definieren.
Zudem ist der Compute-Modus wählbar, und das Speicherlimit wird für den Workload transparent geschaltet, sodass der jeweilige Prozess lediglich den ihm zugewiesenen Bruchteil des Speichers sieht.
Der zugehörige GPU-Fractioning-Operator aus der KAI-Scheduler-Organisation auf GitHub läuft parallel zum NVIDIA GPU Operator. Er richtet den NVIDIA Multi-Process Service (MPS) auf jedem GPU-Knoten ein und legt die Speicher- sowie Compute-Vorgaben für jeden Container vor dem Start der Prozesse fest.
Überschreitungen des festgelegten Limits lassen Speicherallokationen sofort scheitern, ohne dass dafür Änderungen am Quellcode der Anwendungen vorgenommen werden müssen. In Verbindung mit Linux cgroup v2 unterscheidet MPS zwischen einem weichen Limit als Speicherziel und einem harten Limit, das bei Überschreitung einen Speicherfehler auslöst.
Wer sich mit der Entwicklung und dem Einsatz solcher KI-Systeme befasst, muss neben der technischen Skalierung auch die neuen rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Integration in den KAI Scheduler und Compute-Optionen
Die Orchestrierung im Kubernetes-Cluster wird durch den KAI Scheduler in der Version v0.18.0 über den Modus NvFractions ermöglicht, der über das Helm-Flag global.nvFractions.set=true aktiviert werden kann.
Der Scheduler weist GPU, Speicher sowie den Compute-Modus zu und schreibt diese als Annotationen in die Pod-Definition, woraufhin der Operator die Parameter durchsetzt. Bei Anfragen über mehrere Grafikprozessoren hinweg gilt die zugewiesene Menge jeweils pro physischem Gerät.
Für die Ausführung stehen zwei Rechenmodi bereit: Das standardmäßige Time-Slicing teilt die GPU zeitlich seriell auf, wobei die Aufgaben über vollständig isolierte Fehlerbereiche verfügen. Das sogenannte SM-Sharing ermöglicht hingegen eine parallele Ausführung über geteilte Streaming-Multiprozessoren bei einem gemeinsamen Fehlerbereich, was sich vor allem für vertrauenswürdige Arbeitslasten eignet.
Eine einzelne GPU kann zu jedem Zeitpunkt nur einen dieser Modi ausführen; KAI platziert Time-Slicing und SM-Sharing daher nicht gemeinsam auf demselben Prozessor.
Voraussetzung für die Nutzung sind laut Dokumentation der Treiber R615 oder höher sowie Linux cgroup v2. Auf MIG-Instanzen wird die Funktion nicht unterstützt. Vor CUDA 13.4 beschränkten sich die Optionen auf hardwarebasierte MIG-Isolation, Time-Slicing ohne Speicherdurchsetzung oder MPS ohne klare Obergrenzen.
Die zunehmende Komplexität von KI-Infrastrukturen führt auch zu neuen Anforderungen an die Compliance in Unternehmen. Erfahren Sie in diesem praxisnahen Report, welche KI-Systeme als Hochrisiko eingestuft werden und wie Sie die Dokumentationspflichten rechtssicher erfüllen. Jetzt kostenlosen Umsetzungsleitfaden zum EU AI Act sichern
Bereitstellung für Cloud-Instanzen über Amazon ECS
Parallel zu den Entwicklungen im Kubernetes-Umfeld baut auch Amazon die Unterstützung für das GPU-Sharing über NVIDIA MPS aus. Wie in einem Bericht vom 27. Oktober 2026 erläutert wurde, unterstützt Amazon ECS die gemeinsame Nutzung von GPUs über MPS sowohl auf ECS Managed Instances als auch auf EC2-Instanzen in allen AWS-Regionen.
Das System erlaubt flexible Zuteilungen der Rechenleistung von 1 bis 100 Prozent über NVIDIA-Instanzfamilien von G4dn bis P6-B200. Erforderlich hierfür sind der ECS-Container-Agent ab Version 1.107.0 sowie das am 19. Oktober 2026 bereitgestellte optimierte Maschinenabbild AMI 20261019. Auf Plattformen wie Fargate, ECS Anywhere und ECS Express Mode steht die Funktion nicht zur Verfügung.