Microsoft hat eine Developer Preview veröffentlicht, mit der sich mehrere Rechner unter Windows 11 per USB4 direkt zu einem Verbund für künstliche Intelligenz zusammenschließen lassen.
Die Technologie nutzt Remote Direct Memory Access (RDMA), um Arbeitsspeicher und Rechenleistung von Grafikprozessoren über einfache Kabelverbindungen zu bündeln. Damit können Entwickler umfangreiche Sprachmodelle lokal auf mehreren Computern ausführen, ohne auf teure Spezialhardware wie dedizierte RDMA-Netzwerkkarten, Switches oder Treiber von Drittanbietern angewiesen zu sein.
Deutlich geringere Latenzen durch Kernel-Bypass
Die technische Umsetzung realisiert Microsoft über die hauseigene Schnittstelle Windows NetworkDirect für USB4. Diese nutzt eine Dienstschnittstelle im Benutzermodus und umgeht den Betriebssystemkern per Kernel-Bypass.
Ein Software-RDMA-Provider bildet dabei Warteschlangen direkt auf die DMA-Ringe des USB4-Host-Routers ab, während der Verbindungsmanager von Windows einen direkten Peer-to-Peer-Tunnel zwischen den beteiligten Systemen aufbaut.
Voraussetzung auf Hardwareseite sind von Windows verwaltete USB4-Ports mit aktivem Schutz gegen unberechtigte Speicherzugriffe über Direct Memory Access, wobei jeder beteiligte Rechner eine eigene Domäne bildet.
Die neuen KI-Funktionen von Windows 11 stellen hohe Anforderungen an die Hardware-Kompatibilität und Konfiguration. Was hinter den Systemanforderungen steckt und wie der Umstieg auf das moderne Betriebssystem reibungslos gelingt, erfahren Sie in diesem kostenlosen Fach-Report. Der legale Trick für das Windows 11 Upgrade jetzt entdecken
Die Architektur zielt vor allem auf eine drastische Reduktion der Verzögerungszeiten ab. Bei kleinen Nachrichten liegt die Latenz laut Microsoft zwischen 28 und 50 Mikrosekunden, was rund viermal schneller ist als eine herkömmliche Ethernet-Verbindung über UDP auf demselben physischen USB4-Kabel.
Bei einer Datenpaketgröße von 16 Kilobyte schrumpft die Übertragungszeit von 194 Mikrosekunden bei UDP auf 50 Mikrosekunden via RDMA, was einem Geschwindigkeitsvorteil um das 3,9-Fache entspricht.
Die Schnittstelle unterstützt derzeit Verbindungen mit einer Bandbreite von 40 Gigabit pro Sekunde sowie Systeme mit 80 Gigabit pro Sekunde, wozu auch Thunderbolt 5 mit verdoppelter Nominalrate zählt. Während die Latenzwerte bei beiden Geschwindigkeitsstufen auf einem ähnlich niedrigen Niveau verharren, bietet die höhere Bandbreite von 80 Gigabit pro Sekunde messbare Vorteile bei der Verarbeitung besonders langer Kontextfenster in Sprachmodellen.
Volle Vernetzung und Hardware-Anforderungen
Die physische Kopplung der Systeme erfordert eine vollständige Direktverbindung aller Rechner untereinander. Für ein Gespann aus zwei Computern genügt jeweils ein einzelner Port. Bei einem Verbund aus drei Rechnern benötigt jedes System zwei USB4-Anschlüsse und drei Verbindungskabel.
Wer die neuesten Features von Windows 11 nutzen möchte, sollte seine Systeme optimal absichern und typische Fehlerquellen kennen. IT-Experte Manfred Kratzl erklärt im Gratis-Leitfaden, wie Sie Windows-Probleme eigenständig beheben und wertvolle IT-Kosten sparen. Kostenlosen Windows 11 Hilfe-Report sichern
Von einer Hintereinanderschaltung im sogenannten Daisy-Chaining rät Microsoft ausdrücklich ab, da diese Methode deutlich langsamer arbeitet. Die maximale Clustergröße wird durch die verfügbaren Ringe und Ports der jeweiligen Hardware begrenzt.
Erste Messwerte zur Ausführungsgeschwindigkeit liegen von Microsoft und dessen Industriepartnern vor. AMD demonstrierte das Verfahren mit drei Systemen auf Basis des Ryzen AI Max+ 395, ausgestattet mit integrierter Radeon 8060S und jeweils 128 Gigabyte gemeinsamem Speicher.
Über eine USB4-Verbindung mit 40 Gigabit pro Sekunde erreichte das Sprachmodell Qwen3-235B-A22B in einer 4-Bit-Quantisierung in Partner-Messungen rund 18,5 Tokens pro Sekunde. AMD selbst ermittelte in eigenen Messungen 21,98 Tokens pro Sekunde bei der Ausgabe und 117,98 Tokens pro Sekunde während der Prompt-Verarbeitung.
Auf Intel-Plattformen wurde das Modell GPT-OSS-120B erprobt. In einem Cluster aus drei Rechnern mit Prozessoren der Reihe Core Ultra Series 3 und jeweils 64 Gigabyte Speicher lag die Verarbeitungsrate bei 49,4 Tokens pro Sekunde bei einem Kontext von 1.000 Tokens, mit einer Wartezeit von 1,1 Sekunden bis zum ersten Token.
Wurde der Verbund auf vier Rechner erweitert, stieg die Rate bei einem Kontext von 2.000 Tokens auf 54,2 Tokens pro Sekunde, während die Zeit bis zum ersten Token 3,2 Sekunden betrug.
Vorabversion für Entwickler mit Hürden
Microsoft weist darauf hin, dass diese Leistungsdaten noch nicht unabhängig verifiziert wurden. Das Verfahren führt weder zu einer linearen Leistungsskalierung noch entsteht ein physisch einheitlicher Speicherbereich über alle Maschinen hinweg.
Die Vorabversion steht vorerst ausschließlich im experimentellen Insider-Kanal von Windows zur Verfügung. Die Funktion ist standardmäßig deaktiviert und muss manuell über einen Eintrag in der Registrierungsdatenbank freigeschaltet werden. Zudem verlangt die Installation das Aktivieren des Test-Signing-Modus sowie das Abschalten der Sicherheitsfunktion Secure Boot.
Bricht die physische Verbindung ab, erfolgt bislang kein automatischer Wiederverbindungsversuch. Um Entwicklern den Einstieg zu erleichtern, hat Microsoft den NetworkDirect-Provider sowie eine angepasste Version der Software llama.cpp als Testumgebung samt Beispiel code bereits auf GitHub quelloffen bereitgestellt.

