Amazon hat über seine Chip-Sparte Annapurna Labs die öffentliche Testphase von TorchNeuron gestartet. Die neue Software-Schnittstelle soll es Entwicklern ermöglichen, bestehende Programme auf Basis des maschinellen Lern-Frameworks PyTorch ohne aufwendiges Umschreiben auf Amazons hauseigenen Trainium-Beschleunigern auszuführen.
Auf einer Entwicklerkonferenz im Silicon Valley stellte das Unternehmen die Neuerung an einem Montag vor, bei der im Code im Wesentlichen eine einzelne Konfigurationsanweisung genügt, um Berechnungen auf Trainium umzuleiten.
Bislang lief TorchNeuron seit dem Ende des Vorjahres in einer geschlossenen Testphase, an der mehr als 30 externe Unternehmen sowie interne Teams von Amazon teilnahmen. Am 20. Oktober 2026 veröffentlichen Amazon und das PyTorch-Team bei Meta die Software im Rahmen der PyTorch Conference North America in San Jose zudem als Open-Source-Projekt unter der Apache-2.0-Lizenz auf der Plattform GitHub.
Breite Framework-Unterstützung und technische Einschränkungen
TorchNeuron ist für die Prozessor-Generationen Trainium2 sowie Trainium3 ausgelegt. Zu den nativ unterstützten Funktionen gehören unter anderem der Eager Mode, torch.compile, FSDP2, Tensor- und Pipeline-Parallelismus sowie FlashAttention.
Dennoch weist die erste Version noch funktionale Einschränkungen auf: Dynamische Eingabegrößen werden vorerst nicht unterstützt, und laut PyTorch-Blog werden rund 22.000 automatisierte Tests derzeit übersprungen.
Um die Stabilität dennoch sicherzustellen, führt Amazon nach eigenen Angaben nächtliche Testläufe gegen über 100.000 Modelle der Plattform Hugging Face durch; andere Berichte sprechen von Hunderttausenden Modellen pro Software-Build. Nach Angaben von Amazon verfassen 85 Prozent der Forscher und Entwickler im Bereich der künstlichen Intelligenz ihren Code in PyTorch.
Wer sich mit der Entwicklung und dem Einsatz moderner KI-Systeme befasst, muss heute auch die komplexen rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen des EU AI Acts. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Daher bringt der Konzern eigene Anpassungen direkt upstream in das PyTorch-Projekt ein, um das Framework hardwareunabhängiger zu gestalten. Zudem leistete Amazon einen umfangreichen Open-Source-Beitrag zum Projekt vLLM und stellte zugehörige Performance-Kernels bereit.
Colin Brace, Vizepräsident für Technologie-Software bei Annapurna Labs, erklärte, wer PyTorch beherrsche, könne ohne zusätzliche Hürden auch Trainium einsetzen. Vorrangiges Ziel sei es, die Schritte zur Erprobung der Amazon-eigenen Hardware drastisch zu reduzieren und Kunden möglichst frühzeitig an das System heranzuführen.
Partner und erste Erfahrungen im Praxiseinsatz
Zu den Design-Partnern der Software gehören Unternehmen wie Anthropic, Cartesia, Databricks, Hugging Face, poolside, Rivian und Salesforce. Hugging Face bietet bereits eine native Trainium-Unterstützung an und integrierte die Prozessoren in TorchTitan für Fully Sharded Data Parallel. Als frühe Anwender nutzen auch das Lieber Institute for Brain Development sowie der Sprachverarbeitungsspezialist Deepgram die Plattform.
Deepgram portierte sein Speech-to-Text-Modell Nova-3 über TorchNeuron auf Trainium2 und setzte dabei acht Modellkopien auf einer Instanz des Typs EC2 trn2.3xlarge ein. Nach Angaben des Unternehmens wurden bei Offline-Stapelverarbeitungen auf Basis der damaligen Instanzpreise zwischen 11 und 70 Prozent mehr Audiodaten pro Dollar verarbeitet als bei zuvor genutzten Rechenoptionen.
Die rasante Entwicklung bei KI-Modellen führt auch zu neuen regulatorischen Anforderungen für Unternehmen, die diese Technologien produktiv nutzen. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko eingestuft werden und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum EU AI Act jetzt herunterladen
Eigene Benchmarks von Deepgram wiesen gegenüber dem bestehenden Grafikprozessoren-Setup einen Zuwachs von rund 60 Prozent mehr Audioverarbeitung pro US-Dollar aus. Technisch erzielte Deepgram mit einer Rust-Laufzeitumgebung ein Durchsatzplus von 7,5 Prozent gegenüber einer Python-Multiprocessing-Basis.
Bei den Kernel-Laufzeiten verzeichnete Deepgram bei einer Batch-Größe von 96 eine um den Faktor 2,0 niedrigere Latenz im Feed-Forward-Netzwerk sowie eine 1,5-fache Beschleunigung bei Depthwise-conv1d-Berechnungen; für Conv2d-Berechnungen mit Batch-Größen bis 32 ergab sich eine Beschleunigung um bis zu das 50-Fache.
Auch intern setzt Amazon die Technologie ein: Die Streaming-Plattform Prime Video verwendet TorchNeuron für das Feature Prime 360, das dreidimensionale Wiederholungen von Basketballspielen der NBA berechnet.
Amazon hatte Annapurna Labs im Jahr 2015 für berichtete 350 Millionen US-Dollar übernommen und seither vier eigene Chip-Familien entwickelt. An den Finanzmärkten stieß der Ausbau der hauseigenen KI-Hardware auf Zuspruch: Im Morgenhandel legte die Amazon-Aktie um 5 Prozent zu, während das Analysehaus Morgan Stanley das Papier als favorisierten Spitzenwert einstufte.