Auf der PyTorch Conference North America in San Jose im US-Bundesstaat Kalifornien hat Amazons Chip-Sparte Annapurna Labs die Software TorchNeuron unter der Open-Source-Lizenz Apache 2.0 freigegeben.
Das Werkzeug ermöglicht es Entwicklern, bestehenden PyTorch-Code ohne vollständige Neuentwicklung auf den hauseigenen KI-Beschleunigern Trainium2 und Trainium3 auszuführen. Nach Angaben aus Berichten vom 20. Oktober 2026 genügt für den Wechsel in vielen Fällen eine minimale Anpassung oder eine einzige Konfigurationsänderung.
Mit der Veröffentlichung startete Amazon zugleich die öffentliche Testphase der Software. Zuvor war seit Ende 2025 eine geschlossene Erprobung mit mehr als 30 Unternehmen gelaufen, wie am 19. Oktober 2026 berichtet wurde.
Colin Brace, Vizepräsident für Technologie-Software bei Annapurna Labs, erklärte dazu sinngemäß, wer mit PyTorch vertraut sei, beherrsche damit auch Trainium. Nach Unternehmensangaben verfassen rund 85 Prozent der KI-Forscher und -Entwickler ihren Programmcode in PyTorch.
Erste Praxiseinsätze und Benchmarks
Wer sich mit der Entwicklung und dem Einsatz moderner KI-Systeme befasst, muss heute auch die rechtlichen Rahmenbedingungen in Europa im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen des EU AI Acts. EU AI Act in 5 Schritten verstehen
Mehrere Partner setzen TorchNeuron und Trainium-Hardware bereits produktiv oder testweise ein. Dazu zählen Akteure in den Bereichen Robotik, Sprach-KI und Umgebungsmodellierung. Das Unternehmen Cartesia AI nutzt das System für Inferenz-Aufgaben und konnte die Umstellung mit minimalem Aufwand vollziehen.
Ebenfalls zu den frühen Anwendern gehört das Lieber Institute for Brain Development. Der konzerneigene Streamingdienst Prime Video setzte die Technologie ein, um mit Prime 360 dreidimensionale Spielwiederholungen für ausgewählte Basketball-Übertragungen der nordamerikanischen Profiliga NBA in dieser Saison bereitzustellen.
Der Sprachtechnologieanbieter Deepgram hat Trainium inzwischen im Regelbetrieb im Einsatz. Das Unternehmen gibt auf Basis eigener Messungen an, rund 60 Prozent mehr Audio-Sekunden pro investiertem US-Dollar im Vergleich zu bestehenden Grafikprozessor-Basissystemen zu verarbeiten. Colin Brace bezifferte den Vorteil in einer weiteren Darstellung auf 70 Prozent mehr Audio pro US-Dollar bei Produktionsgenauigkeit.
Technische Ausstattung und aktuelle Grenzen
Während technologische Innovationen wie neue KI-Beschleuniger die Effizienz steigern, stellen sie Unternehmen auch vor neue Fragen zur Risikodokumentation. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko eingestuft werden und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Report zu Risikoklassen anfordern
TorchNeuron bringt vorgefertigte NKI-Operatoren mit und unterstützt TorchTitan für verteiltes Training über FSDP. Zudem liefert Annapurna Labs Änderungen direkt an das Hauptprojekt von PyTorch, um die bisherige Bindung des Frameworks an Halbleiter des Marktführers Nvidia zu verringern. Jeder Software-Build wird in nächtlichen Testläufen an über 100.000 Modellen der Plattform Hugging Face überprüft.
In der ersten Fassung von TorchNeuron gibt es allerdings noch funktionale Einschränkungen. So werden dynamische und symbolische Shapes derzeit nicht unterstützt, was im Einzelfall manuelle Code-Anpassungen erforderlich machen kann.
Auf Hardware-Seite bietet der Chip Trainium3 insgesamt 8 Rechenkerne mit jeweils 4 Modulen sowie 154 GB Onboard-Speicher. Server-Einheiten lassen sich mit bis zu 144 Beschleunigern bestücken und erreichen eine Rechenleistung von bis zu 362 Billiarden Berechnungen pro Sekunde im Datenformat MXFP8.
Wettbewerbsdruck im Markt für KI-Halbleiter
Mit der Bereitstellung eigener Software- und Hardware-Stacks positioniert sich die Cloud-Sparte AWS gegen spezialisierte Anbieter wie CoreWeave, Nebius und Firmus, die ihre Geschäftsmodelle vor allem auf Nvidia-Systeme stützen.
Am Markt stieg die Amazon-Aktie nach der Ankündigung am Morgen um fünf Prozent; das Analysehaus Morgan Stanley stufte das Papier als Favoriten ein. Zudem berichtet Geekwire, Amazon befinde sich in Verhandlungen über eine Übernahme des Start-ups Decart für rund 7 Milliarden US-Dollar.
Auch die Konkurrenz forciert Alternativen zur marktbeherrschenden Hardware: Wie am 20. Oktober 2026 bekannt wurde, stellte Google das Open-Source-Projekt TorchTPU vor, mit dem PyTorch-Programme über reine Konfigurationsänderungen auf Googles eigenen TPU-Prozessoren in der Google Cloud laufen.
Google kooperiert hierbei nach eigenen Angaben mit Partnern wie Meta, Hugging Face, Inferact sowie RadixArk und veröffentlichte flankierend eine TPU-Agent-Suite sowie Neuerungen für die Laufzeitumgebung LiteRT. Microsoft wiederum verfolgt das Ziel, den Großteil seiner internen KI-Dienste künftig von Nvidia-Systemen auf eigene Maia-Beschleuniger umzuziehen.