Samsung hat auf der Hot-Chips-Konferenz (23. bis 26. August) eine neue Speichertechnologie vorgestellt, die die KI-Inferenz kostengünstiger machen soll als bisherige Lösungen mit High Bandwidth Memory (HBM).
Der als LPDDR5X-PIM bezeichnete Chip verlagert Rechenoperationen direkt in den Speicher (Processing-in-Memory) und soll dadurch einen Ausweg aus dem hohen Kostendruck bieten, den HBM-Speicher bei KI-Beschleunigern verursacht. Laut Samsung machen Speicherkosten inzwischen 63 Prozent der Gesamtkosten eines KI-Beschleunigers aus – ein Anteil, der die Suche nach Alternativen zunehmend dringlich macht.
Deutlich höhere interne Bandbreite
Kern der neuen Architektur ist eine massiv gesteigerte interne Bandbreite: Während die externe Anbindung bei 76,8 GB/s liegt, erreicht der Chip intern 614 GB/s – das Achtfache. Diese Diskrepanz erklärt sich dadurch, dass Rechenoperationen nicht mehr zwischen Prozessor und externem Speicher hin- und hergeschickt werden müssen, sondern direkt im Speicherbaustein selbst stattfinden.
Der Chip enthält laut Angaben 16 PIM-Blöcke und kommt mit 16 GB Kapazität in einem 561-Ball-Gehäuse, das mit dem JEDEC-Standard kompatibel ist – ein Aspekt, der die Integration in bestehende Systemarchitekturen erleichtern dürfte.
Praxistest mit Llama 3.1 8B
Samsung belegte den Nutzen der Technologie mit Benchmarks am Sprachmodell Llama 3.1 8B. Dabei erzielte LPDDR5X-PIM eine 3,01-fache Token-Rate gegenüber herkömmlichem Speicher: 81,3 Tokens pro Sekunde standen 27 Tokens pro Sekunde bei Standard-LPDDR5X gegenüber.
In der Folge sank die Bearbeitungszeit einer Aufgabe von 12,3 auf 5,4 Sekunden. Bei einer Konfiguration mit acht Chips erreicht das System laut Angaben eine Rechenleistung von 9,6 INT8 TOPS.
Während technologische Innovationen die Effizienz von KI-Systemen steigern, entstehen durch den Einsatz von künstlicher Intelligenz auch völlig neue Sicherheitsrisiken für Betriebe. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und Bedrohungen Unternehmer jetzt kennen müssen. Neue KI-Gesetze und Cyberrisiken verstehen
Cho Sang-yeon von Samsung ordnete die Ergebnisse ein: Die Token-Rate bei der KI-Inferenz werde maßgeblich durch die verfügbare Speicherbandbreite bestimmt – ein Umstand, der die Entwicklung speicherinterner Rechenkapazitäten aus Sicht des Unternehmens rechtfertigt.
Software-Ökosystem noch nicht ausgereift
Trotz der vielversprechenden Benchmark-Ergebnisse räumt Samsung offene Baustellen ein. Ein passender Software-Stack für LPDDR5X-PIM existiert bislang nicht. Zu den weiteren Herausforderungen zählen die Anpassung von Quantisierungsformaten sowie Fragen der Speicherverwaltung auf Betriebssystemebene.
Diese Punkte dürften mitentscheidend dafür sein, wie schnell die Technologie tatsächlich in kommerziellen KI-Systemen zum Einsatz kommen kann – unabhängig von den technischen Leistungsdaten, die Samsung auf der Hot Chips 2026 präsentiert hat.
Wer sich mit dem Thema moderner IT-Infrastrukturen befasst, muss auch den Schutz sensibler Unternehmensdaten vor Cyberangriffen im Blick behalten. Erfahren Sie in diesem kostenlosen E-Book, wie Sie Sicherheitslücken schließen und gleichzeitig neue gesetzliche Anforderungen proaktiv erfüllen. Gratis-E-Book: Cyber Security Strategien für Unternehmen
Einordnung für die Branche
Mit LPDDR5X-PIM positioniert sich Samsung an einer Schnittstelle, an der derzeit viele Speicherhersteller ansetzen: dem wachsenden Bedarf an kosteneffizienten Lösungen für KI-Inferenz-Workloads, die nicht zwingend die teuren HBM-Stacks benötigen, wie sie etwa beim Training großer Modelle zum eigen Einsatz kommen.
Ob sich die Technologie am Markt durchsetzt, hängt neben der Hardware-Performance maßgeblich davon ab, wie schnell Softwareseitig die nötigen Werkzeuge für Entwickler bereitstehen.
