Ein Durchbruch für KI-Infrastrukturen: Der Speicherspezialist Kioxia hat eine Methode vorgestellt, die den Aufbau riesiger Vektordatenbanken um das 7,8-fache beschleunigt. Der Schlüssel liegt in der Verwendung von Grafikkarten statt herkömmlicher Prozessoren.
Der Flaschenhals bei Milliarden von Vektoren
Für Unternehmen, die KI-Lösungen im großen Stil einsetzen, war die Index-Erstellung bisher ein enormes Problem. Bei Milliarden von Datensätzen konnte dieser Prozess Wochen dauern. Kioxia hat nun gezeigt, wie diese Aufgabe von der CPU auf GPUs verlagert werden kann. In Tests mit hochdimensionalen Vektoren verbesserte sich die Bauzeit für bestimmte Index-Typen um das Zwanzigfache.
Während technologische Durchbrüche die KI-Infrastruktur beschleunigen, müssen Unternehmen auch die rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Leitfaden zeigt, wie Sie die Anforderungen der neuen EU-KI-Verordnung für Ihre Systeme richtig klassifizieren und dokumentieren. Was Unternehmen über die neue KI-Verordnung wissen müssen
Konkret sank die benötigte Zeit von 28,4 Tagen auf nur noch 1,4 Tage. Der gesamte Testprozess verkürzte sich von 31 auf vier Tage. Diese Beschleunigung macht Milliarden-skalige Vektordatenbanken erstmals praxistauglich für den Unternehmenseinsatz.
AiSAQ: Die Brücke zwischen SSD und GPU
Die technologische Grundlage ist Kioxias Open-Source-Projekt AiSAQ. Diese „All-in-Storage“-Architektur verlagert Vektordaten aus teurem Arbeitsspeicher (DRAM) auf kostengünstiere Solid-State-Drives. In Kombination mit NVIDIAs GPU-beschleunigter cuVS-Bibliothek entsteht so eine leistungsstarke Lösung für semantische Suche direkt vom Flash-Speicher.
Experten sehen darin den Weg, die traditionelle „Memory Wall“ zu überwinden, die die Expansion generativer KI-Modelle bisher bremste. Anwendungen können so auf zehn Milliarden vktoren zugreifen, die effizient auf SSDs gespeichert sind.
Turbo für KI-Assistenten und RAG
Der unmittelbare Nutznießer dieser Entwicklung ist das Ökosystem der Retrieval-Augmented Generation (RAG). Diese Technologie ermöglicht es Sprachmodellen, in firmeneigenen Datenbanken nach aktuellen Fakten zu suchen. Mit wachsenden Wissensbeständen müssen die zugrundeliegenden Vektordatenbanken jedoch immer größere, unstrukturierte Datensätze durchforsten.
„Vektordatenbanken sind die kritische Grundlage für Anwendungen, die Absicht, Kontext und Ähnlichkeit in riesigen Datensätzen in Echtzeit verstehen müssen“, erklärt Jason Hardy, Vice President of Storage Technologies bei NVIDIA. Die GPU-beschleunigte Indizierung ermögliche nun ein Skalieren mit beispielloser Effizienz.
Für breite Marktakzeptanz wurde AiSAQ in Milvus integriert, eine weit verbreitete Open-Source-Vektordatenbank. Damit können Unternehmen präzise KI-Assistenten bereitstellen, ohne auf aufwändige Multi-Server-Cluster angewiesen zu sein.
Spezial-SSDs für die KI-Ära
Parallel zur Software treibt Kioxia die passende Hardware voran. Die neuen GP Series SSDs sind speziell für GPU-lastige KI-Workloads optimiert. Sie fungieren als Erweiterung des High-Bandwidth-Memory in KI-Systemen und ermöglichen GPUs den direkten Zugriff auf schnellen Flash-Speicher.
„Das Skalieren von Vektordatenbanken in den Milliardenbereich erfordert eine grundlegende Neubewertung von Speicher- und Rechenressourcen“, sagt Masashi Yokotsuka, Vice President der SSD-Sparte bei Kioxia. Die Kombination aus SSD-basierter Vektorsuche und GPU-Beschleunigung biete einen äußerst praktischen Rahmen für großangelegte Implementierungen.
Ein Wendepunkt für die Hardware-Industrie
Der Durchbruch markiert einen Wendepunkt für die Tech-Branche. Die Explosion generativer KI hatte in den letzten zwei Jahren die Grenzen traditioneller Speicherhierarchien offengelegt. Die bisherige Abhängigkeit von teurem DRAM für schnelle Vektorabfragen schuf eine untragbare Kostenkurve.
Kioxias Demonstration beweist: Die Industrie kann auf ein SSD-zentriertes Modell umschwenken, ohne die für RAG-Anwendungen nötige niedrige Latenz zu opfern. Die Zusammenarbeit zwischen einem führenden Speicherhersteller und dem wichtigsten KI-Chip-Anbieter unterstreicht einen größeren Trend: Rechenleistung und Speicher verschmelzen immer mehr.
Der rasante Fortschritt bei KI-Modellen und Speicherlösungen erfordert von Geschäftsführern auch ein Umdenken bei der IT-Sicherheit. Erfahren Sie in diesem Experten-Report, wie Sie Ihr Unternehmen angesichts neuer KI-Gesetze und Cyber-Bedrohungen effektiv wappnen. Strategien für Cyber Security 2024 kostenlos sichern
Der Weg zu Billionen von Vektoren
Die erfolgreiche Suche in 4,8 Milliarden Vektoren auf einem einzelnen Server ist erst der Anfang. Kioxia arbeitet bereits an der Skalierung für noch größere Unternehmenslösungen. Das langfristige Ziel: AiSAQ soll Umgebungen mit Billionen von Vektoren unterstützen – eine Skala, die für autonome Agenten und globale Datenanalyse nötig ist.
Bis Ende 2026 sollen erste Muster der speziellen GP Series SSDs an ausgewählte Kunden gehen. Mit dem Markteintritt dieser maßgeschneiderten Laufwerke wird die Einführung von All-in-Storage-Vektordatenbanken weiter Fahrt aufnehmen. Hardware-Experten erwarten, dass diese Methodik zum Standard-Blueprint für KI-Infrastrukturen wird und dauerhaft verändert, wie Rechenzentren Speicher und Rechenleistung in der Ära der generativen KI ausbalancieren.
