Grok 4.7: xAI trainiert KI mit 2,1 Billionen Parametern auf SpaceX-Daten

xAI entwickelt Grok 4.7 mit 2,1 Billionen Parametern und SpaceX-Daten, doch Probleme beim Training verzögern den bislang offenen Start.

Das KI-Unternehmen xAI nutzt für die Entwicklung seines neuesten Modells Grok 4.7 umfangreiche interne Datensätze des Raumfahrtunternehmens SpaceX. Wie aus aktuellen Branchenberichten hervorgeht, wird das Modell auf eine Größe von rund 2,1 Billionen Parametern ausgelegt. Damit markiert die neue Version einen deutlichen Entwicklungsschritt gegenüber dem Vorgängermodell Grok 4.6.

Integration von SpaceX-Engineering-Daten

Ein wesentliches Merkmal von Grok 4.7 ist die Einbindung spezifischer technischer Daten aus dem SpaceX-Konzern. Nach Abschluss des allgemeinen Pre-Trainings absorbiert das Modell derzeit Informationen aus der Starlink-Telemetrie sowie diverse Raketen- und Fehlerprotokolle. Zudem fließen Dokumente und Erkenntnisse von etwa 14.000 bis 15.000 Ingenieuren in den Trainingsprozess ein.

Elon Musk gab an, dass das Training mit diesen spezialisierten SpaceX-Daten voraussichtlich in drei bis vier Wochen vollständig abgeschlossen sein wird. Ziel dieser Strategie ist es offenbar, die technologische Tiefe des Modells in komplexen Ingenieursbereichen zu erhöhen. Musk betonte in diesem Zusammenhang, dass Grok 4.7 nach seiner Fertigstellung alle derzeit verfügbaren Modelle in der Leistungsfähigkeit übertreffen solle.

Technologische Skalierung und Verzögerungen

Mit 2,1 Billionen Parametern verzeichnet Grok 4.7 einen Zuwachs von etwa 40 Prozent gegenüber der Version 4.6, die über 1,5 Billionen Parameter verfügte. Bereits im Juli hatte Musk angekündigt, dass das neue Modell aufgrund seiner Komplexität eine etwas langsamere Arbeitsweise aufweisen könnte.

Anzeige

Wer sich mit der Entwicklung und dem Einsatz solch leistungsfähiger KI-Systeme befasst, muss auch die rechtlichen Rahmenbedingungen in Europa im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen des neuen EU AI Acts. EU AI Act in 5 Schritten verstehen

Trotz der technologischen Fortschritte konnte xAI einen zuvor anvisierten Veröffentlichungszeitraum nicht einhalten. Anfang September hatte Musk den Release noch für einen Zeitraum von zehn Tagen in Aussicht gestellt. Dieser Termin wurde jedoch verpasst, ohne dass das Unternehmen bislang ein neues konkretes Datum nannte.

Herausforderungen im Reinforcement Learning

Als Ursache für die zeitliche Verzögerung nannte Musk spezifische Probleme im Bereich des Reinforcement-Learning-Trainings (RL). Er erklärte, dass die Antwortlänge des Modells im Training möglicherweise zu stark bestraft worden sei. Dies führe dazu, dass die KI bei schwierigen, aber lösbaren Aufgaben zu früh aufgebe und die eigenen Ergebnisse nicht mit der erforderlichen Strenge prüfe.

Musk stellte klar, dass es sich hierbei weder um ein Hardware-Problem noch um fehlende Funktionen handle, sondern um eine notwendige Feinabstimmung des Trainingsprozesses, die noch einige Tage in Anspruch nehmen könne. Das Modell müsse lernen, intensivere Selbstverifikationen durchzuführen, bevor es eine Antwort ausgibt.

Anzeige

Während die technologische Entwicklung rasant voranschreitet, stellen neue Regulierungen viele Organisationen vor große Herausforderungen bei der Risikodokumentation. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko eingestuft werden und wie Sie die Compliance-Anforderungen rechtssicher erfüllen. Kostenlosen Umsetzungsleitfaden zum EU AI Act sichern

Aktueller Status und Marktkontext

Bislang hat xAI weder eine Model Card noch Benchmarks oder eine API-ID für Grok 4.7 veröffentlicht. Auch Informationen zur Preisgestaltung des neuen Modells stehen noch aus. Damit bleibt Grok 4.6 vorerst das Hauptmodell des Unternehmens.

Grok 4.6 war Mitte August mit verbesserten Funktionen zur Selbstverifikation erschienen und erreichte in internen Bewertungen einen Score von 61, verglichen mit 56 beim Vorgänger. Die API-Preise für das aktuelle Modell liegen bei 2 US-Dollar pro Million Input-Token sowie 6 US-Dollar pro Million Output-Token. Ob Grok 4.7 zum Start eine ähnliche Preisstruktur verfolgen wird, bleibt abzuwarten.