Qualcomm integriert eine Unterstützung für 1-Bit-KI-Modelle in seine Wearable-Plattformen Snapdragon AR1, AR1+ und Sound Elite Gen 2. Ziel ist es, leistungsfähige lokale KI-Funktionen auch auf Geräten mit stark begrenztem Arbeitsspeicher zu ermöglichen, wie das Unternehmen laut einem Bericht von thelec.net mitteilte.
Gegenüber klassischen 8-Bit-Modellen sinkt der Speicherbedarf demnach auf rund ein Achtel: Ein Beispielmodell benötigt in der 1-Bit-Variante 125 MB RAM statt 1 GB bei 8-Bit-Quantisierung.
Weniger Speicherbedarf für Smart Glasses
Qualcomms Ziad Asghar erläuterte, dass frühere Smart-Glasses-Generationen teils 4 GB DRAM benötigten, neuere Produkte kämen bereits mit 2 GB aus. Qualcomm arbeite an einer weiteren Reduktion des Speicherbedarfs. Grundlage dafür ist die sogenannte PrismML-Technik, die laut Qualcomm die Modellgenauigkeit beim Übergang von 4 auf 1 Bit weitgehend erhalten soll.
Wie stark sich das auf Sprachmodelle auswirkt, zeigte Qualcomm anhand konkreter Vergleichswerte: Der Speicherbedarf sinkt von 1,66 GB bei 4-Bit-Quantisierung auf 0,43 GB bei 1 Bit – ein Rückgang um rund 74 Prozent.
Gleichzeitig steigt laut Qualcomm die Generierungsgeschwindigkeit von 7,44 auf 15,36 Token pro Sekunde. Das System kombiniert dabei ein 1-Bit-Sprachmodell mit einem 4-Bit-Bildencoder und ist für die Hexagon-NPU optimiert.
PrismML demonstriert Bonsai-Modell auf Snapdragon AR1 Gen 1
Auf dem Snapdragon Summit in Maui zeigte das Unternehmen PrismML, dass sein 1-Bit-Modell „Bonsai“ lokal auf Smart Glasses mit Snapdragon AR1 Gen 1 läuft.
Der Speicherbedarf entscheidet, ob ein Sprachmodell lokal auf der Brille läuft: Qualcomm nennt für ein Beispielmodell 125 MB RAM bei 1 Bit gegenüber 1 GB bei 8-Bit-Quantisierung. Wer sein eigenes Modell auf ein solches Budget bringen will, findet in diesem kostenlosen Leitfaden eine Schritt-für-Schritt-Checkliste zur 1-Bit-Quantisierung plus einen RAM-Budget-Rechner für Smart Glasses. Kostenlosen Edge-KI-Leitfaden anfordern
Das Vision-Language-Modell umfasst rund 2 Milliarden Parameter, zusammengesetzt aus einem 1,7-Milliarden-Parameter-Sprachmodell und einem 0,3-Milliarden-Parameter-Bildencoder, wobei die Sprachgewichte 1-Bit-quantisiert sind. Trotz der Modellgröße soll der für ganztägige Nutzung nötige niedrige Energieverbrauch erhalten bleiben.
Nutzer sollen dabei in Echtzeit Fragen zu dem stellen können, was die Brille über die Kamera erfasst – ohne Cloud-Anbindung. Laut PrismML schrumpft die eingesetzte Kompression größere Modelle etwa um den Faktor 4, bei nahezu gleichbleibender Leistung in Standard-Benchmarks.
Die Ergebnisse in acht getesteten KI-Benchmarks seien zwischen der 1-Bit- und der 4-Bit-Version ähnlich ausgefallen, so das Unternehmen. Das Kontextfenster liegt bei 1.024 Token, bei 4 GB Gerätespeicher ergibt sich die genannte Geschwindigkeit von 15,36 gegenüber 7,44 Token pro Sekunde.
Der CEO von PrismML bezeichnete die Demonstration als ersten Betrieb eines 1-Bit-Multimodalmodells auf einer Personal-AI-Plattform. Weder Qualcomm noch PrismML nannten bislang einen konkreten Produkttermin oder Partner-Marken, die das Modell in kommerziellen Smart Glasses einsetzen wollen. Es handelt sich bislang um eine Demonstration, keinen Produktstart.
Einordnung für den Wearable-Markt
Die Ankündigung fällt in eine Phase, in der Hersteller von Smart Glasses und anderen Wearables zunehmend versuchen, KI-Funktionen direkt auf dem Gerät statt in der Cloud auszuführen – auch um Akkulaufzeit und Datenschutz zu verbessern.
Lokale Inferenz ohne Cloud schont Akku und Datenschutz — doch jede Quantisierungsstufe kostet Genauigkeit. Qualcomm und PrismML berichten, dass sich die Ergebnisse in acht getesteten KI-Benchmarks zwischen 1-Bit- und 4-Bit-Versionen ähnlich verhielten. Dieser kostenlose Leitfaden stellt 1-Bit, 4-Bit und 8-Bit direkt gegenüber und zeigt, welche Stufe sich für welches Wearable-Szenario eignet. Benchmark-Vergleich jetzt herunterladen
Die von Qualcomm und PrismML gezeigten Zahlen zum Speicher- und Energiebedarf beziehen sich auf Labordemonstrationen; wie sich die Technik in kommerziellen Produkten verhält, bleibt offen, da noch keine Geräte mit dem 1-Bit-Bonsai-Modell für den Verkauf angekündigt wurden.
