Gleich mehrere Entwicklerteams haben diese Woche bahnbrechende Fortschritte vorgestellt: Komprimierte Sprachmodelle laufen plötzlich auf Smartphones und handelsüblichen Laptops – eine Entwicklung, die den Markt für Verbraucher und Unternehmen gleichermaßen umkrempeln könnte.
Lemonade 10.3: Schlanker, schneller, offener
Am heutigen Samstag veröffentlichten die Entwickler von Lemonade Version 10.3 ihres Open-Source-KI-Servers. Das von AMD gesponserte Projekt vollzog einen radikalen Architekturwechsel: Statt des ressourcenhungrigen Electron-Frameworks setzt die Desktop-Anwendung nun auf Tauri. Das Ergebnis ist beeindruckend – die Installationsdatei schrumpfte von 107 Megabyte auf unter neun Megabyte.
Der neue Server bringt zudem ROCm-7-Unterstützung für AMD-Grafikkarten mit. Herzstück ist OmniRouter, eine einheitliche Schnittstelle, die Text-, Bild- und Sprachverarbeitung über ein OpenAI-kompatibles Protokoll bündelt. „Das macht Lemonade zum Schweizer Taschenmesser für lokale KI“, kommentieren Branchenbeobachter.
Bonsai 27B: iPhone wird zur KI-Workstation
Der wohl spektakulärste Durchbruch gelang PrismML. Am 14. Juli veröffentlichte das Unternehmen Bonsai 27B, eine extrem komprimierte Version des Qwen3.6-Modells. Durch den Einsatz von 1-Bit- und ternärer Quantisierung reduzierte sich der Speicherbedarf von 54 Gigabyte auf gerade einmal 3,9 Gigabyte.
Das Erstaunliche: Auf einem iPhone 17 Pro Max erreicht das Modell 11 Tokens pro Sekunde – und behält dabei über 90 Prozent seiner ursprünglichen Leistungsfähigkeit. Branchenkreisen zufolge testet Apple die Technologie bereits für eine mögliche Integration. Ein 27-Milliarden-Parameter-Modell auf dem Smartphone – das wäre noch vor einem Jahr undenkbar gewesen.
Colibri: 744 Milliarden Parameter auf dem Laptop
Nur einen Tag später, am 17. Juli, zeigte die Colibri-Inferenz-Engine, was technisch möglich ist. Sie brachte das 744-Milliarden-Parameter-Modell GLM-5.2 auf einem Laptop mit 25 Gigabyte RAM zum Laufen. Der Trick: Colibri streamt die sogenannten „Experten“ des Modells von der Festplatte, anstatt das gesamte Modell in den Arbeitsspeicher zu laden.
Google setzt auf On-Device-KI
Auch Google mischt kräftig mit. Auf der I/O Connect India am 17. Juli präsentierte der Konzern Gemma 4, optimiert für den TPU-Beschleuniger des Pixel 10. Das Modell läuft nativ auf dem Gerät und ermöglicht Offline-Multimodal-Funktionen wie Bildanalyse und gerätespezisische Aktionen. Datenschutz pur – keine Daten verlassen das Smartphone.
Während die On-Device-KI den Datenschutz verbessert, stellt die neue EU-Gesetzgebung Unternehmen vor komplexe Herausforderungen. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und Bedrohungen Unternehmer durch die KI-Verordnung jetzt kennen müssen. Welche KI-Systeme gelten als Hochrisiko? Jetzt Gratis-Leitfaden sichern
Kimi K3: Chinesischer Gigant mit 2,8 Billionen Parametern
Im High-End-Segment sorgte Moonshot AI am 16. Juli für Aufsehen. Kimi K3 kommt auf atemberaubende 2,8 Billionen Parameter, nutzt aber eine sparse Mixture-of-Experts-Architektur (MoE). Pro Token werden nur 16 von 896 Experten aktiv – das spart enorm Rechenleistung.
Das Modell verarbeitet Kontexte von bis zu einer Million Tokens. Die hauseigene Kimi Delta Attention soll die Decodierungsgeschwindigkeit um das bis zu 6,3-Fache steigern. Die Gewichte des Modells sollen am 27. Juli unter einer modifizierten MIT-Lizenz veröffentlicht werden. Die Cloud-Version kostet 0,30 Euro pro Million gecachter Input-Tokens und 15 Euro pro Million Output-Tokens.
Werkzeuge für den Alltag: LM Studio und Pinokio
Parallel zu den Modellen selbst verbessert sich die Infrastruktur. LM Studio veröffentlichte am 17. Juli den „Bionic Agent Harness“ – ein geschlossenes Tool mit „Local-First“-Philosophie. Es bietet Spracheingabe über Voxtral, Websuche und Dokumentenverarbeitung. Für datensensible Aufgaben gibt es eine sichere Cloud-Stufe.
Wer KI-Systeme lokal oder in der Cloud einsetzt, muss nicht nur technische, sondern auch rechtliche Fristen im Blick behalten. Dieser kostenlose Umsetzungsleitfaden zum EU AI Act verschafft Ihnen und Ihrer IT-Abteilung jetzt den notwendigen Überblick über alle Risikoklassen. EU AI Act in 5 Schritten verstehen: Kostenlosen Download anfordern
Der Pinokio-Launcher erhielt am 16. Juli ein Update auf Version 8.0.8. Neue Module ermöglichen Audio-zu-MIDI-Transkription sowie lokale Video- und Musikgenerierung.
Standards und Schnittstellen: ONNX und MCP
Auch die Basis-Infrastruktur wird erneuert. ONNX 1.22.0 (veröffentlicht am 30. Juni) bringt spezielle Operatoren für hybride Sprachmodelle und WebAssembly-Unterstützung über Pyodide. Das verbessert die Modellvalidierung direkt im Browser.
Verbatik startete am 16. Juli einen Server für das Model Context Protocol (MCP). Mit über 2.700 neuronalen Stimmen in 50 Sprachen und sofortiger Sprachklonierung können KI-Assistenten wie Claude Desktop oder Cursor nun hochwertige Text-zu-Sprache-Funktionen nutzen.
Fazit: Die lokale KI ist kein Nischenphänomen mehr. Innerhalb weniger Tage haben mehrere Anbieter gezeigt, dass leistungsfähige Modelle auf Alltagsgeräten laufen – vom iPhone bis zum Laptop. Für europäische Unternehmen, die Datenschutz großschreiben, eröffnen sich völlig neue Möglichkeiten. Der Kampf um den heimischen Rechner hat gerade erst begonnen.
