Underdog hat eine neue, modellspezifische Inferenz-Engine namens Husky veröffentlicht, die speziell für Apple-Silicon-Hardware optimiert wurde und lokale KI-Modellausführung gegenüber Apples eigener MLX-Lösung beschleunigen soll. Wie sina.cn berichtete, positioniert Underdog das System als direkten Konkurrenten zu Apples etabliertem Framework für maschinelles Lernen auf Mac-Geräten.
Deutliche Geschwindigkeitsvorteile in Benchmarks
Laut den von Underdog vorgelegten Zahlen erreicht Husky auf einem MacBook mit M5-Max-Chip in Kombination mit dem rund vier Milliarden Parameter umfassenden Modell Woof in 4-Bit-Quantisierung bis zu 730 Tokens pro Sekunde. Das entspreche einer bis zu 4,5-fachen Geschwindigkeit gegenüber Apples MLX, so Underdog.
Auch bei der Latenz bis zum ersten Token in Folgechats will das Unternehmen deutliche Vorteile erzielt haben: Diese liegt demnach bei rund 35 Millisekunden und damit 3,6- bis 5,5-mal schneller als bei MLX.
Underdog gibt zudem an, dass Husky in 16 praxisnahen Testaufgaben – darunter das Verfassen von E-Mails, Code-Generierung, die Verarbeitung von JSON-Daten und Protokollanalysen – bei identischen Modellgewichten durchgehend schneller abgeschnitten habe als Apples Lösung. Die Tests seien mit denselben Modellparametern durchgeführt worden, um einen direkten Vergleich der reinen Ausführungsgeschwindigkeit zu ermöglichen.
Wer die Leistung seines Apple-Rechners für anspruchsvolle Aufgaben voll ausschöpfen möchte, sollte die richtigen Grundeinstellungen kennen. Dieser kostenlose Ratgeber verrät die cleveren Tricks, mit denen Sie Ihren Mac von Tag 1 an optimal nutzen. So werden Sie in kürzester Zeit zum Mac-Profi – völlig kostenlos
Offline-Betrieb auf Mac und iPhone
Ein zentrales Merkmal von Husky ist laut Underdog die Fähigkeit, vollständig offline zu arbeiten – sowohl auf Mac-Computern als auch auf iPhones. Damit richtet sich die Engine an Nutzer, die KI-Modelle lokal ausführen wollen, ohne auf Cloud-Verbindungen angewiesen zu sein. Dies ist besonders für Anwendungsfälle relevant, bei denen Datenschutz, Latenz oder Konnektivität eine Rolle spielen.
Technische Grundlagen
Um die genannten Geschwindigkeitsgewinne zu erzielen, setzt Underdog auf mehrere technische Bausteine. Dazu zählen sogenannte Metal-Megakernels, die Berechnungen auf Apples Grafikschnittstelle Metal bündeln, sowie eine 8-Token-Parallelverifikation, die mehrere Tokens gleichzeitig prüft statt sequenziell. Hinzu kommen Pipelining-Verfahren zur Überlappung von Rechenschritten und ein Prefix-Cache, der wiederkehrende Eingabesequenzen zwischenspeichert, um wiederholte Berechnungen zu vermeiden.
Effizienz am Mac lässt sich nicht nur durch neue Software-Engines, sondern auch durch die tägliche Bedienung steigern. Ein Apple-Experte hat die 19 nützlichsten Shortcuts zusammengestellt, mit denen Sie sofort flüssiger und entspannter arbeiten. Kostenlosen PDF-Sonderreport mit den 19 besten Mac-Tastenkombinationen herunterladen
CUDA-Version in Arbeit
Über die Apple-Silicon-Ausrichtung hinaus arbeitet Underdog laut eigenen Angaben bereits an einer CUDA-Version von Husky. Damit würde die Engine künftig auch auf Nvidia-Grafikkarten lauffähig sein, was den Anwendungsbereich deutlich über das Apple-Ökosystem hinaus erweitern würde. Konkrete Zeitangaben zur Fertigstellung dieser Variante nannte das Unternehmen bislang nicht.
Mit Husky tritt Underdog in einen Markt ein, in dem die Optimierung lokaler KI-Ausführung zunehmend an Bedeutung gewinnt, da Nutzer und Entwickler verstärkt nach Alternativen zu cloudbasierten Modellen suchen. Ob sich die von Underdog genannten Leistungswerte auch außerhalb der eigenen Tests in der breiten Praxis bestätigen, dürfte sich erst zeigen, wenn unabhängige Anwender und Entwickler die Engine im Alltag einsetzen.
