Das KI-Unternehmen Recursive hat mit Flint ein frei verfügbares Sprachmodell für Programmieraufgaben unter der Apache-2.0-Lizenz auf Hugging Face veröffentlicht. Die Architektur basiert auf einem Mixture-of-Experts-Design mit insgesamt 40 Milliarden Parametern, von denen rund 2,5 Milliarden Parameter pro Token aktiv geschaltet werden.
Laut Herstellerangaben zielt das Open-Weight-Modell insbesondere auf eine hohe Ausführungsgeschwindigkeit auf lokaler Hardware ab und erreicht auf einem MacBook Pro mit M4-Pro-Chip rund 131 Tokens pro Sekunde.
Hohe Geschwindigkeiten auf Workstations und Laptops
Nach Angaben von Recursive liefert Flint auf einem MacBook Pro mit M4 Pro mehr als 125 Tokens pro Sekunde. Im direkten Vergleich dazu erreichen Modelle wie Gemma 4 sowie Nemotron 3.5 Lightning auf derselben Hardware zwischen 58 und 69 Tokens pro Sekunde.
Auf einer Nvidia RTX Spark mit 64 Gigabyte Arbeitsspeicher kommt Flint bei kurzen Kontexten laut Recursive auf über 150 Tokens pro Sekunde. Auf der Entwicklerkonferenz GTC Berlin nannte Nvidia im Rahmen von Day-Zero-Updates für die RTX Spark sogar Werte von mehr als 220 Tokens pro Sekunde für das Modell.
In einem Praxistest des Magazins Wired konnten auf einem Mac mit 48 Gigabyte Arbeitsspeicher drei kleinere Programmieraufgaben erfolgreich mit Flint gelöst werden.
Wer sich mit der Entwicklung und dem Einsatz leistungsfähiger KI-Systeme befasst, muss auch die rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen des neuen EU AI Acts. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Neben den quantisierten Fassungen für Apple Silicon und Nvidia-Grafikprozessoren umfasst der reguläre 16-Bit-Checkpoint des Modells rund 80 Gigabyte, wofür Hardware wie eine Nvidia B300 oder H200 erforderlich ist. Die komprimierte NVFP4-Version liegt laut Unternehmensangaben innerhalb von 0,7 Punkten der Leistung des 16-Bit-Modells.
Technische Architektur und Automatisierung
Bei der Entwicklung setzte Recursive auf Low-Bit-Training, wodurch die Modellgröße um 71 Prozent reduziert wurde, ohne dass es zu nennenswerten Qualitätseinbußen kam. Über die hauseigene Eureka-Pipeline wurde eine Basis von 35 Milliarden Gesamt- und 3 Milliarden aktiven Parametern auf die finale Struktur von 40 Milliarden beziehungsweise 2,5 Milliarden Parametern skaliert. Der finale Ausgabelayer arbeitet dabei mit 4 Bit.
Flint wurde laut Unternehmensangaben weitgehend durch das interne Forschungssystem Eureka Machine entworfen, das Pipelines, Trainingsmethoden, Architekturen und chipspezifischen Code generierte. Ein kleines Team habe das Projekt in unter vier Monaten fertiggestellt. Richard Socher, Chief Executive Officer von Recursive, betonte, dass der Entwicklungsprozess dennoch vollständig unter menschlicher Kontrolle verbleibe.
Die rasante Entwicklung bei KI-Modellen führt nicht nur zu technologischen Fortschritten, sondern stellt auch neue Anforderungen an die IT-Sicherheit in Unternehmen. Erfahren Sie in diesem Gratis-Report, wie Sie Sicherheitslücken schließen und gleichzeitig die neuen gesetzlichen Anforderungen proaktiv erfüllen. Neue KI-Gesetze, neue Cyberrisiken: Was kommt wirklich auf Ihr Unternehmen zu?
In anbietereigenen, bislang nicht unabhängig überprüften Benchmarks erzielte Flint 89,7 Prozent im SWE-bench Pro v2, 74,2 Prozent im SWE-bench Verified und 54,9 Prozent im Terminal-Bench 2.1. Auf SWE-Bench Verified handele es sich laut Recursive um den besten Wert unter Modellen mit weniger als 50 Milliarden Parametern. Im herstellereigenen Schnitt aus sechs Tests sei Flint lediglich von Alibabas Qwen3.8 mit 27 Milliarden Parametern übertroffen worden.
Software-Integration und Unternehmenshintergrund
Die Inferenz-Engine vLLM integrierte ab dem ersten Tag Unterstützung für Flint über das Docker-Image vllm/vllm-openai:flint auf Basis von CUDA 13.0 und den Pull-Request 62938. Demnach laufen die NVFP4- und BF16-Checkpoints auf einer einzelnen Grafikeinheit.
Auf einem Nvidia GB200 erreicht Flint bei einem Kontext von 100.000 Tokens im Batch-1-Decode rund 500 Tokens pro Sekunde, was einer End-to-End-Latenz von 2,06 Millisekunden pro Token entspricht.
Die Kernel-Zahl sank von 1.096 auf 346. Das Modell setzt sich aus 49 Layern zusammen, wovon 35 Layer ein Sliding Window von 513 Tokens nutzen und 14 Layer den vollen Kontext abdecken; der KV-Cache belegt 28 KiB pro Token.
Recursive verzeichnet seit Mai Finanzierungsmittel in Höhe von 650 Millionen US-Dollar bei einer Bewertung von 4,65 Milliarden US-Dollar, gestützt von Investoren wie GV, Greycroft sowie den Investmentarmen von Nvidia und AMD. Im Juni schloss das Unternehmen zudem eine Vereinbarung über Rechenkapazitäten mit AWS im Umfang von 410 Millionen US-Dollar ab.