Specific Labs hat mit Real-SWE einen neuen Benchmark eingeführt, der die Leistungsfähigkeit von KI-Modellen bei der Softwareentwicklung anhand von lizenzierten, privaten Produktions-Codebases evaluiert. Im Gegensatz zu herkömmlichen Tests, die oft auf öffentlichen Daten basieren, nutzt dieser Standard abgeschirmte Enterprise-Umgebungen.
Die ersten Ergebnisse zeigen deutliche Unterschiede zwischen den führenden Modellen: Den Spitzenwert erzielte Fable 5.1 in Kombination mit Claude Code, wobei eine Erfolgsquote (Resolution Rate) von 38,8 Prozent erreicht wurde.
Methodik und Testumgebung des Benchmarks
Das Testdesign von Real-SWE umfasst zehn komplexe Aufgaben aus realen Unternehmensbereichen wie Rechnungsstellung, Steuerwesen und Datenmigration. Um statistisch belastbare Daten zu generieren, wurden insgesamt 640 Durchläufe (Rollouts) gewertet, wobei pro Aufgabe acht Durchläufe für jede Modell-Kombination vorgesehen waren.
Die Komplexität der gestellten Aufgaben spiegelt sich im Umfang der Instruktionen wider, die im Median 1.742 Zeichen umfassten. Die zugehörigen Referenzlösungen erstreckten sich über durchschnittlich elf Dateien.
Für die Durchführung der Tests nutzt Specific Labs isolierte Sandboxes im sogenannten Harbor-Format. Die Verifizierung der Ergebnisse erfolgt über bereits in den Codebases vorhandene Test-Suites. Die beteiligten KI-Agenten agieren dabei in nativen Steuerungsprogrammen, sogenannten Harnesses.
Vergleichende Performance-Analyse der Frontier-Modelle
Die Auswertung der insgesamt acht getesteten Frontier-Modelle verdeutlicht, dass die Automatisierung komplexer Software-Aufgaben weiterhin eine große Herausforderung darstellt.
Hinter dem Erstplatzierten Fable 5.1 positionierte sich GPT-6 Astra unter Verwendung von Codex CLI mit einer Quote von 33,8 Prozent. Gemini 3.8 Flash erreichte zusammen mit dem Gemini CLI einen Wert von 31,2 Prozent, während das Modell GLM 5.3 via Claude Code auf 28,8 Prozent kam.
Wer sich mit der Implementierung moderner KI-Systeme in Unternehmen befasst, muss neben der Performance auch die rechtlichen Rahmenbedingungen des EU AI Acts im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen für Unternehmen. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Im weiteren Testfeld erzielten Grok 4.6 und Muse Spark 1.3 jeweils 23,8 Prozent. Kimi K3 erreichte eine Erfolgsquote von 18,8 Prozent, während GPT-5.6 Sol mit Codex CLI den Benchmark mit 16,2 Prozent abschloss.
Ein wesentlicher Befund der Untersuchung ist, dass kein Modell die Marke von 40 Prozent überschreiten konnte. Zudem lag die Erfolgsquote bei sechs der zehn spezifischen Aufgaben unter 15 Prozent.
Einordnung der Ergebnisse in der Fachwelt
Branchenbeobachter weisen darauf hin, dass die Aussagekraft des Rankings aufgrund des begrenzten Testfelds und der nicht öffentlichen Natur des Aufgaben-Sets zwar eingeschränkt sei, die Kernaussage jedoch im allgemeinen Leistungsniveau liege. Dieses stabilisiere sich bei den derzeit leistungsfähigsten Modellen bei rund einem Drittel der gelösten Aufgaben.
Während die Leistungsfähigkeit von KI-Modellen steigt, wachsen auch die Anforderungen an die Compliance und Dokumentation beim Einsatz solcher Systeme im Betrieb. Erfahren Sie in diesem kostenlosen Report, welche KI-Systeme als Hochrisiko gelten und was Unternehmen jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum EU AI Act sichern
In Entwickler-Foren wie Hacker News löste die Veröffentlichung von Real-SWE bereits erste Diskussionen aus. Nutzer bewerteten eine Erfolgsrate von etwa 30 Prozent für Tests auf privaten Codebases als plausibel. Dabei wurden insbesondere die unterschiedlichen Rollen der Modelle thematisiert – etwa der Einsatz hochperformanter Modelle als Verifizierer – sowie die Auswirkungen der verwendeten Harnesses auf die Effizienz der KI-Agenten.
