OpenAI hat am 19. Oktober 2026 zwei neue Programmier-Evaluationen für sogenannte Low-Resource-Sprachen vorgestellt und deutliche Leistungssteigerungen eigener Modelle bei älteren Programmiersprachen wie COBOL, Fortran und Visual Basic gemeldet. Die unter dem Titel „Advancing coding in low-resource programming languages“ präsentierten Testverfahren umfassen die Benchmark-Suite MultiLangBench sowie einen spezifischen Test zur COBOL-Migration.
Ergebnisse auf der MultiLangBench-Suite
Bei MultiLangBench handelt es sich um den Nachbau einer SQLite-kompatiblen Datenbank-Engine in 20 Programmiersprachen, der anhand der offiziellen SQLite-Testsuite überprüft wird.
Das Modell GPT-6 Astra erzielte dabei bei maximalem Reasoning-Aufwand eine durchschnittliche Passrate von 87,4 Prozent, während das Vergleichsmodell GPT-5.6 Sol zuvor 26,8 Prozent erreicht hatte. In 19 der 20 getesteten Sprachen lag GPT-6 Astra über der Marke von 83 Prozent.
Als anspruchsvollste Sprache erwies sich weiterhin COBOL mit einer Erfolgsquote von 72,1 Prozent, nach zuvor 10,9 Prozent. Deutliche Zuwächse verzeichnete das Modell auch in anderen Sprachen:
– Fortran erreichte 83,5 Prozent gegenüber zuvor 21,4 Prozent.
– Visual Basic stieg von 27,5 Prozent auf 89,4 Prozent.
– OCaml verbesserte sich von 25,6 Prozent auf 85,8 Prozent.
Das kleinere Modell GPT-6 Luna erreichte auf MultiLangBench durchschnittlich 40,3 Prozent. Die geschätzten API-Kosten beliefen sich dabei auf 0,77 US-Dollar je Sample, was im Vergleich zu den 3,48 US-Dollar bei GPT-5.6 Sol einer Reduzierung um rund 78 Prozent entspricht.
COBOL-Migration und praktische Relevanz
Die zweite Evaluation zielt auf die Modernisierung historischer Codebasen ab. Der COBOL-Migrationstest verlangt eine automatisierte Übersetzung des Quellcodes nach C++, Java, Kotlin, Python oder Rust, wobei das Ergebnis in sämtlichen verdeckten Tests eine Byte-für-Byte-identische Ausgabe liefern muss.
In diesem Prüfszenario erreichte GPT-6.1 Sol bei niedrigem Reasoning-Aufwand eine Quote von 86,6 Prozent bei 61 Prozent der API-Kosten, verglichen mit 5,4 Prozent bei GPT-5.6 Sol. Bei höherem Reasoning-Aufwand stieg der Wert auf 97,9 Prozent, was OpenAI zufolge nahe an der Sättigungsgrenze liege.
Der damit verbundene Kostenvergleich mit 39 Prozent niedrigeren API-Ausgaben bezieht sich allerdings ausschließlich auf den Testlauf der Evaluation und spiegelt nicht die Gesamtkosten eines tatsächlichen Migrationsprojekts wider.
Während die technische Modernisierung von Altsystemen durch KI enorme Fortschritte macht, müssen Unternehmen auch die rechtlichen Rahmenbedingungen für den Einsatz solcher Technologien im Blick behalten. Dieser kostenlose Leitfaden erläutert die Anforderungen der EU-KI-Verordnung an Risikodokumentation und Qualitätssicherung für Entwickler und Anwender. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
OpenAI begründet den Fokus mit der anhaltenden Bedeutung alter Systeme für die globale Infrastruktur. Nach Unternehmensangaben wickeln COBOL-Systeme weiterhin über 40 Prozent der Online-Banking-Systeme, 80 Prozent der Kartenzahlungen im stationären Handel und 95 Prozent der Geldautomaten-Transaktionen ab. Zudem nutzen rund 40 Prozent der weltweiten Banken die Sprache weiterhin.
Da erfahrene Programmierer zunehmend in den Ruhestand gehen, sind entsprechende Modernisierungen mit Zeiträumen über mehrere Jahre und Kosten von Millionen bis Hunderten Millionen verbunden. Fortran wiederum spiele unverändert eine zentrale Rolle bei Wettervorhersagen und Sicherheitsanalysen in Nuklearreaktoren.
Die Integration von KI-Systemen in kritische Infrastrukturen wirft neue Fragen zur Compliance und Haftung auf, die über rein technische Tests hinausgehen. Erfahren Sie in diesem kostenlosen Report, welche rechtlichen Pflichten die neue EU-KI-Verordnung für Unternehmen vorsieht und wie Sie Hochrisiko-Systeme korrekt kennzeichnen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
Rahmenbedingungen und Verfügbarkeit
Das Setup von MultiLangBench sowie die zugehörigen Tests und sprachspezifischen Ergebnisse wurden auf GitHub veröffentlicht, während der COBOL-Migrationstest unter Verschluss bleibt. Ein eigenständiges Produkt stellte OpenAI nicht vor; Entwickler können die zugrundeliegenden Modelle über die reguläre Programmierschnittstelle ansteuern.
Da beide Tests bislang ausschließlich intern von OpenAI durchgeführt wurden, liegen noch keine unabhängigen Verifikationen der Ergebnisse vor. OpenAI wies darauf hin, dass ein produktiver Einsatz weiterhin menschliche Expertenprüfungen sowie Tests gegen bestehende Geschäftsregeln erfordere. Eine migration gelte erst dann als erfolgreich, wenn sämtliche Kontrollläufe fehlerfrei bestanden werden.