Die Plattform Artificial Analysis hat am 14. Oktober 2026 mit AA-Robotics v0.1 eine Testumgebung als sogenannte Research Preview vorgestellt. In dem Benchmark steuern moderne KI-Sprachmodelle einen physischen Roboterarm mit sechs Achsen über Programmcode und eine HTTP-Schnittstelle. Als Hardware dient der Hiwonder NexArm mit fünf Gelenken und einem Greifer.
Das System erfasst die Umgebung über vier Kameras, von denen drei am Tisch und eine am Handgelenk des Arms montiert sind. In acht vordefinierten Aufgaben auf einer Arbeitsfläche werden die Modelle im Zero-Shot-Verfahren getestet, wobei maximal 100 Punkte mit der Möglichkeit von Teilwertungen erreichbar sind.
Ergebnisse im Leistungsvergleich
Im Testfeld setzte sich das Modell GPT-6 Astra mit 69,4 Punkten an die Spitze, gefolgt von GPT-6.1 Sol mit 64,6 Punkten. Dahinter platzierten sich Gemini 4 Argon mit 55,3 Punkten, Claude Opus 5.5 mit 48,8 Punkten sowie Claude Fable 5.1 mit 46,3 Punkten. GPT-6 Astra erreichte bei vier von acht Aufgaben die maximale Punktzahl, während GPT-6.1 Sol fünf Aufgaben mit voller Wertung abschloss.
Zu den Prüfungen zählten unter anderem das Einschenken von Wasser, Schreib- und Beschriftungsaufgaben, das Stapeln von Bauklötzen, das Drücken eines roten Knopfes, das Hantieren mit einer Krokodil-Figur sowie eine Boxmessung mit einer Genauigkeit von zwei Millimetern. Die Krokodil-Figur und das Betätigen des roten Knopfes meisterten alle getesteten Systeme erfolgreich.
Bei komplexeren Handlungen zeigten sich deutliche Unterschiede: Beim Einschenken von Wasser erzielten GPT-6 Astra und Gemini 4 Argon jeweils 100 Punkte, während GPT-6.1 Sol null Punkte verbuchte. Bei der Boxmessung kamen Sol und Claude Opus 5.5 auf jeweils 17 Punkte, während Astra und Gemini 4 Argon jeweils null Punkte erhielten.
Hoher Zeitaufwand und Kostenunterschiede
Zwischen den Modellen sowie im Vergleich zu menschlichen Akteuren fielen erhebliche Differenzen bei Geschwindigkeit und Kosten auf. Für eine Aufgabe benötigten die Modelle im Durchschnitt rund 30 Minuten, während ein Mensch die Abläufe in etwa 20 Sekunden und damit rund 100-mal schneller bewältigte. Gemini 4 Argon erwies sich mit 52 Minuten pro Aufgabe als das langsamste Modell und benötigte bereits 21 Minuten bis zur ersten Aktion.
Hinsichtlich des Zeitbudgets verwendete GPT-6 Astra rund 20 Prozent auf das Erfassen der Umgebung, 59 Prozent auf die Planung und 13 Prozent auf die Armbewegung. Bei GPT-6.1 Sol entfielen 61 Prozent auf die Planung und 13 Prozent auf die Bewegung.
Wer sich mit der Entwicklung oder dem Einsatz solch leistungsfähiger KI-Systeme befasst, muss heute auch die rechtlichen Rahmenbedingungen im Blick behalten. Dieser kostenlose Umsetzungsleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen des EU AI Acts. EU-KI-Verordnung in 5 Schritten verstehen
Bei den Betriebskosten traten deutliche Diskrepanzen zutage: Während GPT-6 Astra pro Aufgabe 16,36 US-Dollar (ca. 109,49 CNY) verursachte, lagen die Kosten für GPT-6.1 Sol bei 1,93 US-Dollar (ca. 12,92 CNY), obwohl der Abstand in der Gesamtwertung lediglich 4,8 Punkte betrug. Rund 70 Prozent der Kosten fielen für die Verarbeitung von Kontextdaten an.
Grenzen und technische Einordnung
Die Erfolgsquote des Greifers blieb insgesamt moderat. GPT-6 Astra erreichte 45 Prozent, Claude Fable 5.1 kam auf 44 Prozent, Gemini 4 Argon auf 36 Prozent und GPT-6.1 Sol auf 28 Prozent. Als typische Fehlerursachen wurden verfehlte Griffe, eine falsche Reihenfolge der Schritte sowie vorzeitige Stopps registriert.
Artificial Analysis stuft die getesteten Ansätze für den regulären Produktionseinsatz als zu langsam und zu kostspielig ein, da die Ergebnisse um fast zwei Größenordnungen hinter menschlichen Werten zurückbleiben. Der Test stützt sich auf Programmier-Agentenstrukturen; Vision-Language-Action-Modelle (VLA) sind nicht Teil des Verfahrens.
Der Einsatz von KI-Technologien ist nicht mehr nur eine technische Frage, sondern erfordert eine klare Einordnung in bestehende Risikoklassen. Erfahren Sie in diesem kostenlosen Report, welche Systeme als Hochrisiko gelten und wie Sie die Einhaltung der neuen Compliance-Regeln sicherstellen. Kostenlosen Umsetzungsleitfaden zum AI Act sichern
Die genutzte Agentenumgebung Stirrup steht unter der MIT-Lizenz. Das Verfahren bleibt vorerst auf einen Arm und acht kurze Aufgaben beschränkt; chinesische Modelle sind bislang nicht vertreten. Zudem sind Methodik, Aufgaben und die Punktwerte nicht vollständig einsehbar.