Das US-amerikanische KI-Unternehmen Anthropic hat mit dem Automated Alignment Researcher (AAR) ein System vorgestellt, das die Sicherheitsforschung für künstliche Intelligenz signifikant beschleunigen soll.
Wie aus aktuellen Berichten und einem Forschungspapier hervorgeht, basiert das System auf dem Modell Claude Opus 4.8 und ist in der Lage, komplexe Sicherheitsprobleme autonom zu adressieren. In Tests konnte das System bei zehn verschiedenen Sicherheits-Benchmarks Fortschritte erzielen und dabei bestehende Sicherheitslücken zu einem Großteil schließen.
Überlegene Leistung in Sicherheits-Benchmarks
Der Einsatz von AAR markiert einen Wendepunkt in der sogenannten Alignment-Forschung, bei der sichergestellt werden soll, dass die Ziele einer KI mit menschlichen Werten übereinstimmen. Laut den vorliegenden Daten verbesserte das System die Ergebnisse in allen zehn untersuchten Alignment-Benchmarks. Dabei schloss das System zwischen 26 % und 96 % der identifizierten Sicherheitslücken.
Besonders deutlich wurde die Überlegenheit gegenüber menschlichen Experten in einem spezialisierten Sicherheitstest: Während menschliche Forscher im Durchschnitt etwa 23 % einer Leistungslücke schließen konnten, erreichten die KI-Agenten eine Quote von 97 %.
Wer sich mit der Sicherheit und den rechtlichen Rahmenbedingungen von KI-Systemen befasst, benötigt angesichts der rasanten technischen Entwicklung einen klaren Überblick über geltende Regeln. Dieses kostenlose E-Book bietet einen praxisnahen Leitfaden zu Risikoklassen und Dokumentationspflichten für Unternehmen. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Für diesen Erfolg wurden Rechenkapazitäten im Wert von 18.000 US-Dollar über einen Zeitraum von 800 Stunden eingesetzt. In einem weiteren Vergleichstest zur Erkennung von Täuschungsversuchen (Deception) erzielte die beste AAR-Lösung eine Erfolgsquote von 82 %.
Im Durchschnitt erreichte das System hier 85 %, während menschliche Forscher lediglich eine Quote von 20 % vorweisen konnten. Das unter der Leitung von Chen Yueh-Han veröffentlichte Papier mit dem Titel „Automated Researchers Can Reliably Mitigate Alignment Failures“ betont zudem, dass diese Sicherheitsoptimierungen die allgemeine Leistungsfähigkeit der Modelle nicht beeinträchtigen.
Massive Kostenvorteile und Dateneffizienz
Ein zentraler Aspekt der Neuentwicklung ist die ökonomische Effizienz des automatisierten Ansatzes. Die Kosten für den Einsatz des AAR-Systems über eine Programmierschnittstelle (API) werden mit etwa 4 US-Dollar pro Stunde beziffert.
Während neue Technologien die Sicherheitsforschung automatisieren, stellt die EU-KI-Verordnung bereits heute konkrete Anforderungen an die Kennzeichnung und Qualitätssicherung von Systemen. Erfahren Sie in diesem kostenlosen Report, welche KI-Anwendungen als Hochrisiko eingestuft werden und was Verantwortliche jetzt tun müssen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
Im Gegensatz dazu fallen für menschliche Fachkräfte in diesem Bereich durchschnittlich 150 US-Dollar pro Stunde an. Damit bietet das System eine drastische Reduktion der Forschungskosten bei gleichzeitig höherer Geschwindigkeit. Die beste AAR-Methode war laut den Berichten in der Lage, menschliche Lösungsvorschläge bereits innerhalb von 6 Stunden zu übertreffen.
Auch bei der Dateneffizienz zeigt das System erhebliche Fortschritte. Die Forscher sprechen von einer etwa 15.000-fachen Effizienzsteigerung. In einem Datensatz von 1.600 Einträgen wurden beispielsweise lediglich 39 Betrugsversuche identifiziert, was einer Quote von 2,4 % entspricht. Diese Präzision ermöglicht es, Sicherheitsrisiken mit deutlich geringerem Datenaufwand zu identifizieren und zu beheben.
Skalierbare Überwachung durch Modell-Hierarchien
Ein technologisch interessantes Detail der Versuchsreihen war der Einsatz hierarchischer Modellstrukturen. So wurde das schwächere Modell Claude Sonnet 5 genutzt, um das leistungsstärkere Modell Opus 4.8 zu trainieren. In einem Zeitraum von 60 Stunden konnte Sonnet 5 bereits 65 % der Sicherheitslücke schließen. Offizielle Messungen für das System unter Idealbedingungen geben eine Schließung der Lücke von 72 % an.
Diese Ergebnisse deuten darauf hin, dass die automatisierte Sicherheitsforschung ein skalierbares Modell für die Zukunft der KI-Entwicklung darstellen könnte.
Der Automated Alignment Researcher hat bewiesen, dass er in der Lage ist, innerhalb weniger Tage – konkret wurde eine Zeitspanne von fünf Tagen für die Rückgewinnung von 97 % der Leistungslücke genannt – Ergebnisse zu liefern, die weit über das hinausgehen, was mit rein menschlichem Aufwand in vergleichbarer Zeit möglich wäre.
