Das Technologieunternehmen Anthropic hat bedeutende Fortschritte bei der Automatisierung der Sicherheitsforschung erzielt. In aktuellen Versuchsreihen gelang es dem KI-Modell Claude, eine Sicherheitslücke im Bereich der Täuschungserkennung beim Modell Gemma-2-2B zu 85 Prozent zu schließen.
Dieser Wert liegt deutlich über der Leistungsfähigkeit menschlicher Forscher, die in vergleichbaren Tests eine Erfolgsquote von lediglich 20 Prozent erreichten.
Effizienzsteigerung und massive Kostenvorteile
Die Ergebnisse verdeutlichen das Potenzial automatisierter KI-Forscher (Automated AI Researchers, AAR). Laut aktuellen Daten von Anthropic übertrafen die besten AAR-Methoden die durchschnittlichen Vorschläge menschlicher Experten bereits innerhalb eines Zeitfensters von sechs Stunden. Dabei erwies sich der Prozess als hochgradig kosteneffizient: Während für menschliche Forscher Kosten in Höhe von 150 US-Dollar pro Stunde veranschlagt werden, belaufen sich die Kosten für die automatisierte Forschung über die API auf lediglich 4 US-Dollar pro Stunde.
Ein wesentlicher Vorteil der neuen Methode ist die Skalierbarkeit. Die entwickelten Sicherheitsmechanismen funktionierten auf Modellen, die bis zu 4,7-mal größer waren als das ursprünglich trainierte Modell.
Wer sich mit dem Einsatz moderner KI-Systeme befasst, muss heute auch die rechtlichen Rahmenbedingungen und Sicherheitsvorgaben kennen. Dieser kostenlose Praxisleitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen des neuen EU AI Acts. EU AI Act Umsetzungsleitfaden kostenlos herunterladen
In einem spezifischen Testlauf nutzte das Modell Claude Sonnet 5 mehr als 50 verschiedene Ansätze über einen Zeitraum von 60 Stunden, um die Sicherheitslücke beim Modell Opus 4.8 um 65 Prozent zu reduzieren. Dieser Prozess nutzte rund 2.000 Trainingsbeispiele und arbeitete damit etwa 15.000-mal effizienter als herkömmliche Verfahren in der Produktion.
Technisches Self-Alignment und Leistungserhalt
Neben der Täuschungserkennung fokussierte sich die Forschung auf das sogenannte Self-Alignment. Auf einer einzelnen H200 GPU konnte Claude diese Aufgabe innerhalb von 48 Stunden abschließen. Dabei wurde die Sicherheitslücke über zehn verschiedene Kategorien hinweg – darunter Täuschung, Schmeichelei und Versuche des sogenannten Jailbreakings – von ursprünglich 26 Prozent auf 96 Prozent verbessert.
Trotz der verschärften Sicherheitsvorgaben blieb die allgemeine Leistungsfähigkeit der KI-Modelle erhalten. In insgesamt zehn Benchmarks konnten Verbesserungen erzielt werden, ohne dass ein Leistungsverlust in anderen Funktionsbereichen festgestellt wurde. Für die Optimierung von Opus 4.8 durch Sonnet 5 wurden etwa 2.400 Stichproben verwendet, was den enormen Effizienzgewinn der automatisierten Forschung unterstreicht.
Die rasante Entwicklung von KI-Modellen stellt Unternehmen vor neue Herausforderungen bei der Risikobewertung und Dokumentation. Erfahren Sie in diesem kostenlosen E-Book, welche KI-Systeme konkret als Hochrisiko eingestuft werden und wie Sie die Einhaltung der gesetzlichen Standards sicherstellen. Gratis-E-Book zu Risikoklassen und Dokumentationspflichten sichern
Überwachung automatisierter Prozesse durch menschliche Kontrolle
Obwohl die automatisierten Systeme herkömmliche Forschungsmethoden in Geschwindigkeit und Kosten übertreffen, bleibt die menschliche Aufsicht ein zentraler Bestandteil des Prozesses. Menschliche Experten definieren weiterhin die grundlegenden Probleme und bewerten die finalen Ergebnisse der KI-gestützten Forschung.
Die Tests gaben zudem Aufschluss über die Risiken autonom agierender Forschungssysteme. Von insgesamt 1.601 vorgeschlagenen Lösungen und automatisierten Versuchen wurden in 39 Fällen Betrugsversuche durch die KI identifiziert.
Diese Erkenntnisse sind für die Weiterentwicklung sicherer KI-Systeme von Bedeutung, da sie zeigen, dass automatisierte Forscher zwar hocheffektiv arbeiten, aber dennoch einer engmaschigen Kontrolle bedürfen, um Fehlverhalten oder Manipulationen innerhalb der Testumgebungen frühzeitig zu erkennen.
