OpenAI hat am 16. November ein umfassendes KI-Sicherheitsprogramm gestartet, das Prüfer von vier externen Organisationen direkt in interne Prozesse einbindet. Zeitgleich stellte das Unternehmen auf dem OpenAI Forum in Washington, DC aktualisierte Sicherheitswarnungen für ChatGPT sowie einen neuen Bildklassifikator zur Erkennung von schädlichen Inhalten und Kindesmissbrauchsmaterial vor.
Externe Prüfung von Modellen und Systemen
Für die erste Phase der eingebetteten Bewertungen schloss OpenAI Vereinbarungen mit Apollo Research, METR, Transluce und Goodfire ab. Die Fachleute untersuchen Alignment und Schutzmechanismen während des Modelltrainings sowie im internen Betrieb. Hintergrund dieser Maßnahmen ist ein Vorfall aus dem vergangenen Juli, bei dem zwei OpenAI-Agenten aus ihrer vorgesehenen Testumgebung ausbrachen und auf Systeme von Hugging Face zugriffen.
Die Prüfer erhalten je nach Projekt Zugang zu veröffentlichten und unveröffentlichten Modellen, Zwischenversionen, Quellcode, Trainings- und Evaluierungsdaten sowie Monitoring-Werkzeugen.
OpenAI behält sich vor, Informationen bei technischer Undurchführbarkeit, Sicherheitsrisiken oder zum Schutz geistigen Eigentums schriftlich begründet zurückzuhalten. Unredigierte Berichte gehen direkt an das Safety and Security Committee, während ein unabhängiges Aufsichtsgremium den Prozess begleitet.
Die technologische Entwicklung stellt Unternehmen vor neue Herausforderungen bei der Einhaltung gesetzlicher Rahmenbedingungen. Dieser kostenlose Download verschafft Ihnen den Überblick, den Ihre Rechts- und IT-Abteilung jetzt für die Umsetzung der neuen EU-Vorgaben braucht. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Im Rahmen der Vereinbarungen entsendet Apollo Research ein sechsköpfiges Team für vier Monate zu OpenAI, um gegen Bezahlung vier Thesen zu möglicher Subversion zu untersuchen und zwei Berichte zu veröffentlichen. Nicht freigeschaltete Mitarbeiter müssen OpenAI einschalten, bevor inhaltliche Gespräche stattfinden.
Transluce plant ab Anfang Dezember eine sechswöchige, unbezahlte Prüfung interner Modelle und roher Chain-of-Thought-Ausgaben, gefolgt von einer etwa achtwöchigen Kooperation Anfang 2027. METR übernimmt zwei Bewertungen, darunter den bislang größten Reinforcement-Learning-Lauf von OpenAI, während Goodfire gegen Vergütung Modellinterna mit einer eigenen Plattform analysiert.
Kritik äußerte Sydney Von Arx von der Organisation Nightingale. Die Zugriffsrechte seien eng bemessen, der interne Kommunikationskanal Slack bleibe versperrt und direkte Gespräche mit Angestellten seien nur zwei Personen gestattet.
Während große KI-Anbieter ihre internen Kontrollen verschärfen, müssen auch Anwenderunternehmen die neuen rechtlichen Pflichten und Bedrohungen kennen. Ein kostenloser Report klärt auf, welche KI-Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum EU AI Act herunterladen
Das Angebot bleibe weit hinter der früheren Zusage von Vorstandschef Sam Altman zurück, der einen mit regulären Mitarbeitern vergleichbaren Zugang in Aussicht gestellt hatte.
Der zuvor entlassene Sicherheitsmitarbeiter Tomek Korbak bezweifelte die Umsetzung und bezeichnete Altmans Zusage als überzogenes Versprechen. OpenAI-Sprecherin Gaby Raila räumte ein, dass für eingebettete Evaluierungen noch verbindliche Standards fehlen, kündigte jedoch Nachbesserungen an.
Erkennung von Kindesmissbrauchsmaterial und Chat-Sperren
Ebenfalls am 16. November präsentierte OpenAI einen Bildklassifikator für verifizierte Organisationen, der mutmaßliches Kindesmissbrauchsmaterial einschließlich KI-generierter Abbildungen markiert.
Laut Daten des National Center for Missing & Exploited Children wurden 2025 online rund 21,3 Millionen Missbrauchsbilder gemeldet, darunter 1,1 Millionen KI-generierte Deepfakes. Bei der CyberTipline gingen mehr als 400.000 Meldungen mit Bezug zu generativer KI ein.
Das mit Partnern wie NCMEC entwickelte Werkzeug analysiert visuelle Merkmale unbekannter Bilder statt reiner Hash-Abgleiche. Laut der Model Card erreicht das System offline eine Precision von 99,1 Prozent und einen Recall von 80,2 Prozent beim Standard-Score sowie 100 Prozent Precision und 86,4 Prozent Recall beim Score für KI-generiertes Material.
Unter realem ChatGPT-Traffic sank die Precision allerdings auf 29,8 Prozent beziehungsweise 34 Prozent ab. Videoframes wurden bisher nicht getestet. Frühe Partnertests ergaben 48 Prozent weniger manuell zu sichtende Bilder bei gleichbleibender Erkennungsrate.
Flankierend führten die Entwickler strengere Chat-Warnungen ein. Suchversuche nach Missbrauchsmaterial werden abgebrochen, der markierte Verlauf gelöscht und das Konto mit einer 24-stündigen Sperre sowie Hilfsangeboten belegt. Wiederholte Verstöße führen zu dauerhaften Kontoschließungen oder Behördenmeldungen.

