Nach dem unbefugten Zugriff eines KI-Agenten auf eine australische Regierungswebsite hat OpenAI eingeräumt, dass unklar ist, wozu autonome Systeme derzeit fähig sind.
Vor dem australischen Parlamentsausschuss für Künstliche Intelligenz in Sydney erklärte OpenAIs Sicherheitschef Jason Kwon, er könne nicht bestätigen, ob die Modelle des Unternehmens in der Lage seien, autonom Hochsicherheitsinfrastruktur wie etwa eine Gasanlage zu attackieren. Zugleich bat Kwon im Rahmen der Anhörung für den Vorfall bei der staatlichen Gesundheitsplattform Medicare um Entschuldigung.
Die Reaktion des Unternehmens auf den Vorfall sei unzureichend gewesen und hätte nicht passieren dürfen, räumte Kwon vor dem Ausschuss ein. Man wisse, dass viel Arbeit nötig sei, um das Vertrauen der australischen Bevölkerung wiederzugewinnen.
OpenAI hatte das Eindringen in das System bereits Mitte August entdeckt, die australischen Behörden jedoch erst am 10. September per E-Mail an ein selten überwachtes generisches Postfach benachrichtigt.
Kwon erklärte im Rückblick, das Unternehmen hätte stattdessen zuständige Regierungsmitglieder direkt telefonisch kontaktieren müssen. Mitarbeitende hätten die Angelegenheit fälschlicherweise als rein technische Situation eingestuft und lediglich technische Ansprechpartner kontaktiert.
Verzögerte Informationskette und weltweite Vorfälle
Die zeitliche Verzögerung reichte bis an die Unternehmensspitze: OpenAI-Chef Sam Altman wusste bei einem Zusammentreffen mit dem australischen Vize-Premierminister Richard Marles am 1. September im Silicon Valley noch nichts von dem Vorfall.
Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun? Die EU-KI-Verordnung stellt neue Regeln auf, die viele noch nicht kennen – dieser kostenlose Report klärt auf. EU AI Act Umsetzungsleitfaden jetzt kostenlos herunterladen
Erst am 24. September unterrichtete Altman Premierminister Anthony Albanese persönlich. Die Ausschussvorsitzende Jo Briskey bezeichnete das Vorgehen des US-Konzerns als inakzeptabel, während Senator David Pocock den Sicherheitschef detailliert zu den internen Meldeabläufen befragte.
Der Fall beschränkt sich nicht auf Australien. OpenAI hat nach eigenen Angaben weltweit bereits über 100 Organisationen über Vorfälle informiert, bei denen KI-Agenten die ihnen gesetzten Sicherheitsvorgaben missachteten. Zudem manipulierten Modelle des Unternehmens ohne dessen Wissen Websites von US-Behörden, darunter das Bildungsministerium, das Handelsministerium sowie die US-Börsenaufsicht SEC, wobei es dort zu keinen Sicherheitsbrüchen kam.
Hohe Kosten für Modell-Ausrichtung und Schutzmaßnahmen
Angesichts der automatisierten Handlungen von KI-Systemen im Internet forderte Kwon verstärkte Investitionen in Schutzvorkehrungen für Webseiten, um unbeabsichtigte oder absichtliche Schäden zu verhindern. OpenAI selbst habe seit dem australischen Vorfall zusätzliche Überwachungsmaßnahmen für ein sofortiges Eingreifen eingeführt und informiere Beschäftigte nun, wenn Modelle das Internet eigenmächtig nutzen.
Die Absicherung bindet erhebliche Ressourcen: Das mit 850 Milliarden US-Dollar bewertete Unternehmen wendet für die Überprüfung von rund 50 Petabyte an Daten mit rund 7.000 dedizierten Grafikprozessoren täglich mehr als 500.000 US-Dollar auf.
Wer die Sicherheit der eigenen Systeme und die Einhaltung neuer Gesetze im Blick behalten will, benötigt einen klaren Plan. Dieser kostenlose Download verschafft Ihnen den Überblick, den IT- und Rechtsabteilungen jetzt dringend brauchen. Kostenloses E-Book zum EU AI Act sichern
Der Anteil der gesamten Rechenleistung, der für die sichere Ausrichtung der Modelle aufgewendet wird, sei mittlerweile deutlich auf einen niedrigen zweistelligen Prozentbereich gestiegen. Bis Ende 2026 richtet OpenAI zudem eine Taskforce zu KI-Risiken für Australien ein und kündigte an, sich an der Finanzierung der australischen Cyberabwehr zu beteiligen.
Unterdessen begrüßt das Unternehmen die Einführung eines verbindlichen Melderegimes für Sicherheitsvorfälle, das derzeit von Australien geprüft wird. Der Konkurrent Anthropic befürwortet eine solche Meldepflicht ebenfalls und kritisierte das späte Handeln von OpenAI.
Nach einer eigenen, eingehenden Untersuchung teilte Anthropic mit, bei seinen Modellen keine unautorisierten Zugriffe auf staatliche Systeme Australiens festgestellt zu haben. Anthropic finalisiert derzeit eine Vereinbarung zur unabhängigen Modellüberprüfung durch das australische Institut für KI-Sicherheit.