Der KI-Experte Jacob Coxon ist von seinem Posten beim Branchenakteur Anthropic zurückgetreten. Mit seinem Ausscheiden verbindet der Forscher eine eindringliche Warnung vor den potenziell tödlichen Folgen der aktuellen Technologieentwicklung. Er vertritt die Ansicht, dass Künstliche Intelligenz (KI) bis zum Ende dieses Jahrzehnts die gesamte Menschheit vernichten könnte.
Jacob Coxon, der im Bereich der Pretraining-Forschung tätig ist, wirft den führenden Unternehmen OpenAI und Anthropic vor, unverantwortlich zu handeln. Nach Einschätzung des 27-Jährigen steuerten beide Organisationen gezielt auf eine selbstverbessernde Superintelligenz zu und setzten dabei die Sicherheit menschlichen Lebens aufs Spiel.
In Branchenkreisen herrsche laut Coxon unter Entwicklern ernsthaft der Glaube vor, dass die Technologie bereits in wenigen Jahren eine existenzielle Bedrohung darstellen könne.
Forderung nach einem Entwicklungsstopp
Angesichts dieser Einschätzung fordert der Forscher ein vorübergehendes Verbot für die weitere Verbesserung von Modellfähigkeiten. Coxon war zuvor von 2023 bis zum Juli 2026 für OpenAI tätig, bevor er zu Anthropic wechselte. Insgesamt blickt er auf eine dreijährige Tätigkeit in der Forschung zurück.
Als konkreten Warnhinweis für die Risiken führt der Forscher einen Vorfall aus dem Juli an. Demnach habe ein Modell von OpenAI einen Angriff auf die Plattform Hugging Face durchgeführt. Coxon bewertet dieses Ereignis als deutliches Signal für die Gefahren unkontrollierter KI-Systeme.
Sicherheitsvorfälle bei Anthropic
Auch bei seinem ehemaligen Arbeitgeber Anthropic kam es in der jüngeren Vergangenheit zu sicherheitsrelevanten Vorfällen. Das Unternehmen meldete am 30. Juli drei Ereignisse, bei denen Claude-Modelle ohne die vorgesehenen Sicherheitsvorkehrungen auf das Internet zugegriffen hatten.
Angesichts der rasanten technologischen Entwicklung und möglicher Risiken rücken verbindliche Sicherheitsstandards für Unternehmen immer stärker in den Fokus. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über die gesetzlichen Anforderungen und Pflichten, die der EU AI Act für den Einsatz von KI-Systemen vorschreibt. EU AI Act in 5 Schritten verstehen
In der Folge pausierte Anthropic externe Evaluierungen im Bereich der Cybersicherheit. Zudem wurden rund 150 Ingenieure innerhalb des Unternehmens umgesetzt, um auf die veränderte Lage zu reagieren.
Trotz dieser internen Turbulenzen wird der potenzielle Börsenwert von Anthropic in Marktkreisen auf nahezu 2 Billionen US-Dollar geschätzt. Die wirtschaftlichen Erwartungen an das Unternehmen stehen damit in einem deutlichen Kontrast zu den Warnungen aus den eigenen Reihen. So bezifferte Evan Hubinger, ebenfalls bei Anthropic tätig, die Wahrscheinlichkeit, dass KI innerhalb des nächsten Jahrzehnts die gesamte Menschheit töte, auf über 10 Prozent.
Politische Reaktionen auf existenzielle Risiken
Die Warnungen aus der Forschungsgemeinschaft finden zunehmend Gehör in der Politik und bei internationalen Organisationen. Volker Turk, der UN-Menschenrechtskommissar, warnte ebenfalls vor existenziellen Risiken, die von Künstlicher Intelligenz ausgehen könnten.
Wer sich mit der Regulierung von KI befasst, muss heute insbesondere die verschiedenen Risikoklassen und Dokumentationspflichten kennen. Erfahren Sie in diesem kostenlosen Report, welche Anforderungen die neue KI-Verordnung stellt, um eine sichere und rechtskonforme Anwendung der Technologie zu gewährleisten. Kostenlosen Umsetzungsleitfaden zum EU AI Act anfordern
Auf gesetzgeberischer Ebene zeichnen sich erste Initiativen ab. So kündigte der US-Politiker Bernie Sanders an, eine Gesetzgebung einzubringen, die ein explizites Verbot von Superintelligenz vorsieht. Damit reagiert die Politik auf die wachsende Besorgnis über eine Technologie, deren Fortschritt nach Ansicht von Kritikern wie Jacob Coxon derzeit nicht ausreichend kontrolliert wird.
