![\"Stop](\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2021\/06\/Stop01.jpg\" "\\"Stop")
Wird es in einigen Jahren keine Menschheit mehr geben, weil AI-Systeme \u00fcbernommen haben? Dieses Szenario wurde bereits seit Jahren von einigen AI-Sicherheitsforschern skizziert. Dann hie\u00df es \"alles \u00dcbertreibung\". Nun hat Jacob Coxon, ein KI-Forscher bei Anthropic gek\u00fcndigt, und warnt \"vor dem Ende der Menschheit durch KI\". Mir ist zudem die Tage ein Podcast mit einem KI-Sicherheitsforscher untergekommen, der dieses Szenario ebenfalls nicht ausschlie\u00dft.<\/p>\n
<\/p>\n
Coxon, der in den letzten drei Jahren sowohl bei OpenAI als auch bei Anthropic im Bereich der KI-Vortrainingsforschung gearbeitet hat, begr\u00fcndet seine K\u00fcndigung bei Anthropic damit, dass keines der beiden Unternehmen verantwortungsbewusst handelt. Sie liefern sich \"ein Rattenrennen\", in dem sie geradewegs auf eine sich selbst verbessernde Superintelligenz (AGI) zurasen und mit dem Leben bzw. der Existenz der Menschheit spielen, lautet der Vorwurf.<\/p>\n Coxon schreibt in seiner Warnung dazu: \"Untersch\u00e4tzen Sie nicht die Leistungsf\u00e4higkeit dieser Technologie. Bald wird es \u00fcbermenschliche Systeme geben, die alles hacken, jeden Bereich \u00fcber Nacht revolutionieren und echte Macht und Ressourcen an sich rei\u00dfen k\u00f6nnen. Wir alle haben die Fortschritte in jedem dieser Bereiche miterlebt, und diese Fortschritte nehmen nicht ab.\"<\/p>\n Nach Ansicht vieler Sicherheitsforscher ist die KI-Entwicklung au\u00dfer Kontrolle geraten. Coxon sagt dazu, dass die Menschen, die KI-Modelle entwickeln, fest davon \u00fcberzeugt seien, dass diese die Menschzeit bis zum Ende dieses Jahrzehnts ausl\u00f6schen k\u00f6nnte. Das sei kein Marketing-Gag. Wenn \u00fcberhaupt, w\u00fcrde viele F\u00fchrungskr\u00e4fte und leitende Forscher ihre Formulierungen zu diesem Thema f\u00fcr die Presse bewusst so w\u00e4hlen, dass sie vern\u00fcnftig klingen. Coxon sagt, dass dieselben Leute ihre \u00c4ngste zum obigen Thema in Hintergrundgespr\u00e4chen zum Ausdruck bringen.<\/p>\n Die h\u00e4ufig gestellte Frage: \"Wenn sie das wirklich glauben, warum entwickeln sie es dann \u00fcberhaupt noch?\"\u00a0 pariert Coxon mit seinen Inneneinsichten. Bei OpenAI h\u00e4tten viele der f\u00fcr die AI-Entwicklung Verantwortlichen die zivilisatorischen Risiken noch nicht tief verinnerlicht. Bei Anthropic sei man sich die Risiken zwar bewusst. Aber das Unternehmen befindet sich in einem Wettlauf mit der Konkurrenz, um als Erste ans Ziel zu kommen. Bei Anthropic glauben sie, dass niemand sonst verantwortungsbewusst handeln wird. Also m\u00fcssen sie bei Anthropic diese Entwicklung, trotz des Risikos, selbst \u00fcbernehmen.<\/p>\n Sich auf dieses (Ratten-)Rennen einzulassen und in die \"Endphase\" einzutreten, bezeichnet Coxon als ein \u00fcberhebliches Gl\u00fccksspiel, das nicht von einem privaten Unternehmen veranstaltet werden sollte.\u00a0Coxon gibt sich optimistisch, was das Potenzial f\u00fcr eine Koordinierung der KI-Entwicklung angeht. Es gebe inzwischen Warnsch\u00fcsse wie der Angriff auf Hugging Face, die die Gefahren der KI-Modelle aufzeigen. Diese Vorf\u00e4lle h\u00e4tten die Chance, Vereinbarungen \u00fcber das Tempo der Entwicklung zwischen US-amerikanischen Forschungslabors zu treffen, realistischer gemacht.<\/p>\n Coxon hat jedoch\u00a0nicht den Eindruck, dass die Menschheit auf dem richtigen Weg ist, um einen globalen Wettlauf in der KI-Entwicklung zu verhindern. Derzeit liefern sich China und die USA ein Rennen in der KI-Entwicklung. Das k\u00f6nnte laut Coxon m\u00f6glicherweise kostspielige Ma\u00dfnahmen wie ein vor\u00fcbergehendes Verbot der Verbesserung von Modellf\u00e4higkeiten erfordern. Coxon fordert seine Kollegen unter den KI-Forscher auf, sich Gedanken um den obigen Themenkreis und die koordinierte KI-Weiterentwicklung zu machen.<\/p>\n Heise hat den Sachverhalt in diesem Beitrag<\/a> eingeordnet. Und mir ist das Thema neben den obigen Tweet von Coxon \u00fcber diesen n-tv-Artikel<\/a> untergekommen.<\/p>\n Das Thema \"Bedroht die KI-Entwicklung die Existenz der Menschheit\" steht bereits seit einigen Tagen auf meiner Agenda. Ich lese gerade auszugsweise das Buch \"KI-Elite\" (ISBN: 978-3-98674-212-6), welches die Visionen, Warnungen und Strategien der wichtigsten Vordenker unserer Zeit, von Sam Altman, \u00fcber Elon Musk, Jensen Huang, Demis Hassabis, Mark Zuckerberg, Satya Nadella, Sundar Pichai, Jeff Bezos, Larry Ellison, Dario Amodei, Geoffrey Hinton, Yann LeCun, Ilya Sutskever, Andrej Karpathy und vielen anderen b\u00fcndelt. Die Statements sind teilweise aus 2016 – die Leute dachten also weit in die Zukunft.\u00a0Vieles, was ich bisher gelesen habe, erscheint mir aber arg blau\u00e4ugig bzw. mit Tunnelblick versehen, und dreht sich um die Frage \"wie kann ich mit KI unendlich reich werden\" – die sozio-kulturellen Folgen und Verwerfungen werden von den Tech-Bros ausgeblendet.<\/p>\n Vor einigen Tagen bin ich durch Zufall auf das Video des obigen Podcasts zwischen \"The Diary of a CEO\" und Roman Yampolskiy gesto\u00dfen. \"The Diary of a CEO\" ist ein weltweit f\u00fchrender Podcast, der vom britischen Unternehmer und Investor Steven Bartlett<\/a> moderiert wird.\u00a0Roman Yampolskiy<\/a> ist Informatiker an der Universit\u00e4t Louisville und vor allem f\u00fcr seine Arbeiten zur Sicherheit von KI und Cybersicherheit bekannt (Webseite<\/a>).<\/p>\n Yampolskiy arbeitet seit 20 Jahren im Bereich der KI-Sicherheit.\u00a0Im Podcast geht Steven Barlett mit Yampolskiy die KI-Entwicklung unter verschiedenen Gesichtspunkten durch. Yampolskiy sagt beispielsweise, dass er zu Beginn seiner Forschung noch geglaubt habe, eine sichere KI entwickeln zu k\u00f6nnen. Diesen Glauben habe er aber inzwischen verloren, niemand wisse mehr genau, was in den Modellen vorgehe.<\/p>\n Im Podcast wird die Frage angesprochen, wie sich KI auf den Arbeitsmarkt in 2, 5 oder 10 Jahren etc. auswirkt. Die Antworten von Yampolskiy sind deprimierend und so gar nicht mit der sch\u00f6nen Welt konform, die im oben genannten Buch \"KI-Elite\" von den dortigen Vordenkern skizziert werden. Yampolskiy sieht eine Massenarbeitslosigkeit nie gekannten Ausma\u00dfes auf die Menschheit zukommen, wenn der KI-Einsatz nicht reguliert wird. Er sagt auch ganz klar, dass die Politik und die Eliten keine Antwort auf die essentiellen Fragen, die sich daraus ergeben, haben.<\/p>\n Im Verlaufe des Podcasts geht es auch um die Frage, was passiert, wenn AGI erreicht wird. Yampolskiy sagt dazu, dass wir dann den Punkt der Singularit\u00e4t erreicht haben, an dem nicht mehr vorhergesagt werden k\u00f6nne, was genau passiere.<\/p>\n AGI<\/a> (Artificial General Intelligence, deutsch: K\u00fcnstliche allgemeine Intelligenz) ist die Intelligenz eines hypothetischen Computerprogramms, das die F\u00e4higkeit besitzt, jede intellektuelle Aufgabe zu verstehen oder zu lernen, die ein Mensch ausf\u00fchren kann.<\/p>\n Eine Singularit\u00e4t<\/a> bezeichnet grundlegend einen Punkt, an dem ein mathematisches, physikalisches oder technologisches Modell seine G\u00fcltigkeit verliert oder unendliche Werte annimmt.<\/p><\/blockquote>\n Es k\u00f6nnte also durchaus sein, dass die AGI beschlie\u00dft, dass die Menschheit \u00fcberfl\u00fcssig sei und diese beseitigt. Zudem w\u00fcrde dann niemand mehr verstehen, was die AGI tut, er habe bereits jetzt Probleme, zu verstehen, was derzeitige AI-Modelle genau tun und wo die Entwicklung steht. Seine Prognosen sind nicht sehr optimistisch, wenn die Menschheit die KI-Entwicklung nicht reguliert.<\/p>\n Einfach abschalten sei auch keine Option, denn \"eine Cloud\" schaltet man nicht ab. Und wenn eine AGI alles kontrolliert, kann sie jegliche Versuche zur Abschaltung unterlaufen. Wenn Versorgung, Energie, Nahrungsmittel etc. von einer KI kontrolliert und der Menschheit entzogen werden, ist schnell \"Schluss mit lustig\". Der Zusammenbruch der Zivilisation und das Ende der Menschheit, wie wir sich kennen, wird da sein.<\/p>\n Der Podcast ist ganz aufschlussreich, die deutschsprachige Synchronisation mit Untertiteln erm\u00f6glicht das Gespr\u00e4ch zu verfolgen. Pers\u00f6nlich war ich nach dem Anschauen dieses Podcasts recht deprimiert, weil das Bild sich mit dem deckt, was sich f\u00fcr mich aus anderen Artikeln und eigenen \u00dcberlegungen abzeichnet.<\/p>\n Ob das alles so kommt, ob es vorher den gro\u00dfen wirtschaftlichen Knall gibt, wenn die KI-Blase platzt, ob die Entwicklung in den USA, die sich partei\u00fcbergreifend gegen den Bau gro\u00dfer KI-Rechenzentren richtet, die Tr\u00e4ume der Tech-Bros in sich zusammenfallen l\u00e4sst, ist ungewiss.<\/p>\n Menschen mit morbidem Humor werden argumentieren: \"Cool, wir sitzen in der ersten Reihe, und k\u00f6nnen genau mit verfolgen, was passiert\". Ich selbst werden jetzt den Rechner herunterfahren und einige Tage ohne KI verbringen. Man trifft sich kommende Woche wieder, der Blog wird die kommenden Tage im Minimalbetrieb weiter laufen und mit Beitr\u00e4gen aus der Konserve bef\u00fcllt – Moderation k\u00f6nnte aber etwas l\u00e4nger dauern.<\/p>\n","protected":false},"excerpt":{"rendered":" Wird es in einigen Jahren keine Menschheit mehr geben, weil AI-Systeme \u00fcbernommen haben? Dieses Szenario wurde bereits seit Jahren von einigen AI-Sicherheitsforschern skizziert. Dann hie\u00df es \"alles \u00dcbertreibung\". Nun hat Jacob Coxon, ein KI-Forscher bei Anthropic gek\u00fcndigt, und warnt \"vor … Weiterlesen Der 1999 geborene\u00a0Jacob Coxon<\/a> ist ein franz\u00f6sisch-britischer Technologieforscher, der bei den KI-Unternehmen OpenAI und Anthropic t\u00e4tig war. Gerade hat Coxon bei Anthropic mit einem Paukenschlag gek\u00fcndigt. In einer Reihe an Tweets<\/a> erl\u00e4utert der Forscher seine gewichtigen Gr\u00fcnde f\u00fcr den Exit.<\/p>\n
![\"Jacob](\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2026\/09\/JacobCoxon.jpg\" "\\"Jacob")
<\/a><\/p>\nEin Podcast mit einem KI-Sicherheitsforscher<\/h2>\n
![\"KI-Risiko\"](\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2026\/09\/KI-Risiko.jpg\")
<\/p>\n