![\"Copilot\"](\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2025\/04\/image-4.png\" "\\"Edge\\"")
Heute noch einige Informationen aus dem Bereich AI. Analyst Miles Deutscher hat sich die Sicherheitsvorf\u00e4lle der letzten 12 Monate im AI-Bereich angesehen und schl\u00e4gt Alarm. Zwei KI-Entwickler sind die letzten Tage aus ihrem Job ausgeschieden. LLMs versagten bei Tests gravierend in der Sicherheit, St\u00f6rungen bei AI-L\u00f6sungen im Medizinbereich nehmen zu, und Forscher sehen in KI ein Risiko f\u00fcr den Zusammenbruch ganzer Systeme.<\/p>\n
<\/p>\n
Ich habe mal die einzelnen Vorf\u00e4lle herausgezogen und aufbereitet. Hier die Liste dieser Vorf\u00e4lle, die zeigt,\u00a0 dass die Entwicklung nicht im Griff ist.<\/p>\n OpenAI hat seit 2024 drei Sicherheitsteams aufgel\u00f6st. Jedes gro\u00dfe KI-Modell (Claude, GPT, Gemini, Grok, DeepSeek) hat in kontrollierten Tests ausnahmslos Erpressung, T\u00e4uschung oder Widerstand gegen die Abschaltung gezeigt. Die Frage ist nicht mehr, ob KI versuchen wird, sich selbst zu erhalten, schlie\u00dft Deutscher. Die Frage ist, ob wir uns darum k\u00fcmmern werden, bevor es darauf ankommt?<\/p>\n Aktuell ist Cloud Code ja als Plattform f\u00fcr die Software-Entwicklung recht popul\u00e4r. Softwareentwickler speichern Passw\u00f6rter, Tokens, API-Schl\u00fcssel und andere Anmeldedaten h\u00e4ufig in .env-Dateien innerhalb von Projektverzeichnissen. Diese Informationen d\u00fcrfen nicht \u00f6ffentlich werden, da sie als Geheimnisse eingestuft werden.<\/p>\n Durch Erstellung eines Eintrags in einer .gitignore-Datei, der die Git-Software des Entwicklers anweist, diese Datei beim Kopieren eines lokalen Repositorys auf einen Remote-Server zu ignorieren, k\u00f6nnen diese Geheimnisse normalerweise gesch\u00fctzt werden.<\/p>\n Gibt ein Entwickler aber Cloud Code Zugriff auf sein Repository, setzt er sich der Gefahr aus, dass die Geheimnisse in den Code eingef\u00fcgt und \u00f6ffentlich werden. Claude Code verwendet zwar auch eine .claudeignore<\/em>-Datei, um Geheimnisse zu sch\u00fctzen. The Register berichtet in diesem Artikel<\/a>, dass beim Einsatz von Cloud Code das Risiko besteht, dass die .env-Dateien trotz Ausschluss gelesen und weiter verarbeitet werden. Das birgt das Risiko, dass Geheimnisse wie Anmeldedaten mit ver\u00f6ffentlicht werden.<\/p>\n Passt gerade: In diesem Artikel<\/a> berichten Forscher von einem Experiment, durch Einsatz von KI-Agenten die Erkennung von Malware in Software zu verbessern. Die KI sollte nach Hintert\u00fcren in Bin\u00e4rdateien – ohne Zugriff auf den Quellcode – suchen. Das Claud Opus-Modell schnitt mit einer Erkennungsrate von 49 % am Besten von allen LLMs ab. Aber nicht wirklich \u00fcberzeugend.<\/p>\n Und noch ein kleiner Info-Splitter: In diesem Tweet<\/a> berichtet jemand ganz stolz, dass Claude gerade seine \u00fcberf\u00e4lligen deutschen Umsatzsteuererkl\u00e4rungen f\u00fcr das dritte Quartal 2025 eingereicht habe. Er habe Claude Cowork und die Claude Chrome-Erweiterung verwendet, komplett handels\u00fcbliche Produkte von Anthropic. Er habe Cowork gestartet und gebeten, im Projektordner die PDFs seiner Rechnungen und Belege\u00a0 auszuwerten und f\u00fcr die Umsatzsteuererkl\u00e4rung vorzubereiten. Dann habe er sich beim Steuerportal Elster angemeldet und die KI gebeten, die entsprechenden Formulare zu suchen, auszuf\u00fcllen und einzureichen. Was kann da schon schief gehen?<\/p><\/blockquote>\n Die US Food and Drug Administration (FDA) ist f\u00fcr die Zulassung von Medizinger\u00e4ten zust\u00e4ndig. Seit 1995 hat die FDA 1.357 medizinische Ger\u00e4te zugelassen, die irgendwie KI-Funktionen beinhalten oder verwenden (wobei vor 2016 wohl noch keine LLMs verwendet wurden).<\/p>\n Die Woche bin ich auf obigen, interessanten Tweet<\/a> gesto\u00dfen, der die gezeigte Grafik mit der sprunghaften Zunahme der medizinischen Ger\u00e4te mit AI-Nutzung durch die FDA zeigt.<\/p>\n Allgemein herrscht ja der Glaube, dass KI in Ger\u00e4ten f\u00fcr \"bessere Funktionen\" sorgt. Medizinproduktehersteller bem\u00fchen sich daher, ihre Produkte mit KI auszustatten, da dies in Marketingmaterialien und Investorenpr\u00e4sentationen gut ankommt.<\/p>\n Obiger Tweet besagt, dass der US-Hersteller Johnson & Johnson im Jahr 2021 sein TruDi-Navigationssystem f\u00fcr Nasennebenh\u00f6hlenoperationen um KI erweitert hat. Seit dieser Einf\u00fchrung gingen bei der FDA Berichte \u00fcber mindestens 100 Fehlfunktionen und unerw\u00fcnschte Ereignisse ein. In der Zeit vor der Erweiterung des Systems um KI waren es acht F\u00e4lle.<\/p>\n Mindestens zehn Patienten wurden, laut den Meldungen \u00fcber KI-Fehlfunktionen, verletzt. Zwei Personen erlitten einen Schlaganfall, nachdem Chirurgen versehentlich Halsschlagadern besch\u00e4digt hatten, w\u00e4hrend das System sie angeblich falsch \u00fcber die Position ihrer Instrumente im Kopf der Patienten informiert hatte.<\/p>\n In einer Klage wird behauptet, dass der US-Hersteller Johnson & Johnson KI als Marketinginstrument in TruDi integriert habe, um zu behaupten, es verf\u00fcge \u00fcber eine \"neue und neuartige Technologie. Es habe sich vor der Auslieferung ein Ziel von nur 80 % Genauigkeit gesetzt. F\u00fcr eine Software, die einem Chirurgen mitteilt, wo sich sein Instrument im Sch\u00e4del eines Patienten befindet, ist dies jedoch nicht ausreichend.<\/p>\n Forscher haben herausgefunden, dass 43 % der R\u00fcckrufe f\u00fcr diese Ger\u00e4te weniger als ein Jahr nach der Zulassung erfolgten. Dies ist ein doppelt so hoher Wert als bei Ger\u00e4ten ohne KI. Der Drang, KI in alle Produkte zu integrieren, \u00fcbersteigt die F\u00e4higkeit der Menschen, zu beurteilen, ob dies sicher ist. Im Medizinsektor werden die Patienten die Zeche m\u00f6glicherweise mit ihrer Gesundheit oder ihrem Leben bezahlen.<\/p>\n Die Tage haben prominente KI-Entwickler ihre Unternehmen – wohl aus ethischen Gr\u00fcnden – verlassen. In nachfolgendem Tweet<\/a> gibt Zo\u00eb Hitzig, Sicherheitsforscherin bei OpenAI, bekannt, dass sie das Unternehmen verlassen habe. Das ist der Tag, an dem OpenAI mit dem Schalten von Werbung begonnen hat. Sie verlinkt auf einen New York Times-Artikel<\/a> (Paywall), und schrieb in obigem Tweet: \"Ich habe am Montag bei OpenAI gek\u00fcndigt. Am selben Tag haben sie damit begonnen, Anzeigen in ChatGPT zu testen. OpenAI verf\u00fcgt \u00fcber die detailliertesten Aufzeichnungen privater menschlicher Gedanken, die jemals zusammengestellt wurden. K\u00f6nnen wir darauf vertrauen, dass sie der Versuchung widerstehen, diese Daten zu missbrauchen?\" Zo\u00eb Hitzig will zuk\u00fcnftig Gedichte schreiben. K\u00f6nnte eine private Entscheidung sein, mal was anderes zu machen. Aber im Kontext des von ihr ver\u00f6ffentlichten Artikels in der New York Times-Artikel l\u00e4sst es tief blicken, was hinter den Kulissen von OpenAI abgeht.<\/p>\n Am 9. Februar 2026 hat Mrinank Sharma (Head of Safeguards Research bei Anthropic) das Unternehmen verlassen. In einem vielbeachteten Tweet<\/a> hat er einen Brief ver\u00f6ffentlicht, in dem die Gr\u00fcnde offen gelegt werden. Unter dem Begriff \"The world is in peril.\" schreibt er, dass die Welt nicht nur durch AI, sondern durch eine Kette verbundener Krisen (Biowaffen, andere Katastrophen, kommerzieller Druck, die Werte verdr\u00e4ngen) in Gefahr sei. Er kritisiert implizit, dass in Unternehmen oft \"what matters most\" (Sicherheit, Ethik, Werte) unter kommerziellem\/gesellschaftlichem Druck zur\u00fcckgestellt wird. Sein Schluss: Menschliche Weisheit muss mit unserer wachsenden Macht Schritt halten \u2013 sonst drohen Konsequenzen. Statt weiter im AI-Safety-Bereich zu bleiben, will er Poesie studieren und schreiben. Er betont in Antworten, dass er nun freier sprechen kann als w\u00e4hrend seiner Antrophic-Zeit.<\/p>\n Nun noch eine kurze \u00dcbersicht \u00fcber Meldungen rund um KI-Themen, die mir untergekommen sind. Meist Warnungen von Fachleuten, oder Meldungen von Untersuchungen \u00fcber die Ergebnisse des KI-Einsatzes.<\/p>\n Geht man die Fundsplitter durch, finden sich nicht wirklich die von Firmen und Protagonisten viel beschworenen Vorteile. Sondern es tun sich Abgr\u00fcnde auf, die die gesamte KI-Entwicklung in Frage stellen. Scheint aber niemanden in der KI-Blase zu interessieren – und es bleibt die Frage, ob es \"bei Unkenrufen\" bleibt, oder ob wir auch da auf einen Crash zusteuern.<\/p>\n Und als letzte Meldung: Microsoft will sich nun aus der Abh\u00e4ngigkeit von OpenAI (als Geldverbrennungsmaschine) l\u00f6sen und eigene AI-Modelle entwickeln. Zudem setzen die auch auf Antrophic. Dr. Windows hat es in diesem Artikel<\/a> aufgegriffen.<\/p>\n","protected":false},"excerpt":{"rendered":" Heute noch einige Informationen aus dem Bereich AI. Analyst Miles Deutscher hat sich die Sicherheitsvorf\u00e4lle der letzten 12 Monate im AI-Bereich angesehen und schl\u00e4gt Alarm. Zwei KI-Entwickler sind die letzten Tage aus ihrem Job ausgeschieden. LLMs versagten bei Tests gravierend … Weiterlesen Miles Deutscher ist Kryptow\u00e4hrungsanalyst mit mehr als 350.000 Followern auf der Plattform X. Die Woche bin ich auf einen Tweet von ihm gesto\u00dfen, der aufhorchen l\u00e4sst (obwohl es Insidern bekannt ist). Er hat sich die Sicherheitsvorf\u00e4lle der letzten 12 Monate im AI-Bereich angesehen.Das Ergebnis, welches er in folgendem Tweet<\/a> wiedergibt, ist ziemlich deprimierend. Die Kurzfassung: Da ist was geh\u00f6rig au\u00dfer Kontrolle geraten.<\/p>\n
![\"AI-Sicherheitsvorf\u00e4lle\"](\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2026\/02\/image-65.png\")
<\/a><\/p>\n\n
Cloud Code ignoriert Regeln zum Schutz vor Geheimnissen<\/h2>\n
KI in medizinischen Ger\u00e4ten sorgt f\u00fcr R\u00fcckrufe<\/h2>\n
![\"AI](\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2026\/02\/image-66.png\")
<\/a><\/p>\nForscher verlassen KI-Firmen<\/h2>\n
\n![\"KI-Entwickler](\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2026\/02\/image-67.png\")
<\/a><\/p>\nWarnungen von Fachleuten und AI-Slop<\/h2>\n
![\"AI-Sicherheitsfirma](\"https:\/\/borncity.com\/blog\/wp-content\/uploads\/2026\/02\/image-68.png\")
<\/a><\/p>\n\n