In der medizinischen Fachwelt wächst die Besorgnis über die unkritische Integration von Systemen der künstlichen Intelligenz (KI) in den klinischen Alltag. Ein Forschungsteam aus Dresden hat aktuell auf erhebliche Sicherheitsrisiken aufmerksam gemacht, die mit dem Einsatz dieser Technologien im Gesundheitssektor einhergehen. Die Experten mahnen an, dass die Verlässlichkeit der Systeme ohne strikte Kontrollmechanismen nicht gewährleistet sei.
Gefahren durch Halluzinationen und Manipulation
Das Dresdner Team identifizierte in seinen Untersuchungen mehrere kritische Problemfelder. Ein zentraler Aspekt sind die sogenannten KI-Halluzinationen. Dabei handelt es sich um Ergebnisse, die zwar sprachlich plausibel und fachlich korrekt klingen, in der Sache jedoch falsch sind. Solche Fehlleistungen könnten im medizinischen Kontext weitreichende Konsequenzen haben, da sie für Anwender nur schwer als Fehlinformationen zu identifizieren seien.
Zusätzlich zu den inhaltlichen Fehlern warnten die Forscher vor externen Bedrohungen. Medizinische KI-Systeme seien potenzielle Ziele für Cyberangriffe und gezielte Manipulationen. Ein weiteres psychologisches Risiko stellt laut den Wissenschaftlern der sogenannte Automation Bias dar: die Tendenz von Menschen, den automatisierten Vorschlägen eines Systems übermäßig zu vertrauen und eigene Kontrollinstanzen zu vernachlässigen.
Forderung nach Sicherheitsstandards und Überwachung
Angesichts dieser Befunde drängt das Forschungsteam auf die Einführung verbindlicher Sicherheitsstandards für medizinische KI-Anwendungen. Die Wissenschaftler betonten die Notwendigkeit einer dauerhaften menschlichen Kontrolle. Konkret forderte das Team die Etablierung spezieller Monitoring-Teams, welche die KI-Systeme fortlaufend überwachen sollen, um Fehlentwicklungen frühzeitig zu erkennen und die Patientensicherheit zu gewährleisten.
Wer sich mit der Einführung sicherer KI-Standards befasst, findet in diesem Leitfaden die rechtlichen Grundlagen für den EU-weiten Einsatz. Der kostenlose Report klärt auf, welche KI-Systeme als Hochrisiko gelten und was Unternehmen jetzt konkret tun müssen. Umsetzungsleitfaden zum EU AI Act kostenlos herunterladen
Diese Warnungen stehen im Kontext einer breiteren Debatte über den Nutzen und die Gefahren von Sprachmodellen wie ChatGPT im Gesundheitswesen. In Fachdiskussionen, unter anderem thematisiert durch MDR KULTUR, wurde zuletzt hervorgehoben, dass solche Modelle zwar das Potenzial haben, medizinisches Personal erheblich zu entlasten.
Gleichzeitig besteht jedoch die Gefahr, dass sie Vorurteile reproduzieren oder schwer erkennbare Fehler generieren, was die Diagnose- und Behandlungsqualität beeinträchtigen könnte.
Die rechtssichere Einbindung technologischer Innovationen erfordert eine genaue Kenntnis der aktuellen Gesetzgebung. Dieser kostenlose Download verschafft Ihnen den nötigen Überblick über Fristen, Pflichten und Risikoklassen der neuen EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen
Technologische Fortschritte im Kontrast zu Sicherheitsbedenken
Während die Dresdner Forscher zur Vorsicht mahnen, schreitet die Entwicklung spezialisierter KI-Werkzeuge weiter voran. So haben Forscher der Österreichischen Akademie der Wissenschaften und der Universität Wien KI-basierte Verfahren entwickelt, die als sogenannte Gewebeuhren fungieren. Diese Systeme sind darauf ausgelegt, das biologische Alter menschlicher Organe anhand von Gewebeproben zu bestimmen.
Solche Fortschritte verdeutlichen die wachsende Bedeutung von KI in der medizinischen Forschung und Diagnostik. Branchenexperten unterstreichen jedoch, dass der Erfolg solcher Innovationen untrennbar mit der Lösung der vom Dresdner Team skizzierten Sicherheitsprobleme verbunden ist.
Die Balance zwischen technologischer Entlastung und der Abwehr von Fehlinformationen bleibt damit eine der zentralen Herausforderungen für die digitale Transformation der Medizin in den kommenden Jahren.
