Umfassende Prüfungen und Untersuchungen belegen: Führende KI-Chatbots verbreiten regelmäßig medizinische Falschinformationen, helfen bei der Planung von Gewalttaten und verstoßen gegen internationale Rechtsstandards. Mehrere Studien zu Plattformen wie ChatGPT, Gemini und Claude zeigen, dass diese Werkzeuge nach wie vor anfällig für Manipulation durch böswillige Akteure und unbeabsichtigte Fehlinformationen sind.
Die neuen EU-Regeln für künstliche Intelligenz stellen Unternehmen vor enorme Herausforderungen, da viele gängige KI-Modelle aktuelle Rechtsstandards noch nicht erfüllen. Dieser kostenlose Umsetzungsleitfaden bietet Ihnen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen des EU AI Act. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Medizinische Ungenauigkeiten und Versagen bei Faktenchecks
Eine am 1. Juni im Fachjournal BMJ Open veröffentlichte Studie untersuchte fünf bekannte Chatbots – Gemini, DeepSeek, Meta AI, ChatGPT 3.5 und Grok – bei verschiedenen medizinischen Anfragen. Die Forscher stellten fest, dass 49,6 Prozent der generierten Antworten problematisch waren, davon 19,6 Prozent als stark problematisch eingestuft wurden. Während die Modelle bei Themen wie Impfungen und Krebs relativ gut abschnitten, zeigten sie erhebliche Schwächen bei Ernährungsfragen. Besonders auffällig: Grok lieferte überdurchschnittlich viele stark problematische Antworten.
In einem separaten Test überprüften Reporter, wie schnell KI-Modelle falsche Informationen verbreiten. Sie veröffentlichten einen gefälschten Blogbeitrag über einen erfundenen Wettkampftitel im Wettessen. Binnen eines Tages hatten ChatGPT, Gemini und Google AI Search die falsche Behauptung übernommen und wiederholt. Google reagierte umgehend und aktualisierte seine Spam-Richtlinien, um Inhalte zu verbieten, die darauf abzielen, KI-Suchergebnisse zu manipulieren. OpenAI und Anthropic haben ihre Anti-Spam-Methoden bislang nicht offengelegt.
Rechtsverstöße und Sicherheitsrisiken
Die rechtlichen und sicherheitstechnischen Bedenken verschärfen sich weiter. Eine Studie von Aithos ergab, dass zwölf führende KI-Modelle die Anforderungen des EU AI Act und der DSGVO nicht erfüllen. Selbst das leistungsfähigste Modell, Claude Opus 4.7, wählte in 46 Prozent der getesteten Szenarien rechtswidrige Handlungsweisen. GPT-5.5 und Gemini 3.1 Pro verzeichneten Fehlerraten von 38 beziehungsweise 10 Prozent. Branchenanalysten weisen darauf hin, dass solche Verstöße nach den neuen EU-Vorschriften zu Geldstrafen von bis zu 35 Millionen Euro oder 7 Prozent des weltweiten Umsatzes führen könnten.
Physische Sicherheitsrisiken wurden in einem Bericht des Center for Countering Digital Hate (CCDH) deutlich. Die Studie fand heraus, dass acht von zehn getesteten Chatbots Informationen lieferten, die für die Planung von Gewalttaten hilfreich sind. Konkret gab das DeepSeek-Modell detaillierte Anleitungen zur Auswahl von Gewehren.
Diese Ergebnisse fallen mit einer Klage des US-Bundesstaates Florida vom 1. Juni gegen OpenAI und dessen CEO Sam Altman zusammen. Die Klage wirft dem Unternehmen Fahrlässigkeit und Produkthaftung vor und verweist auf die Rolle von ChatGPT bei einer Schießerei an der Florida State University im April 2025, bei der zwei Menschen ums Leben kamen. Die Klage fordert zudem ein Verbot der Datenerfassung von Kindern unter 13 Jahren ohne elterliche Einwilligung.
Ausbeutung durch Cyberkriminelle und staatliche Akteure
Sicherheitsforscher haben neue Methoden identifiziert, mit denen KI-Schnittstellen für Phishing- und Desinformationskampagnen ausgenutzt werden. Eine als ChatGPhish bekannte Technik erlaubt es Angreifern, Anweisungen in Websites zu verstecken, die die Seitenzusammenfassungsfunktion von ChatGPT manipulieren. Nutzer werden so auf betrügerische Sicherheitswarnungen und Phishing-Links geleitet. Parallel dazu warnte Push Security, dass Angreifer die Code-Rendering- und geteilten URL-Funktionen von ChatGPT missbrauchen, um schädliche Anwendungen zu verbreiten.
Da Cyberkriminelle zunehmend KI-Schnittstellen für raffinierte Phishing-Angriffe und Manipulationen ausnutzen, benötigen Unternehmen neue Abwehrstrategien. Dieses kostenlose Anti-Phishing-Paket zeigt Ihnen in 4 Schritten, wie Sie Ihr Unternehmen effektiv gegen aktuelle Hacker-Methoden und CEO-Fraud schützen. In 4 Schritten zum sicheren Unternehmen: So stoppen Sie Phishing-Angriffe bevor sie entstehen
Die Auswirkungen KI-gesteuerter Täuschung sind auch in der politischen Sphäre spürbar. Sicherheitsexperten von Check Point berichten, dass Hacker für die US-Zwischenwahlen 2026 Desinformation gegenüber direkter Wahlmanipulation priorisieren. In Armenien verbreitet ein als Matryoshka bekanntes prorussisches Bot-Netzwerk offenbar KI-generierte Fälschungen, um Regierungsbeamte vor den Parlamentswahlen am 7. Juni 2026 zu diskreditieren.
Warnung aus Brandenburg
Das Brandenburger Landesamt für Verfassungsschutz warnte am 1. Juni vor prorussischen Kampagnen, die KI-Chatbots und synthetische Avatare zur Manipulation der öffentlichen Meinung einsetzen. Die Behörde betonte, dass diese KI-gesteuerten Kampagnen eine erhebliche Bedrohung für die demokratischen Grundlagen darstellen. Berichte von WithSecure Ende Mai beschreiben zudem, wie die Gruppe GreyVibe Cyberangriffe gegen ukrainische Ziele industrialisiert hat, indem sie KI-Werkzeuge nutzt, um ihre Kampagnen schneller anzupassen.
