Manipulierte Hardwarekomponenten unterhalb von Systemen für künstliche Intelligenz können die Antworten von Chatbots verfälschen und riskante Falschinformationen erzeugen. Dies belegt eine Untersuchung des Sicherheitsunternehmens Eclypsium, über die mehrere Medien berichteten.
Demnach gelingt es Angreifern unter bestimmten Bedingungen, das Verhalten von Sprachmodellen direkt im laufenden Betrieb zu verändern, ohne dass herkömmliche Sicherheitsmechanismen den Eingriff bemerken.
Manipulation im flüchtigen Speicher
In einer kontrollierten Demonstration auf einer Plattform von NVIDIA veränderten die Forscher 128 Modell-Gewichte im laufenden Arbeitsspeicher. Der eigentliche Angriff dauerte weniger als eine Minute und blieb für Endanwender unsichtbar.
Da der Eingriff ausschließlich im Host- und GPU-Speicher stattfand, blieben die gespeicherten Modelldateien, Container sowie kryptografische Signaturen und Hashes auf den Festplatten unverändert gültig.
Gängige Prüfverfahren wie Secure Boot, Attestierungsdienste oder Hash-Vergleiche kontrollieren in der Regel lediglich die Integrität beim Systemstart oder den Zustand der Datenträger, wodurch selbst ein Speicher-Integritätscheck die vorgenommene Manipulation nicht aufdecken konnte.
Die praktischen Auswirkungen verdeutlichten die Forscher an zwei Testszenarien: Bei einer Abfrage zu geopolitischen Entwicklungen steigerte das manipulierte Modell die errechnete Wahrscheinlichkeit für eine chinesische Invasion Taiwans drastisch. In einem medizinischen Anwendungsbeispiel empfahl ein verändertes System einer Person mit akuten Brustschmerzen, zu Hause zu bleiben, anstatt umgehend ein Krankenhaus aufzusuchen.
Die Manipulation von KI-Systemen zeigt, wie wichtig die Einhaltung technischer Schutzmaßnahmen und Dokumentationspflichten für Unternehmen ist. Dieser kostenlose Umsetzungsleitfaden zum EU AI Act hilft Ihnen, die gesetzlichen Anforderungen an Risikomanagement und Qualitätssicherung zu verstehen. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Technische Hürden und betroffene Architekturen
Für eine erfolgreiche Durchführung sind weitreichende Voraussetzungen erforderlich. Notwendig sind ein Netzwerkzugang zu Verwaltungseinheiten wie der Data Processing Unit (DPU) oder dem Baseboard Management Controller (BMC), fundiertes technisches Fachwissen sowie gezielt deaktivierte Sicherheitsfunktionen.
Im Test auf einem System mit NVIDIA GH200 mussten für den direkten Angriffspfad IOMMU-Passthrough und eine durchlässige PCIe-Isolation aktiviert sein, was nicht den Standardeinstellungen gängiger Linux-Distributionen entspricht. Bei strikterer Isolation ließ sich der Pfad nicht ausnutzen.
Laut Eclypsium beschränkt sich das Problem jedoch nicht auf einen einzelnen Hersteller. Neben Systemen von NVIDIA stuft der Bericht auch Architekturen von AMD, Intel, Arm sowie kundenspezifische ASIC-Lösungen als potenziell verwundbar ein.
Als weitere Angriffsvektoren nennt die Untersuchung automatisierte Firmware-Update-Dienste, Agenten zur KI-Orchestrierung und Management-Controller. Als leichtestes Einfallstor gelte jedoch das Host-System selbst über das Betriebssystem, den Kernel, Grafiktreiber oder Firmware-Rootkits.
Zwei unabhängige Hardware-Experten stuften die Ergebnisse als plausibel ein; Nachweise über reale Angriffe auf produktive Dienste liegen bislang nicht vor. Das Unternehmen schätzt staatliche Akteure aus Ländern wie China, Russland oder den USA als fähig ein, solche Methoden einzusetzen, und hat die US-Behörden CISA und NSA über die Resultate in Kenntnis gesetzt.
Einordnung durch NVIDIA und Branchenempfehlungen
NVIDIA bezeichnete die vorgestellten Szenarien als hypothetisch und betonte, dass die Thematik in der IT-Sicherheitsbranche grundsätzlich bekannt sei. Wirksame Schutzmechanismen für den Speicherzugriff blockierten den beschriebenen Pfad zuverlässig. Das Unternehmen verwies auf seine BlueField-Technologie, die über Hardware-Vertrauensanker, authentifizierten Systemstart, Isolation, abgesicherte Firmware-Updates und Attestierung verfüge.
Wer sich mit der Absicherung von IT-Infrastrukturen befasst, muss heute auch neue gesetzliche Anforderungen und technologische Bedrohungen im Blick behalten. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und Risiken Unternehmer jetzt kennen müssen, um ihre Firma proaktiv zu schützen. Kostenlosen Cyber-Security-Report jetzt herunterladen
Gleichzeitig arbeiten Eclypsium und NVIDIA im Bereich der Infrastrukturprüfung über eine Plattform für Agentensicherheit zusammen. Yuriy Bulygin, der Vorstandsvorsitzende von Eclypsium, hob hervor, dass verlässliche KI-Sicherheit zwingend auf einer vertrauenswürdigen Basisinfrastruktur aufbauen müsse.
Eclypsium empfiehlt Betreibern den Einsatz von DPUs zur Durchsetzung unabhängiger Sicherheitsrichtlinien, ein lückenloses Komponenten-Inventar, strukturiertes Schwachstellenmanagement sowie die strenge Prüfung von Drittanbieter-Software.
Der Bericht verweist zudem auf die enorme wirtschaftliche Bedeutung der Thematik: Weltweit werden jährliche Investitionen in die KI-Infrastruktur von über 1 Billion US-Dollar prognostiziert, während der weltweite BIP-Beitrag der Technologie auf 15,7 Billionen US-Dollar geschätzt wird.