EU-Chat-Kontrollsystem von Thorn mit massiven Sicherheitslücken

Die Warnungen der Experten scheinen sich zu bestätigen. Das von der EU geplante Software-System zur Chat-Kontrolle der Organisation Thorn hat massive Sicherheitslücken. Bei Einsatz der betreffenden Software würden jede Menge Daten, die Nutzer auf Plattformen wie TikTok, Facebook etc. an die Server von Thorn übertragen. Schwachstellen würden dann Dritten den Zugriff auf diese Informationen ermöglichen.

EU-Pläne zur Chatkontrolle

Die EU-Kommission treibt ja seit einiger Zeit Pläne zur Chatkontrolle voran. Begründet wird dies mit dem Schutz vor sexuellem Kindesmissbrauch (CSA-Verordnung). Dabei sollten CSA-Systeme zum Scannen aller Chat-Inhalte zum Einsatz kommen (CSA steht für Child Sexual Abuse).

Insbesondere das US-Unternehmen Thorn lobbyiert in der EU-Kommission für seine Überwachungslösung, und die EU-Kommissarin Johansson hatte eine umstrittene Werbekampagne gestartet (siehe), die in Ländern, die gegen die Chatcontrolle waren, lief. Juristen in der EU hatten die Chatkontrolle als besonders schweren Eingriff in Grundrechte der Betroffenen und vor dem EuGH als zum Scheitern verurteilt eingestuft.  Anfang Dezember 2023 wurde dann die verpflichtende Chatkontrolle erst einmal auf Eis gelegt, weil es keine Mehrheit der EU-Länder für dieses Gesetzesvorhaben gab (siehe diesen Artikel von netzpolitik.org).

Aktuell hat das EU-Parlament eine freiwillige Chatkontrolle für ein Jahr verlängert (siehe), die aber ebenfalls auf wackeligen juristischen Beinen steht. In einem offenen Brief fordern Unternehmen die EU-Länder auf, sich gegen die Chatkontrolle auszusprechen.

Die Lobby-Organisationen im Hintergrund

Unbemerkt von der breiten Öffentlichkeit gibt es eine Reihe Lobby-Organisationen, die sich im Hintergrund für die Chatkontrolle in der EU stark machen. Bekannt wurde durch eine Investigativrecherche, dass hinter der "NGO"-Kinderschutzkampagne "Pro Chatkontrolle" in Wahrheit ein einflussreiches Netzwerk, bestehend aus Strafverfolgern aus den USA und Großbritannien, Lobby- und PR-Agenturen sowie PR-Strategen steckt. Die NGO wird mit Millionen Euro an ausländischem Geld finanziert, um in der EU die anlasslose Überwachung von Bürgern per Chatkontrolle durchzusetzen.

Ich hatte das im Blog-Beitrag EU-Chatkontrolle: Welche Lobby-Organisationen dahinter stecken aufgegriffen. Insbesondere die vom US-Schauspieler Ashton Kutcher gegründete Organisation Thorn lobbyiert für die Chatkontrolle in der EU. Interne Dokumente der EU-Kommission zeigen laut der Recherche, dass sich EU-Kommissionspräsidentin Ursula von der Leyen und Ylva Johansson (EU-Innenkommissarin) sehr eng von Thorn haben beraten lassen.

Offiziell gilt die Thorn als gemeinnützige Organisation, hinter den Kulissen verkauft diese Organisation aber auch die Software Safer. Die Software soll mit Hilfe sogenannter Künstlicher Intelligenz Darstellungen von Kindesmissbrauch aufspüren. Die Recherchen ergaben, dass etwa das US-Ministerium für Heimatschutz zu den Kunden zählt. Die haben sich laut Zeit die Softwarelizenzen über vier Millionen US-Dollar kosten lassen. Und mit der EU-Chatkontrolle käme der nächste dicke Auftrag für den Anbieter.

Nachdem zwei Europol-Polizisten zur Chatkontrolle-Lobbyorganisation Thorn wechselten, hat die EU-Bürgerbeauftragte eine Untersuchung zu diesem Fall eingeleitet (siehe),

Thorn-Software mit Schwachstellen

Ich bin gerade über nachfolgenden Post auf BlueSky auf ein spezielles Thema aufmerksam geworden. Die Kernaussage lautet, dass die umstrittene gemeinnützige Organisation Thorn ihre Software zur Überwachung als datenschutzfreundliche Methode zur Aufdeckung von Kindesmissbrauchsinhalten anpreist.

Die Europäische Kommission fährt voll auf Thorn ab. Aber die Technologie ist wohl weniger zuverlässig, als sie vorgibt zu sein. Das sollen neue Dokumente zeigen, die Follow the Money erhalten hat. Die Überwachungssoftware hat schwerwiegende Mängel und ist wohl weniger zuverlässig, als Thorn verspricht, wie der Hersteller zugeben musste. Das geht aus einem Follow The Money Artikel hervor. Experten warnen, dass solche Tools zu einer Massenüberwachung führen könnten.

Die in den USA ansässige Stiftung Thorn, von den Schauspielern Demi Moore und Ashton Kutcher gegründet, behauptet, dass ihre Technologie bzw. Software eine Möglichkeit bietet, Material über sexuellen Kindesmissbrauch in persönlichen Nutzernachrichten zu finden und gleichzeitig die Privatsphäre anderer Nutzer zu respektieren, die solche Inhalte nicht teilen.

Thorn Safer soll eingesetzt werden

Thorn ist es in den vergangenen Jahren gelungen (siehe), dass die EU-Kommission Online-Plattformen wie Facebook oder TikTok verpflichtet, Software wie die von Thorn entwickelte Software Safer einzusetzen. Der Folgenabschätzungsbericht der EU-Kommission, der den Vorschlag zur Chatkontrolle begleitet, erwähnt die Software von Thorn als "ein Beispiel für die Fähigkeit der Industrie, Material über sexuellen Kindesmissbrauch zu erkennen".

Massenüberwachung durch Scans?

Aber das hat Folgen. Für Nutzer bedeutet dies, dass jedes einzelne Foto oder Video, das sie über eine Plattform wie TikTok oder X, ehemals Twitter, versenden, einschließlich privater Nachrichten, gescannt wird. Die gängigste Form des Scannens nach CSAM vergleicht die digitalen Fingerabdrücke der Bilder, so genannte Hashes, mit denen von Inhalten, von denen den Behörden bereits bekannt ist, dass sie kindermissbräuchliche Inhalte enthalten. Wenn es eine Übereinstimmung gibt, wird das Bild markiert. Erkennt die Software eine Übereinstimmung mit Quellen von Kindesmissbrauch, wird der Fund an die Strafverfolgungsbehörden im Land des Nutzers weitergeleitet – zumindest theoretisch.

Das bedeutet aber eine anlasslose Massenüberwachung  von Millionen unbescholtener Nutzer, was einen Eingriff in die Grundrechte bedeutet. Zudem besteht die Gefahr, dass irrtümlich von der Software gekennzeichnete Bilder zu falschen Anschuldigungen des Besitzes von CSAM führen und die Strafverfolgungsbehörden mit falschen Hinweisen überfrachten könnten, schreibt Follow the Money (FTM).

Die EU-Kommission mauert

Die EU-Kommission weist diese Kritik zurück und argumentiert, dass ihr Vorschlag von den Unternehmen verlangt, Technologien zu verwenden, die "am wenigsten in die Privatsphäre eingreifen". Die EU-Kommission behauptet, dass die Technologien bei der Erkennung von Inhalten extrem genau sind und dass "keine falsch positiven" Bilder (also die fälschlicherweise als Material über Kindesmissbrauch eingestufte Inhalte) die Strafverfolgungsbehörden erreichen würden.

Das ist aber erstunken und erlogen, wie Dokumente zeigen,  die die EU-Kommission geheim halten will. Als die EU-Kommission von FTM gebeten wurde, technische Beschreibungen der von Thorn Safer bereitgestellten Erkennungssoftware zur Verfügung zu stellen, verweigerte sie dies. Die EU-Kommssion berief sich dabei auf die Notwendigkeit, die kommerziellen Interessen der gemeinnützigen Stiftung Thorn zu schützen.

Die EU-Exekutive stellte nur – nach Rücksprache mit Thorn – Inhalte zur Verfügung, die an wichtigen Stellen von zwei Strategiepapieren und dem Protokoll geschwärzt waren. Ein drittes Dokument mit dem Titel "False Positive Mitigation" hielt die EU-Kommission sogar zurück.

FTM bekam durch den Antrag aber Zugang zur schwedischen Regierung. Die wurden zwar auch durch Thorn lobbyiert. Aber FTM konnte dort dort ungeschwärzte Versionen der Strategiepapiere einsehen. Die Dokumente lassen Zweifel an den technischen Fähigkeiten der Software von Thorn aufkommen. Laut FTM trägt eines der Dokumente den Titel "False Positive Mitigation", enthält aber nur wenige Details.

Mittlerweise hat  Follow the Money (FTM) Beschwerde bezüglich der drei einseitigen Strategiepapiere, die Thorn zur Verfügung gestellt hat, sowie bezüglich des Protokolls eines Treffens zwischen Kommissionsbeamten und der gemeinnützigen Organisation eingereicht. Das Zurückhalten und Schwärzen von Informationen entspricht nicht den EU-Transparenzregeln, fand der Europäische Bürgerbeauftragte, Ombudsmann Emily O'Reilly. Das Urteil des Ombudsmannes ist für die Kommission rechtlich nicht bindend. Die Kommission hat bisher nicht auf die Empfehlung des Bürgerbeauftragten geantwortet, die Papiere freizugeben.

Brisante Erkenntnisse

Im ungeschwärzten Dokument mit dem Titel "False Positive Mitigation" werden die technischen Herausforderungen der automatischen CSAM-Erkennung angedeutet. Thorn gibt an, dass "keine Technologie völlig unfehlbar ist, aber da wir innovativ sind, werden diese bewährten Tools immer besser". Das Dokument macht jedoch auch deutlich, dass die Software von Thorn weit davon entfernt ist, ein technisches Allheilmittel zu sein, welches Bilder sicher als kindermissbräuchliche Inhalte identifizieren kann.

Laut Thorn können beim Einsatz von Algorithmen, die die Merkmale eines Bildes mit denen bekannter CSAM abgleichen, die Filter in der Genauigkeit eingestellt werden. Einem Bericht der Kommission zufolge ist die Software von Thorn bei der Erkennung bekannter Inhalte über Kindesmissbrauch zu 99,9 Prozent genau. Bei dieser Rate würde sich eines von tausend Bildern als falsch-positiv herausstellen – Bilder, die keine CSAM enthalten, aber vom Programm als problematisch eingestuft wurden.

Nun werden aber täglich Millionen Bilder in soziale Medien hochgeladen, was ggf. Zehntausende Fehlalarme bedeuten würde. Dies wiederum bedeutet, dass Menschen – entweder Moderatoren in Unternehmen oder Strafverfolgungsbehörden – die gekennzeichneten Bilder überprüfen müssen. Das bedeutet aber auch, dass Bilder normaler und unbescholtener Nutzer durch die Mitarbeiter der Unternehmen, die diese Filter einsetzen und Alarme bewerten müssen, eingesehen werden. 

Auf der einen Seite führt das zur Erkenntnis, dass Medien unbescholtener Bürger gescant und im Zweifelsfall von Menschen eingesehen werden. Das führt dazu, dass die mit dem Scan beauftragten Unternehmen die Zahl der Fehlalarme begrenzen wollen, um das von der Menge durch die Moderatoren handhabbar zu machen. Das führt dann aber dazu, dass ein großer Teil der Inhalte, die tatsächliche Kindesmissbrauch (CSAM) aufweisen von der Software aber nie erkannt wird. "Es gibt einen Kompromiss, wie viel illegales Material gefunden wird", räumte Thorn laut dem FTM-Artikel in einer der ungeschwärzten Versionen der Dokumente vom März 2022 ein.

FTM hat weitere Dokumente von Thorn bei den Schweden gefunden, die belegen, dass die öffentlichen Aussagen von Thorn und der EU-Kommission in dieser Angelegenheit nicht dem entsprechen, was Thorn intern vertritt. In einem Strategiepapier schreibt Thorn, dass die "derzeitige Ende-zu-Ende-Verschlüsselungstechnologie es unmöglich macht, illegale CSAM zu entdecken, zu entfernen und zu melden".

Thorn führt zwei Techniken zur Erkennung solcher Inhalte ein. Einerseits ist ein "On-Device-Hashing" möglich, bei dem ein digitaler Fingerabdruck der auf dem Gerät gespeicherten Bilder und Videodateien erstellt wird. Dieser Fingerabdruck wird dann an einen Server gesendet, wo er mit bekannten CSAM-Bildern verglichen wird, z. B. mit Fotos oder Videos, die von der örtlichen Polizei als verbotene Inhalte identifiziert wurden.

Thorns gibt an, das diese Technik zuverlässig Bilder von Kindesmissbrauch identifiziert, die den Strafverfolgungsbehörden bereits bekannt sind. Die Technologie "erkennt nicht umfassend neues Material über Kindesmissbrauch", räumt die gemeinnützige Organisation ein.

Eine andere Methode wäre die so genannte "homomorphe Verschlüsselung", die sowohl neues als auch bekanntes Material über sexuellen Kindesmissbrauch auf eine "datenschutzfreundliche" Weise aufspüren würde, heißt es in Thorn-Dokumenten. Bei der homomorphen Verschlüsselung handelt es sich um eine Methode, die die Abfrage von Daten, z. B. die Suche nach bestimmten Mustern in einem Bild, auch im verschlüsselten Zustand ermöglichen soll. Theoretisch könnte dies die Erkennung von CSAM in Fotos oder Videos ermöglichen, ohne das eigentliche Bild mit einer zentralen Datenbank zu teilen.

In einer dramatischen Präsentation im Europäischen Parlament plädierte Kutcher für den Einsatz dieser Technologie, schreibt FTM. FTM deckt aber auf, dass es in einem Monate vor Kutchers Präsentation verschickten Strategiepapier von Thorn heißt: "Die derzeit auf dem Markt erhältlichen Geräte haben nicht die Verarbeitungskapazität, um diese Lösung sofort in großem Umfang einzusetzen. Es sind weitere technologische Fortschritte und Forschungsarbeiten erforderlich, um diese Möglichkeit voll auszuschöpfen."

Hintergrund ist, dass die  homomorphe Verschlüsselung eine beträchtliche Menge an Rechenleistung erfordert, die auf absehbare Zeit nicht realistisch bereitsteht. Anja Lehmann, Kryptographieforscherin an der Universität Potsdam sagt, dass es derzeit keine datenschutzfreundliche Technologie gibt, mit der in verschlüsselten Umgebungen nach CSAM gesucht werden kann.

FTH hat Lehmann Unterlagen bereitgestellt und die Kryptographieforscherin wies wohl auf eine weitere scheinbar widersprüchliche Aussage in der Thorn -Präsentation hin. Eine enthaltene Grafik soll angeblich zeigen, wie die Erkennungssoftware in der Praxis funktioniert.  Laut dieser Grafik wird aber die homomorphe Verschlüsselung nur auf dem Server verwendet. Bedeutet im Umkehrschluss aber, dass die Server Zugriff auf die Bilder haben müssen. Dies führt jeden Anspruch auf Schutz der Privatsphäre ad absurdum, weil der Betreiber des Servers alles zu sehen bekommt.

Fazit: Täuschen, tricksen, lügen

Schaut man sich die Informationen an, die Follow the Money (FTM) in diesem Artikel offen legt, wird die Öffentlichkeit und das EU-Parlament durch Thorn und EU-Kommission systematisch belogen. Die Brüsseler Thorn Lobbyistin, Emily Slifer, räumte ein, dass die Software Safer derzeit keine Bilder auf dem Gerät scannen kann. In einer E-Mail-Antwort stellte sie gegenüber FTM klar, dass "die Technologie von Thorn nicht in verschlüsselten Räumen funktioniert".

Slifer wirbt aber mit: "Obwohl es derzeit noch keine effektiven Lösungen zur Erkennung von CSAM in verschlüsselten Umgebungen gibt, glauben wir aufgrund unserer langjährigen Erfahrung in der Technologiebranche, dass es solche Lösungen eines Tages geben wird." Den Beteiligten ist klar, dass der CSAM-Scan nicht in verschlüsselten Umgebungen funktioniert und auch von der benötigten Rechenleistung so schnell nicht funktionieren wird.

Slifer sagt dazu: "Daher müssen wir mehr Gespräche und Brainstorming als ein breiteres Ökosystem für die Sicherheit von Kindern führen, um herauszufinden, wie wir die Technologie skalieren, auf den neuesten Stand bringen und am besten nutzen können, um Kinder vor sexuellem Missbrauch zu schützen."

Und auf die Frage, warum Thorn versuchte, die Freigabe der fraglichen Dokumente zu verhindern, antwortete Slifer, dass "diese Maßnahmen nicht darauf abzielten, Informationen zu verbergen, sondern notwendig waren, weil einige von ihnen sensible Details über die operativen Aspekte und Methoden unserer Software enthalten, die möglicherweise ihre Wirksamkeit untergraben und ungewollt denjenigen helfen könnten, die diese Schutzmaßnahmen umgehen wollen".

Also täuschen, tricksen und lügen, was das Zeug hält. Das erklärt auch, warum die EU-Kommission darauf dringt, dass staatliche Stellen eine Ende-zu-Ende-Verschlüsselung aufbrechen können sollen. Inzwischen kann ich verstehen, dass viele Menschen sich von den EU-Institutionen abwenden und deren Abwicklung verlangen.