Der ChatGPT Atlas-Browser von OpenAI steht als eine Art Prototyp dafür, wie wir alle Computer in Zukunft nutzen sollen. Betriebssysteme werden in Zukunft mit KI laufen. Aber wie steht es mit der Sicherheit dieses ganzen Ansatzes?
Innerhalb weniger Jahre werden Betriebssysteme mit KI betrieben werden, bei denen Benutzer über Eingabeaufforderungen interagieren, anstatt auf Anwendungen zu klicken. Das ist zumindest die Zukunftsvision mancher AI-Protagonisten. Die Nutzer sollen beschreiben, was sie möchten. Die KI soll dann für die Anwender alles in ihrem System, ihren Apps und im Internet koordiniert. Das ist die logische Weiterentwicklung des Computings, heißt es.
Kürzlich hat OpenAI seinen AI-Browser ChatGPT Atlas vorgestellt. heise hatte den Browser bereits im Artikel Eine Woche Atlas-Browser: Ich bin jetzt dümmer verrissen. Sicherheitsexperte Oded Vanunu von Check Point Research hat in diesem Blog-Beitrag einen Blick auf die Entwicklung geworfen und meint, dass der OpenAI-Browser Atlas die oben beschriebene Vision des KI-Betriebssystems bereits heute demonstriert. Die steht im Mittelpunkt der "Computererfahrung des Benutzers". Die KI soll den Kontext des gesamten digitalen Lebens versteht und im Namen der Anwender handeln, so das Zukunfts-Szenario.
Der Sicherheitsspezialist schreibt aber auch, dass sich in den nächsten Jahren zeigen wird, ob diese Transformation im Rahmen von Security-Parametern vonstattengeht.
Sicherheit als Herausforderung
Cybersicherheit basiert grundlegend auf Vertrauen und Grenzen. Beim traditionellen Computing gibt es klare Grenzen: Apps laufen isoliert, Websites können nicht auf die Daten anderer zugreifen, Benutzer genehmigen jede Aktion.
Beim KI-nativen Computing lösen sich diese Grenzen und das Vertrauen auf, da die AI alles wissen und können soll. Das wirft natürlich gravierende Sicherheitsbedenken auf. Denn Browser gehören bereits jetzt (auch ohne KI) zu den am häufigsten ausgenutzten Angriffsflächen in der Computerwelt. Sie sind das Tor zu authentifizierten Sitzungen und sensiblen Daten.
Kommt nun noch KI hinzu, die mit den vollen Berechtigungen des Anwenders über alle angemeldeten Sitzungen hinweg arbeitet – Banking, E-Mail, Gesundheitswesen, Unternehmenssysteme –, erweitert sich die Angriffsfläche dramatisch. Von der Frage der Vertraulichkeit der Daten, die im KI-Zeitalter verloren geht, ganz zu schweigen.
Der neue Angriffsvektor: unsichtbare Befehle
KI-Browser führen eine gefährliche Schwachstelle ein: indirekte "Prompt Injection". In Webseiteninhalten versteckte bösartige Anweisungen können den KI-Assistenten dazu bringen, unbefugte Aktionen auszuführen. Angreifer betten Befehle in fast unsichtbaren Text ein, den Menschen nicht sehen können, KI jedoch perfekt lesen kann.
Wenn ein KI-Browser eine Webseite verarbeitet, kann er legitimen Anweisungen nicht von bösartigen Befehlen unterscheiden, die sich im Inhalt oder Kontext versteckt halten. Traditionelle Sicherheitsgrenzen wie die Same-Origin-Policy werden unwirksam, wenn KI-Agenten mit ihren vollen Berechtigungen agieren. Die KI folgt versteckten Befehlen, als kämen sie vom Anwender, da sie den gesamten Text als potenziell ausführbar behandelt.
Demonstrationen haben gezeigt, wie eine einzige bösartige URL E-Mails, Kalenderdaten und Anmeldedaten exfiltrieren kann, da der KI-Assistent Zugriff auf alles hat, was die Anwender tun. Ich hatte kürzlich im Blog-Beitrag AI-Sicherheit: Fast alle LLMs leaken private API-Keys auf Github; ChatGPT hat Schwachstellen bereits auf das Problem hingewiesen. Die LLMs leaken persönliche und vertrauliche Daten, die beim "Beobachten der Nutzerinteraktionen" in den Zugriff der AI geraten – obwohl Sicherheitsregeln genau dies verhindern sollen. Im Beitrag werden mit HackedGPT gleich sieben kritische ChatGPT Sicherheitslücken beschrieben.
Die Herausforderung für den Datenschutz
In seinem Beitrag geht der Sicherheitsforscher auch auf das Thema Datenschutz ein. KI-Browser benötigen einen beispiellosen Datenzugriff, um effektiv zu funktionieren. Je mehr Kontextinformationen über einen Browserverlauf, Dokumente, Kommunikation und Verhalten vorliegen, desto nützlicher werden sie. Dies führt jedoch zu einem grundlegenden Konflikt: Jede besuchte Webseite, jedes ausgefüllte Formular, jede authentifizierte Sitzung wird zu Trainingsdaten für die KI, um den Anwender besser zu verstehen.
Sensible Informationen, Finanzdaten, medizinische Unterlagen und geschützte Geschäftskommunikation fließen durch diese Systeme. Die KI muss alles verarbeiten, um intelligente Unterstützung zu bieten, wodurch eine umfassende Überwachungsinfrastruktur entsteht, auch wenn dies unbeabsichtigt ist.
Das Zeitalter des KI-nativen Computings hat begonnen. Der Wandel von anwendungsbasierten zu KI-nativen Schnittstellen ist unvermeidlich – die wirtschaftlichen Vorteile und die Vorteile für die Benutzererfahrung sind überzeugend genug, meint der Check Point-Mann. Die Frage sei aber, ob wir alle angemessene Sicherheitsvorkehrungen treffen können, bevor die weit verbreitete Einführung systemische Schwachstellen schafft. Hier bin ich persönlich äußerst skeptisch, denn das Rattenrennen ist längt in vollem Gang und es gilt der abgewandelte FDP-Slogan "AI first, bedenken second".
Absicherung nach Security-by-Design nötig
Der Check Point-Spezialist hängt einem feuchten Traum nach und meint "Die Security-Branche muss Security-by-Design-Prinzipien etablieren: architektonische Isolierung zwischen Benutzerbefehlen und nicht vertrauenswürdigen Webinhalten, explizite Bestätigung durch den Benutzer für sicherheitssensible Aktionen und granulare Berechtigungskontrollen für KI-Funktionen." Also übersetzt: "Die AI-Protagonisten kippen der Anwenderschaft unfertige Produkte vor die Füße, die per se unsicher und sicherheitstechnisch löchrig wie ein Schweizer Käse sind. Und um das zu heilen, muss man nur ganz viel Schlangenöl dazu geben. Dann sie es wenigstens auf dem Papier heile aus."
Sicherheitsexperte Oded Vanunu von Check Point Research glaubt, dass Unternehmen KI-Browser als risikoreiche Technologien behandeln sollten, was durchaus zutrifft. Er glaubt, dass eine verstärkte Überwachung, klare Richtlinien für die akzeptable Nutzung und Einschränkungen beim Zugriff auf sensible Daten erforderlich seien, bis die Sicherheitspraktiken ausgereift sind. Optimisten werden das bejubeln, eine tolle KI-Sicherheitslösung oben drauf packen und dem Anwender mitteilen, wann er den KI-Browser oder das KI-Betriebssystem nutzen dar. Was kann schon schief gehen …?
Die Forderung: "Staatliche Institutionen und Behörden benötigen Rahmenwerke, die speziell auf die Risiken des KI-nativen Computings zugeschnitten sind und sich mit der Transparenz der Datenverarbeitung, der Offenlegung von Sicherheitsvorfällen und der Haftung befassen, wenn KI-Systeme autonom agieren." ist zwar nicht falsch. Aus meiner aktuellen Sicht halte ich aber den Glauben, dass das den gesamten AI-Ansatz einhegt, für naiv. Es soll eine Technik eingehegt werden, die per se ein Sicherheits-GAU ist. Das kann kaum klappen.
MVP: 2013 – 2016
KI-Browser haben für mich das Genie eines unbedarften Wunderkindes. Alles aufsaugend, leicht verführbar und mit ungeschärften moralischen und ethischen Grenzen versteht der KI-Browser absolut nichts von der 'dunklen Seite' der menschlichen erwachsenen Natur. Da ist die perfide Ausnutzbarkeit teil der Innovation, sonst gäbe es sowas wie Reifekriterien für KI oder ein 'KI-Mindestalter' fürs WWW.
…AI-BrowserGrooming sozusagen ;-)
"anstatt auf Anwendungen zu klicken. Das ist zumindest die Zukunftsvision mancher AI-Protagonisten. Die Nutzer sollen beschreiben, was sie möchten."
Ich kenne Klagen über solche Funktionalität auf Ebene von Anwendungsprogrammen seit Jahren – freilich ohne KI, ohne "Lernfähigkeit" seitens der Software. Da versuchte man, Software für bestimmte Aufgaben zu "vermenschlichen", versuchte, die Mindestanforderungen an technisches Hintergrundwissen und Fähigkeiten im Bereich formaler Logik bei denen, die mit der Software arbeiten, zu vermindern oder gar komplett zu beseitigen. Stattdessen gab es "Assistenten", die sich einem nervig beim Start der Software in den Weg stellen und einem ein "Gespräch" aufnötigen, das das Potential hat, intellektuell beleidigend zu wirken.
Das Ergebnis: Software, die für diejenigen, die wirklich ernsthaft damit arbeiten wollen, unbrauchbar ist. Man bekommt nicht, was man will, man bekommt das, wovon die Software "denkt", dass es passt.
In meinem Fall ging es um Audio-Editoren, um Audioschnitt, um technische Bearbeitung von Audio. Im Ergebnis arbeiten mehrere Audio Professionals in meinem Umfeld (Leute, die Audio bearbeiten, keine Musikschaffenden) heute noch mit Software, die inzwischen über 20 Jahre alt ist und freilich längst nicht mehr gepflegt wird.
"Karl Klammer" als früher Assistent wurde schon 2002 von Risch+Renn als c`t-Schlagseite hochgenommen:
https://www.heise.de/meinung/Die-c-t-Schlagseiten-von-Ritsch-Renn-im-Ueberblick-9346536.html?seite=3&hg=2&hgi=23&hgf=true
Wenn die Assistenten dank "KI" jetzt nicht nur nervig, sondern auch gefährlich und hinterlistig werden, dann gute Nacht.
Bin mal gespannt, wie das bei Browsern und Betriebssystemen wird. Ob der Linux-Pfad ein Ort bleiben wird, an dem das Werkzeug noch in den Händen derer ist, die damit arbeiten.
Hatte ich diesen Link vor wenigen Tagen über borncity gefunden oder doch anderswo? Egal: https://www.youtube.com/watch?v=zH2dFXDMwe4 – ich kann ihn auch im Zusammenhang zu diesem Thread nur empfehlen.
Naja sollte doch kein Problem sein da KI dann wirklich alles weis, sollte sie ja auch wissen wer der Angreifer ist… Zugriff auf "Exekutiv-Drohnen" und man kann diese Subjekte direkt "entfernen"… passiert das effektiv und eine Weile lang, bleiben keine Angreifer mehr übrig ;-P Perfekte heile Welt!
Hmmmm.
Also ich bin altmodisch und denke noch selber, und das wird auch so bleiben.
Ich bestimme und denke selbst, mit welchem Tool ich welche Daten verarbeite.
Die KI kann nie wissen, was man denn wirklich will.
Das aus dem Verlauf bisheriger Daten zu extrahieren funktioniert oft nicht, weil man z.B. genau das, was man bisher gemacht hat, nicht mehr machen will. Oder auf eine andere Art und Weise machen will.
Bevor ich der KI im Detail erklärt habe, was ich denn konkret will habe ich das schon lange selbst erledigt.
Was mich heute interessiert, interessiert mich morgen evtl. gar nicht mehr.
Sämtliche Vorschläge einer KI sind dann völlig fehl am Platze.
Diese Assistenten haben schon immer genervt.
Wer kennt noch Karl Klammer in Office?
95% aller Leute, die ich kenne, haben den als allererste Aktion abgeschaltet, weil er mehr nervte als das er nützlich war.
Und nur weil man heute "AI" oder "KI" drauf pinselt soll das besser sein?
Das glaube ich kaum.
Und das KI jegliche Privatsphäre und Datensicherheitsmaßnahmen aushebelt kommt noch hinzu.
Wenn es irgendwann nur noch diesen KI-Kram gibt, dann werde ich wohl meinen alten Organizer aus den 1990er Jahren reaktivieren müssen und da drin meine Daten verwalten. Der arbeitet komplett offline.
Oder ich mache das auf einem meiner Nostalgierechner mit Windows 3.1, NT4, W2000, XP. Die funktionieren noch alle, sind offline und die drauf installieren Programme von damals können auch nicht so viel weniger als die aktuellen Versionen.
Was kann denn z.B. ein Microsoft Office 2024 effektiv mehr als ein altes Office 2000?
Das alte Office 2000 kann schon 90% der Sachen, die das Office 2024 kann.
Und 90% aller Office-Benutzer nutzen eh nur ca. 20% der Funktionen.
Die Geschichte mit der Prompt Injection sollte sich leicht lösen lassen. SQL Code Injection ist ja heute auch kein Thema mehr… hoffe ich zumindest.
Und „ Jede besuchte Webseite, jedes ausgefüllte Formular, jede authentifizierte Sitzung […]
Sensible Informationen, Finanzdaten, medizinische Unterlagen und geschützte Geschäftskommunikation fließen durch diese Systeme" — das gilt für heutige Betriebssysteme genauso, und ich muss einfach glauben (von „darauf vertrauen" möchte ich lieber gar nicht sprechen), dass die Damen und Herren Microsoft, Apple und Google damit kein Schindluder treiben. Ist also m.E. für die meisten privaten Computer-Nutzer keine wirkliche Änderung im Vergleich zu heute.
Viel skeptischer bin ich hingegen, ob das jemals zuverlässig funktionieren kann — zumindest solange die KI meine Gedanken und Gefühle nicht lesen kann.
"Microsoft, Apple und Google damit kein Schindluder treiben"
Die Risiken sind hier additiv, das KI-Gesammel kommt noch oben drauf.
"das gilt für heutige Betriebssysteme genauso".
Wirklich alle? Frei nach "Ganz Gallien?"
Ganz Gallien? Nein! Eine von unbeugsamen Linux-Nutzern bevölkerte Community (darunter auch ich selbst) hört nicht auf, den Eindringlingen Widerstand zu leisten. Oder so.
(Ich hatte ja auch bewusst nicht "*alle* heutigen Betriebssysteme" geschrieben. Aber auch bei Linux muss ich letztlich glauben, dass das drin ist, was draufsteht. Denn auch ich habe den Sourcecode nicht überprüft.)
Zum Themenkomplex gab es am 13. November auch einen Beitrag zur zukünftigen Entwicklung des Windows-Betriebssystems. Ob alles so kommt wie geplant, wird man dann sehen. Es hängt ausschließlich an den Nutzern.
https://www[.]neowin[.]net/news/microsoft-confirms-windows-11-is-about-to-change-massively-gets-enormous-backlash/
Alle Nutzer, die auf Win 11 aktualisiert haben, haben hier bereits zugestimmt, es hätte an den Nutzern liegen können, aber die Masse ist die Klippe hinuntergesprungen.
Die massiven negativen Kommentare zu den Plänen von Microsoft auf X scheinen Microsoft nicht zu interessieren.
Microsoft schert sich einen Dreck um die Wünsche der Benutzer und presst mit Gewalt seinen Mist in alle Dinge rein.
Windows 11 und alle Nachfolger davon werden nie auf einem meiner PCs zu finden sein.
Eigentlich müssten alle Antiviruslösungen Windows 11 gleich von der Festplatte löschen, denn Windows 11 ist Spyware, Trojaner, etc.
Es geht sogar noch weiter, es gibt eine Reaktion seitens Microsoft:
https://www[.]neowin[.]net/news/microsoft-we-see-all-the-backlash-and-we-know-we-have-a-lot-to-fix-in-windows/
Man gibt dort ganz reumütig zu, dass es eine ganze Reihe von anderen Problemen gibt, umkurvt dabei aber das Thema KI (AI) ganz geschickt und versucht es so aus der Schusslinie zu nehmen. Viele Worte um Nichts.
Das Thema KI (AI) als fester Bestandteil von eigentlich Betriebssystemfunktionen scheint für mich somit als nicht mehr diskutabel gesetzt.
"…wie wir alle Computer in Zukunft nutzen SOLLEN" – ja, das hätten sie wohl gern.