Microsoft und seine KI: Änderungen im Kleingedruckten und Schwachstelle im AI Healthcare Chatbot Service

[English]KI ist ja das Thema, mit dem Microsoft aktuell punkten will. Ob vieles davon Sinn macht, muss mit einem Fragezeichen versehen werden. Mir sind die Tage einige Fundsplitter untergekommen, die Firmenentscheider den Einsatz von Microsofts AI überdenken lassen sollte. So wurde im August 2024 eine fette Schwachstelle in Microsofts AI Healthcare Chatbot Service bekannt. Gleichzeitig versucht Microsoft AI im Edge PDF-Modul zu forcieren. Um sich nicht um Kopf und Kragen zu bringen, hat Microsoft einige Änderungen im Kleingedruckten bezüglich AI-Einsatz vorgenommen. Die Kurzfassung: Microsofts AI (LLM) darf nicht für was "wichtiges" eingesetzt werden. Hier ein Abriss dieser Themen.

Schwachstelle CVE-2024-38109 in Azure Health Bot

Der Azure Health Bot ist eine auf Microsofts Azure-Cloud-Plattform aufsetzende AI-Lösung, die für das Gesundheitswesen angeboten wird. Mit Azure Health Bot können Entwickler (laut Microsoft) in Gesundheitsorganisationen im großen Stil KI-gestützte, konforme "Unterhaltungserfahrungen" für das Gesundheitswesen entwickeln. Der Dienst kombiniert eine integrierte medizinische Datenbank mit Funktionen für natürliche Sprache. So sollen Bots klinische Fachbegriffe verstehen können. Zudem lassen Bots sich laut Microsoft ganz einfach an die speziellen klinischen Anwendungsfälle einer Organisation anpassen. Der Dienst stellt die Einhaltung von branchenspezifischen Compliancevorgaben sowie den Datenschutz gemäß HIPAA-Standards sicher, brüstet sich Microsoft.

Klingt gut und wäre in einer idealen Welt, in der Microsoft seine Software im Griff hat, auch für den Einsatz zu erwägen. Aber Microsofts Azure Health Bot  erweist sich sicherheitstechnisch irgendwie als "wandelndes Sicherheitsrisiko". Im Rahmen meines Blog-Beitrags habe ich mal schnell die Suchfunktion dieses Blogs angeworfen.

Im Mai 2024 hatte ich im Beitrag Lethal Injection: Microsoft AI-Bot für das Gesundheitswesen mal eben gehackt berichtet, wie ein Sicherheitsforscher Microsofts Azure Health Bot mal eben am Wochenende gehackt hat. Ist zwar nicht direkt Azure Health Bot, aber auf der BlackHat 2024 hat ein Sicherheitsforscher gleich mehrere Methoden vorgestellt, mit denen man Microsofts CoPilot hacken kann (siehe BlackHat 2024: Remote Code Execution-Angriff auf M365 Copilot per E-Mail).

Zum  Patchday am 13. August 2024 wurde ich durch die Schwachstelle CVE-2024-38109 aufgeschreckt. Es handelt sich um eine Elevation of Privilege-Schwachstelle (also Rechteausweitung) im Azure Health Bot, die mit dem CVEv3 Score 9.1 (critical) bewertet wurde. Diese kritische SSRF EoP-Schwachstelle im Azure Health Bot . Die Schwachstelle wurde von dem Tenable-Forscher Jimi Sebree entdeckt und an Microsoft weitergeleitet.

Tenable hat im Blog-Beitrag Compromising Microsoft's AI Healthcare Chatbot Service mehr Details veröffentlicht. Die Kurzfassung: Forscher von Tenable Research haben gleich mehrere Probleme bei der Ausweitung von Privilegien im Azure Health Bot Service entdeckt, die Server-side request forgery-Angriffe (SSRF) ermöglichen. Damit ist laut Sicherheitsforscher ein mandantenübergreifender Zugriff auf Ressourcen möglich.

Benötigt wurde ein Token, das sich die Sicherheitsforscher beschaffen konnten. Mittels dieses Tokens ließen sich dann die Microsoft-Abonnements, auf die Zugriff bestand, über eine URL per API-Aufruf auflisten. Über die Microsoft-interne Abonnement-ID ließen sich die zugehörigen Ressourcen der Tenants auflisten.

Als die Sicherheitsforscher von Tenable feststellten, dass diese Ressourcen Identifikatoren enthielten, die auf Tenant-übergreifende Informationen hinwiesen (d. h. Informationen über andere Nutzer/Kunden des Dienstes), stellten sie ihre Untersuchung dieses Angriffsvektors sofort ein. Gleichzeitig wurden die Ergebnisse am 17. Juni 2024 an MSRC gemeldet und diese Microsoft Einheit bestätigte das Problem. Mit Stand vom 2. Juli 2024 soll ein Fix lauf MSRC in allen Regionen ausgerollt worden sein. Eine Ausnutzung sei nicht festgestellt worden, hieß es von Microsoft.

Manche Dinge muss Microsoft aber zwei Mal machen. Nach der MSRC-Mitteilung, dass das Problem behoben sei, setzte Tenable Research die Untersuchung fort. Die ursprüngliche Proof-of-Concepts, die MSRC während des Offenlegungsprozesses zur Verfügung gestellt wurden, funktionierten nicht mehr. Das ist schon mal gut. Wie sich aber herausstellte, bestand die Microsoft Problembehebung darin, die Redirect-Statuscodes für Datenverbindungs-Endpunkte einfach zurückzuweisen, wodurch dieser Angriffsvektor zwar eliminiert wurde.

Dennoch entdeckten die Forscher einen weiteren Endpunkt, der für die Validierung von Datenverbindungen für FHIR-Endpunkte verwendet wird. Dieser Validierungsmechanismus war mehr oder weniger anfällig für denselben Angriff wie oben beschrieben. Das ist jetzt schlecht. Laut Microsoft waren über diesen Endpunkt aber keine Mandanten-übergreifenden Zugriffe möglich. Tenable hat die Untersuchungen wieder eingestellt und Microsoft informiert.

Dieses zweite Problem wurde am 9. Juli gemeldet und am 12. Juli behoben. Wie bei der ersten Schwachstelle wurden nach Kenntnis von Tenable keine Hinweise darauf gefunden, dass diese Schwachstelle von einem bösartigen Akteur ausgenutzt wurde. Am 13. August 2024 erfolgte dann die Offenlegung und Microsoft gibt an, dass die Schwachstelle gepatcht wurde und für Benutzer des Health Bot-Dienstes kein Handlungsbedarf besteht. Der Vorfall zeigt aber erneut, wie wackelig dieser gesamte Ansatz ist – und dann lassen die Leute solche Dienste auf Gesundheitsdaten los. Mir fällt da nur ein abgehalfterter Spruch von einer FDP Wahlkampagne: "Digitalisierung first, Bedenken second" ein. Weitere Informationen zu dieser Sicherheitslücke finden sich in den Tenable Research Advisories TRA-2024-27 und TRA-2024-2 sowie in obigem Tenable-Blogbeitrag.

Microsofts Änderungen im AI-Kleingedruckten

Kürzlich gab es eine Änderung an den Microsoft Nutzungsbedingungen, die zum 30. September 2024 wirksam werden. Ich habe die Änderungen in der AGB, im Details, auch im Hinblick auf den Einsatz von Microsofts AI-Lösungen, nicht tiefer analysiert. Es gibt aber die beiden Punkt:

• Im Abschnitt „Datenschutz" haben wir die Definition von „Ihre Inhalte" auf Inhalte erweitert, die durch die Nutzung unserer KI-Dienste entstehen.
• Im Abschnitt "Verhaltenskodex" haben wir eine Formulierung hinzugefügt, die die Nutzung von KI-Diensten regelt.

Folgender Screenshot zeigt die beiden Abschnitte, die recht harmlos klingen. Im Sinne von Siggi Freud prangt im Seitenkopf die Meldung, doch die Power der KI mit der kostenlosen Copilot-App zu nutzen.

The Register hat sich das Ganze näher angesehen und zum 14. August 2024 im Artikel Microsoft tweaks fine print to warn everyone not to take its AI seriously auf einige Punkte hingewiesen. Microsoft verbietet die Umgehung der Beschränkungen des Zugangs, der Nutzung oder der Verfügbarkeit der Dienste (z. B. den Versuch, ein KI-System zu „jailbreaken" oder unzulässiges Scraping).

KI-Dienste sind auch nicht als Ersatz für professionelle Beratung konzipiert, vorgesehen oder gedacht. Nutzer sind allein dafür verantwortlich, auf etwaige Ansprüche Dritter bezüglich Ihrer Nutzung der KI-Dienste in Übereinstimmung mit den geltenden Gesetzen zu reagieren. Mit anderen Worten: Redmond gibt an, dass ihre Assistive KI nicht für Aufgaben von Bedeutung geeignet ist, die irgend eine Bedeutung oder Relevanz haben.

Wenn ich mir aber mal eine Schlenker auf den obigen Abschnitt zum Azure Health Bot erlaube, stellen sich schon Fragen. Dort wird explizit damit geworben, dass der Dienst medizinische Fachbegriffe versteht und dort werden auch Entscheidungen unterstützt. Das Gleich dürfte für alle Prozesse gelten, in denen AI große Datenmengen auswertet und bereitstellt und der Mensch darauf aufbauen Entscheidungen fällt.

Mit anderen Worten: Ein juristisches Minenfeld, wo mir der Casino-Spruch "Die Bank gewinnt immer" durch den Kopf geht. Denn die AGB legt fest, dass die AI-Lösung im Zweifelsfall nicht eingesetzt werden durfte. AI ist quasi eine Schreibhilfe für Nutzer, die wenig auf die Reihe kriegen und in ihrer Korrespondenz wie Shakespeare rüber kommen sollen – oder das Teil um am Arbeitsplatz mal eben schnell den Urlaub zu buchen oder einen Termin zu prüfen. Ach halt, ich vergaß: Selbst Urlaub buchen ist ja eine Entscheidung und erfordert ggf. Beratung – was ja wiederum ausgeschlossen ist.

Zahlen sich die AI-Investitionen aus?

Was bleibt? Eine AI-gestützte und confabulierende bzw. hallizunierende Suchfunktion über Bing. Ob sich damit die gigantischen Investitionen in AI irgendwann bezahlt machen? Ende Juni 2024 hat Goldman-Sachs die Analyse Gen AI: too much spend, too little benefit? veröffentlicht. Die Botschaft der Analysten: Das Versprechen der generativen KI-Technologie, Unternehmen, Branchen und Gesellschaften zu verändern, veranlasst Tech-Giganten und andere Unternehmen, in den kommenden Jahren schätzungsweise rund 1 Mrd. USD für Investitionen auszugeben, darunter erhebliche Investitionen in Rechenzentren, Chips, andere KI-Infrastruktur und das Stromnetz.

Das Fazit ist ernüchternd: Denn diese Ausgaben haben sich bisher kaum gelohnt. Und die Frage stellt sich, ob sich diese hohen Ausgaben jemals in Form von KI-Nutzen und -Renditen auszahlen werden. Und es stellt sich auch die Frage, welche Auswirkungen dies auf Volkswirtschaften, Unternehmen und Märkte haben wird – oder eben nicht. Der Goldman-Sachs-Bericht ist hartes Brot für Finanzanalysten – aber ganz aufschlussreich. Auf medium hat jemand es unter dem Titel Goldman Sachs: AI Is Overhyped, Wildly Expensive, and Unreliable zusammen gefasst: KI ist überbewertet, wahnsinnig teuer und unzuverlässig.

Und auf Institutional Investor zitiert man nüchtern die Frage aus der Analyse von Jim Covello, Leiter des Global Equity Research bei Goldman, "ob die 1 Billion Dollar, die in den nächsten Jahren für KI ausgegeben werden dürften, eine angemessene Rendite abwerfen werden".  "Welches Billionen-Dollar-Problem wird KI lösen?", fragte der Analyst und merkte an, dass "der Ersatz von Niedriglohnjobs durch enorm teure Technologie im Grunde das genaue Gegenteil der früheren technologischen Umstellungen ist, die er in den dreißig Jahren, in denen er die Tech-Industrie genau verfolgt hat, gesehen habe." Die Argumentation von Covello: Um die außerordentlich hohen Kosten zu rechtfertigen, "muss die KI in der Lage sein, komplexe Probleme zu lösen, wofür sie nicht ausgelegt ist". Könnte also sein, dass das schöne Kartenhaus AI bald zusammen bricht und die große Ernüchterung kommt.

Edge PDF-Reader mit mehr Copilot AI-Features

Zum Abschluss muss ich aber noch eine "gute Nachricht" verkünden. Die Kollegen von Bleeping Computer haben gerade im Artikel Microsoft Edge PDF reader is getting more Copilot AI features eine "wunderbare Neuigkeit" verkündet. Laut Bericht verbessert Microsoft gerade die Copilot-Integration im Edge-Browser mit KI-gesteuerten intelligenten Schlüsselwörtern. Dadurch kann die KI wichtige Schlüsselwörter aus der PDF-Datei generieren und Ihnen dann bei der Analyse der einzelnen Themen helfen.

Nutzer können jedes PDF in Edge öffnen und mit der KI interagieren, um Fragen zu stellen, Zusammenfassungen vorlegen zu lassen und den Inhalt zu überprüfen. Man kann Copilot zum Beispiel bitten, ein ganzes PDF zusammenzufassen oder bestimmte Fragen zum Dokument zu beantworten. So ganz spontan schießen mir erhebliche Fragen durch den Kopf. Im Sinne der oben zitierten AGB dürfen die Fragen zum Inhalt eines Dokuments nur für Nonsense herhalten, denn wenn darauf hin eine Beratung samt Entscheidung folgt, handelt der Anwender außerhalb der AGB.

Mir geht natürlich auch sofort die Frage im Kopf herum: Wie hält man es mit persönlichen, vertraulichen, brisanten und sensitiven Daten? Ein Edge mit PDF-Funktion im Medizinbereich (Stichwort: Ein Mann/Frau Therapeut(in)). Ich hatte ja angesichts der Adobe Pläne für AI-Lösungen im PDF-Reader den Beitrag Deaktiviert das Scannen von Dokumenten durch Adobe AI-Lösungen hier im Blog – und zweit Tage später die Aufforderung eines Adobe-Vertreters, den Blog-Beitrag offline zu nehmen – nix würde stimmen. Hab dem natürlich nicht Folge geleistet, sondern deren Stellungnahme im Artikel gespiegelt. Und ich hatte mal einige Gedanken im Beitrag Büchse der Pandora: Die Gesundheitsdaten, KI (Copilot, Adobe AI) und der Patienten-/Datenschutz zusammen geschrieben. Das wird noch schwierig – Kollateralschäden vorprogrammiert.

Und es gibt noch eine Klippe, die ich irgendwie noch nicht auf die Reihe bekomme. Microsoft will den Adobe Acrobat Reader im Edge-Browser integrieren (siehe Neue Microsoft-Timeline zur Einführung der Adobe Acrobat PDF-Engine im Edge Chromium). Adobe will aber seinen Acrobat Reader mit AI ausstatten. Wenn Microsoft im Edge selbst Copilot als AI im PDF-Reader einführt, gibt es möglicherweise Überschneidungen. Aber vielleicht ist das Zeugs alles sauber und modular aufgebaut und der PDF-Reader lässt sich ohne Adobe AI einbauen und um Copilot erweitern. Ob das klappt, werden wird sehen. Administratoren in Unternehmen beneide ich aus diesem Blickwinkel definitiv nicht.

Ähnliche Artikel:
Microsoft Security Update Summary (9. Juli 2024)
Lethal Injection: Microsoft AI-Bot für das Gesundheitswesen mal eben gehackt
Azure Privilege Escalation durch Missbrauch der Azure API-Permissions