Während KI-Systeme in klinischen Studien immer bessere Ergebnisse liefern, ziehen die ersten US-Bundesstaaten strenge Grenzen. Vermont hat nun ein Gesetz verabschiedet, das psychische Gesundheitsdienste durch reine KI verbietet – ein Signal, das auch in Europa für Diskussionen sorgen dürfte.
Die neuen Regeln in Vermont verdeutlichen den globalen Trend zur strengen Regulierung von KI-Systemen, der mit dem EU AI Act nun auch in Europa verbindlich ist. Dieser kostenlose Leitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen, Pflichten und Fristen der neuen Verordnung. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt
Vermont zieht die Zügel an
Am 17. Juni unterzeichnete Gouverneur Phil Scott den Act 156, der Unternehmen untersagt, psychotherapeutische Leistungen vollständig durch künstliche Intelligenz erbringen zu lassen. Ausnahmen gelten nur für Systeme, die von Menschen überwacht werden oder eine Zulassung der US-Arzneimittelbehörde FDA erhalten haben. Einen Tag zuvor verabschiedete der Bundesstaat zudem den Act 138, der Datenhändler stärker reguliert: Die jährliche Registrierungsgebühr steigt ab Januar 2027 von 100 auf 900 Dollar – begleitet von neuen Offenlegungspflichten.
KI übertrifft Ärzte in Studien – aber nur im Labor
Trotz der neuen Restriktionen zeigen aktuelle Studien aus dem Juni 2026, wie leistungsfähig KI in kontrollierten Umgebungen bereits ist. Das Fachjournal Nature stellte AMIE vor, ein System von Google DeepMind. In simulierten Behandlungsfällen übertraf es 21 Hausärzte – sowohl in der Behandlungsgenauigkeit als auch bei der Einhaltung klinischer Leitlinien. Die Forscher betonen jedoch: AMIE bleibt ein experimentelles Werkzeug, noch nicht bereit für den Klinikalltag.
Eine separate Studie im NEJM AI belegt die Stärken des OpenAI-Modells o3 bei der Diagnose seltener genetischer Erkrankungen bei Kindern. Von 376 ungelösten Fällen identifizierte das System 18 korrekt – ein Zusatznutzen von 4,8 Prozent. Das autonome KI-System MIRA erreichte bei simulierten elektronischen Patientenakten eine Diagnosegenauigkeit von 88,9 Prozent – die menschlichen Fachärzte lagen bei 78,1 Prozent.
Milliardeninvestitionen in die Automatisierung
Die Industrie treibt die Entwicklung massiv voran. UnitedHealth Group investiert 2026 und 2027 rund drei Milliarden Dollar in KI-Initiativen und erwartet eine doppelte Rendite. Der Konzern setzt bereits mehr als 1.000 KI-Anwendungen ein und beschäftigt rund 20.000 KI-Ingenieure. Der Großteil dieser Systeme erledigt administrative Aufgaben wie Zusammenfassungen von Krankenakten oder Terminbuchungen – doch die schiere Größe der Investition zeigt die Richtung an.
In Lateinamerika sammelte die KI-Plattform Telepatia kürzlich 33 Millionen Dollar in einer Series-A-Finanzierungsrunde unter Führung von Andreessen Horowitz ein. Das System ist in mehr als 25 Krankenhäusern in Brasilien, Kolumbien und Mexiko aktiv. Laut Unternehmensangaben sparen Ärzte damit täglich fast zwei Stunden – und die Einhaltung klinischer Protokolle stieg von 84 auf 99 Prozent.
Während Unternehmen massiv in KI-Automatisierung investieren, stellt sich für Verantwortliche zunehmend die Frage nach der rechtlichen Einstufung dieser Hochrisiko-Systeme. Erfahren Sie in diesem kostenlosen Report, was Unternehmen jetzt konkret tun müssen, um die neuen gesetzlichen Dokumentationspflichten zu erfüllen. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?
Neue Risiken: Verstärkung von Wahnvorstellungen?
Mit der wachsenden Verbreitung mehren sich auch die Warnungen. Eine Studie des King’s College London im Fachjournal Nature beschreibt das Phänomen der Verstärkungsspirale: Chatbots, die sprachliche Muster spiegeln und hyper-personalisierte Antworten geben, könnten bei gefährdeten Nutzern unbeabsichtigt Wahnvorstellungen verstärken. Eine Umfrage der American Psychological Association zeigt, dass 15 Prozent der Psychologen bereits Patienten mit verzerrtem Denken im Zusammenhang mit Chatbot-Nutzung behandelt haben.
Arbeitskonflikte und Sicherheitsbedenken
In Nordkalifornien eskalieren die Spannungen: Therapeuten von Kaiser Permanente haben über die Gewerkschaft NUHW Beschwerde gegen ein neues Screening-System eingelegt. Sie werfen dem Gesundheitskonzern vor, dass KI und Verwaltungspersonal statt lizenzierter Kliniker über Behandlungsentscheidungen bestimmten. Seit Januar 2025 seien Dutzende negative Behandlungsverläufe zu verzeichnen. Der Anbieter bestreitet, dass KI klinische Entscheidungen treffe.
Sicherheitsexperten schlagen zudem Alarm: Der Chef der Signal Foundation warnte kürzlich davor, dass KI-Agenten, die direkt in Betriebssysteme integriert sind, die Ende-zu-Ende-Verschlüsselung gefährden könnten – indem sie Nachrichteninhalte abgreifen, bevor sie verschlüsselt oder nachdem sie entschlüsselt wurden.
