Im US-Bundesstaat Kalifornien konkretisieren sich die Pläne für eine strengere Aufsicht über künstliche Intelligenz in hochsensiblen Beratungsbereichen. Mit dem Senatsgesetz SB 903 hat die Legislative Maßnahmen eingeleitet, um den Einsatz von KI-Therapeuten gesetzlich zu regulieren. Die Initiative hat eine weitreichende Debatte über die Standardisierung und Kontrolle von KI-gestützten Finanz- und Psychologieberatern ausgelöst, da die Technologie zunehmend in professionelle Dienstleistungssektoren vordringt.
Gesetzliche Auflagen und finanzielle Sanktionen
Der Entwurf des Gesetzes SB 903 sieht vor, Unternehmen die Bewerbung von Chatbots explizit als therapeutische Dienstleistung zu untersagen. Eine zentrale Forderung des Vorhabens ist die verpflichtende Überprüfung sämtlicher KI-therapeutischer Entscheidungen durch lizenzierte Fachkräfte. Zudem müssten Anbieter die ausdrückliche Einwilligung der Nutzer einholen, wenn KI-Systeme für die Aufzeichnung von Gesprächen oder die klinische Ersteinschätzung, das sogenannte Triage-Verfahren, eingesetzt werden.
Das Gesetz hat den Senat bereits einstimmig passiert und liegt derzeit dem Haushaltsausschuss der State Assembly zur Abstimmung vor. Bei Verstößen gegen die neuen Richtlinien drohen den Betreibern empfindliche Strafen von bis zu 10.000 US-Dollar pro einzelnem Verstoß. Kalifornien folgt damit einem Trend zur stärkeren Regulierung; bereits im Vorjahr hatte Illinois als erster Bundesstaat den Einsatz von KI in der therapeutischen Behandlung untersagt.
Unterstützung durch Fachverbände und Widerstand der Tech-Branche
Die geplanten Regulierungen stoßen auf ein geteiltes Echo. Unterstützung erfährt SB 903 vor allem von Berufsverbänden sowie der Gewerkschaft National Union of Healthcare Workers (NUHW). Diese dringen darauf, dass technologische Lösungen den menschlichen Therapeuten lediglich unterstützen, aber nicht ersetzen dürfen. Demgegenüber steht die Ablehnung durch den Branchenverband TechNet, der die Interessen großer Technologieunternehmen vertritt.
Wer KI-Systeme professionell einsetzt oder entwickelt, muss die neuen rechtlichen Rahmenbedingungen genau kennen. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über Fristen, Pflichten und Risikoklassen der aktuellen Gesetzgebung. EU AI Act in 5 Schritten verstehen
Hintergrund der strengen Maßnahmen sind wachsende Sicherheitsbedenken. Berichten zufolge weisen etwa 0,15 % der wöchentlich rund 1 Million ChatGPT-Nutzer Indikatoren für Suizidalität auf. Während eine Studie aus dem Jahr 2024 dem Programm Therabot zwar positive Effekte wie eine Reduktion von Depressionen um 51 % und von Angstzuständen um 31 % bescheinigte, häufen sich die juristischen Auseinandersetzungen. Gegen Anbieter wie Character AI und OpenAI wurden bereits Klagen wegen widerrechtlicher Tötung eingereicht.
Risiken und Compliance bei Finanz-KI
Die Debatte um die Verlässlichkeit von KI-Beratungen erstreckt sich auch auf den Finanzsektor. Während spezialisierte, bei der US-Börsenaufsicht SEC registrierte Anlageberater wie Origin aufwendige Sicherheitsvorkehrungen treffen – das Unternehmen führt nach eigenen Angaben 138 Compliance-Prüfungen pro Antwort seines KI-Beraters durch –, bleibt ein Großteil der Finanz-Apps auf dem Markt weitgehend unreguliert.
Die rasante Entwicklung von KI führt zu neuen regulatorischen Anforderungen, die Unternehmen vor große Herausforderungen stellen. Ein kostenloser Report klärt darüber auf, welche KI-Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum AI Act herunterladen
Analysen deuten zudem auf versteckte Risiken in der algorithmischen Entscheidungsfindung hin. Eine Untersuchung zeigte beispielsweise bei dem Modell Gemma 3 eine systematische Verzerrung zugunsten von Kryptowährungen wie Bitcoin, die durch spezifische Eingabeaufforderungen aktiviert wurde. In Krisenszenarien stufte die KI Bitcoin als bevorzugte Geldform ein, wobei interne Funktionen die Gewichtung der Anlageklasse um mehrere Prozentpunkte veränderten.
Konflikte in der praktischen Anwendung
Auch in großen Gesundheitsorganisationen wie Kaiser Permanente führt die Integration von KI zu Spannungen. Die Gewerkschaft NUHW kritisiert dort ein Anfang 2024 eingeführtes Screening-System, das auf nicht lizenziertes Personal und digitale Visiten setzt. Die Arbeitnehmervertreter befürchten dadurch Verzögerungen in der Versorgung und reichten Beschwerden bei der zuständigen kalifornischen Aufsichtsbehörde ein. Während über 2.400 Therapeuten gegen diese Entwicklungen protestierten, bestreitet die Klinikleitung, dass klinische Entscheidungen durch KI-Systeme getroffen werden.
