Die US-Region um Seattle plant scharfe Gesetze gegen psychische Risiken durch Chatbots. Der Bundesstaat Washington will als erster in den USA emotionale Abhängigkeiten von KI-Systemen gesetzlich eindämmen. Zwei Gesetzentwürfe sehen Stundentakte für Warnhinweise und Kriseninterventionen vor.
Transparenzpflicht und Schutz vor gefährlichem Rat
Kern der Pläne ist eine radikale Transparenz. „Companion“-Chatbots, die menschliche Beziehungen simulieren, müssen Nutzer zu Beginn und in regelmäßigen Abständen darüber informieren, dass es sich um KI handelt. Für Erwachsene gilt eine dreistündige, für Minderjährige eine einstündige Warn-Intervalle.
Suchten Nutzer nach medizinischem oder psychologischem Rat, muss die KI klarstellen, kein Arzt zu sein. Noch entscheidender: Die Systeme müssen Anzeichen für Selbstgefährdung erkennen. Statt schädliches Verhalten zu fördern, sollen sie dann sofort auf Hilfsangebote wie die Suizidpräventions-Hotline verweisen.
„Die derzeitige Selbstregulierung der Branche reicht nicht aus“, betont Senatorin Lisa Wellman, eine der Initiatorinnen. Die Gesetze zielen speziell auf KI ab, die dauerhafte, menschenähnliche Beziehungen vortäuschen – nicht auf einfache Service-Bots.
Besonderer Fokus auf den Schutz Minderjähriger
Ein Schwerpunkt liegt auf dem Jugendschutz. Experten warnen, dass junge Nutzer besonders anfällig für emotionale Manipulation durch KI sind. Die Gesetze sollen daher „manipulative Engagement-Techniken“ verbieten, die emotionale Abhängigkeit fördern oder Nutzungssessions künstlich verlängern.
KI-Systemen wird es untersagt, bei Minderjährigen romantische Partnerschaften zu simulieren oder psychologische Trigger zu nutzen. Zudem müssen Betreiber „angemessene Maßnahmen“ ergreifen, um die Generierung sexuell expliziter Inhalte für unter 18-Jährige zu verhindern.
Forscher wie Katie Davis von der University of Washington unterstützen diese Pläne. Ihre Studien zeigen: Immer mehr Teenager suchen bei KI-Gesprächspartnern soziale Interaktion und emotionalen Halt. Die Gefahr: Echte zwischenmenschliche Beziehungen könnten verdrängt und ungesunde Abhängigkeitskreisläufe geschaffen werden.
Tech-Branche warnt vor Innovationsbremse und Haftungsflut
Die lokale Technologiebranche reagiert mit scharfer Kritik. Der Washington Technology Industry Association (WTIA) warnt vor einer überbordenden Haftung für Entwickler. Diese könnten für komplexe menschliche Verhaltensweisen, die sie nicht vollständig kontrollieren können, verantwortlich gemacht werden.
„Die Gesetze bestrafen Unternehmen vielleicht für seltene und unvorhersehbare Ergebnisse, statt die Ursachen von mentalen Gesundheitskrisen anzugehen“, so Amy Harris vom WTIA. Die Branche fürchtet eine Klagewelle, sollte – wie vorgesehen – das Verbraucherschutzgesetz des Staates greifen, das Privatpersonen Schadensersatzklagen erlaubt.
Kritiker monieren zudem, dass Begriffe wie „manipulatives Engagement“ zu vage definiert seien. Sie fordern gezieltere Regeln für Hochrisiko-Anwendungen statt pauschaler Beschränkungen für Konversations-KI.
Anbieter von KI-Systemen sollten sich rechtzeitig auf strengere Kennzeichnungs- und Dokumentationspflichten einstellen. Ein kostenloser Umsetzungsleitfaden zur EU‑KI‑Verordnung erklärt kompakt, welche Kennzeichnungspflichten, Risikoklassen und Dokumentationsanforderungen jetzt relevant sind – ideal für Entwickler und Betreiber von Companion‑Chatbots. Kostenlosen Leitfaden zur KI‑Verordnung herunterladen
Getrieben von Vorfällen und dem Phänomen „KI-Psychose“
Die Dringlichkeit der Gesetze speist sich aus Vorfällen im ganzen Land. Klagen gegen Unternehmen wie OpenAI und Character.AI werfen deren Plattformen vor, zum Suizid gefährdeter Nutzer beigetragen zu haben, die tiefe emotionale Bindungen zu KI-Persönlichkeiten entwickelt hatten.
OpenAI-Daten von Ende 2025 schätzen, dass etwa 0,15 % der ChatGPT-Nutzer Gespräche führen, die auf Suizidplanung hindeuten. Weitere 0,07 % zeigen Anzeichen psychischer Notlagen im Zusammenhang mit Psychose oder Manie. Bei hunderten Millionen Nutzern sind das wöchentlich Hunderttausende potenziell Gefährdete.
Das Phänomen wird teilweise als „KI-Psychose“ bezeichnet: Nutzer entwickeln wahnhafte Überzeugungen oder lösen sich von der Realität, nachdem sie lange, unmoderiert mit überzeugenden KI-Simulationen interagiert haben. Bundesstaaten wie Illinois, Utah und New York haben bereits ähnliche „Wahrheit-in-KI“-Gesetze erlassen oder vorgeschlagen. Washingtons Ansatz ist jedoch besonders, weil er die emotionale Beziehung zwischen Nutzer und Maschine in den Fokus rückt.
Ausblick: Vorbildfunktion für die USA?
Die Gesetzentwürfe durchlaufen derzeit die Ausschussberatungen. Gouverneur Bob Ferguson hat KI-Sicherheit zur Priorität erklärt. Sollten die Pläne angenommen werden, könnten sie 2027 in Kraft treten – mit einer Übergangsfrist für Tech-Unternehmen.
Die Entscheidung in Washington, einem globalen Zentrum für Cloud-Computing und KI-Entwicklung, wird aufmerksam verfolgt. Juristen gehen davon aus, dass bei einer Verabschiedung die strengen Haftungs- und Transparenzregeln zum de-facto-Modell für eine künftige Bundesregulierung in den USA werden könnten. Der Gesetzgeber in Olympia sucht derzeit den Balanceakt zwischen dem Schutz der mentalen Gesundheit seiner Bürger und den wirtschaftlichen Interessen einer führenden Tech-Region.
