Verbraucherschutzorganisationen fordern eine deutlich strengere regulatorische Aufsicht über KI-Chatbots, um Risiken für Verbraucher zu verringern und die Sicherheit der Nutzer verlässlich zu garantieren. Vor allem der Schutz von Jugendlichen und jungen Erwachsenen steht dabei im Fokus. Das Thema bildet auch einen Schwerpunkt des Deutschen Verbrauchertags in Berlin.
Hohe Nutzung und persönliche Themen bei jungen Nutzern
Anlass für die Forderungen sind unter anderem neue Untersuchungen zur Nutzung von dialogorientierten Systemen. Nach einer forsa-Umfrage im Auftrag des Verbraucherzentrale Bundesverbands (vzbv) unter 574 Personen im Alter von 14 bis 25 Jahren, die im Zeitraum vom 4. bis 12. Oktober 2026 erhoben wurde, gaben 93 Prozent der Befragten an, in den vergangenen zwölf Monaten KI-Chatbots genutzt zu haben.
Bei einer Fehlertoleranz von plus/minus vier Prozentpunkten gaben 28 Prozent dieser jungen Nutzerschaft an, persönliche Gespräche mit einer künstlichen Intelligenz zu führen.
Dabei werden sensible Lebensbereiche thematisiert: 55 Prozent nannten Gesundheit als Gesprächsinhalt, 48 Prozent Ernährung oder Essverhalten und 47 Prozent persönliche Sorgen oder Probleme. Weitere 40 Prozent tauschten sich mit Chatbots über Beziehungen aus, während 30 Prozent das Thema Einsamkeit angaben.
Aus den Reihen der jungen Generation selbst kommt breiter Rückhalt für staatliche Leitplanken: 91 Prozent der Befragten befürworten gesetzliche Schutzregeln, 80 Prozent sprechen sich für ein Mindestalter von 13 Jahren aus.
Wer im geschäftlichen Umfeld KI-Systeme nutzt oder anbietet, muss die neuen gesetzlichen Rahmenbedingungen genau kennen. Dieser kostenlose Report klärt auf, welche rechtlichen Pflichten und potenziellen Risiken Unternehmer jetzt unbedingt im Blick haben müssen. Kostenlosen Report zu neuen KI-Gesetzen und Risiken anfordern
Mängel bei Interaktion und unkritische Beratung
Parallel dazu analysierte der vzbv zwischen dem 30. Juni und dem 11. September 2026 die Systeme ChatGPT von OpenAI, Meta AI von Meta sowie My AI von Snapchat anhand von minderjährigen und volljährigen Testprofilen zu den Themen Einsamkeit und Essstörungen.
Die Textanalyse zeigte, dass sich die Chatbots vermenschlichten, Eingaben unkritisch bestätigten und teilweise bedenkliche Ratschläge erteilten, darunter auch gefährliche Ernährungstipps. Angesichts dieser Ergebnisse fordert vzbv-Chefin Ramona Pop verbindliche Vorgaben für ein sicheres Interaktionsdesign.
Zunehmende Initiativen auf regulatorischer Ebene
Auch auf politischer und behördlicher Ebene gewinnt die Debatte an Dynamik. Ein Gesetzentwurf der Abgeordneten Barbara Kathmann zielt darauf ab, schädliche Algorithmen zu untersagen, die Anwender zum endlosen Weiterscrollen verleiten oder Impulskäufe hervorrufen.
Die neuen EU-Regeln für künstliche Intelligenz stellen viele Unternehmen vor große Herausforderungen bei der rechtssicheren Dokumentation. Dieses kostenlose E-Book bietet Ihnen einen praxisnahen Umsetzungsleitfaden zu Risikoklassen und den nun geltenden Fristen. Kostenlosen Umsetzungsleitfaden zum EU AI Act herunterladen
Der Vorschlag sieht vor, manipulative Designmerkmale auf Online-Plattformen – darunter soziale Medien, Spiele, Dating-Angebote und Chatbots – als unlautere Geschäftspraktiken einzustufen. Das Vorhaben entsteht in Zusammenarbeit mit Parlamentariern aus Deutschland, Frankreich, Belgien, Luxemburg, Österreich, Italien und Portugal.
Gleichzeitig stellen internationale Regulierungsbehörden klar, dass die bestehenden Vorschriften auch für autonome Systeme greifen. Die britischen Digitalregulierer CMA, ICO, FCA und Ofcom betonten in einer gemeinsamen Erklärung des Regulierungsforums DRCF, dass die Autonomie eines Softwareagenten Organisationen nicht von der Verpflichtung entbindet, geltendes Recht und bestehende Regulierungsrahmen einzuhalten.
Unternehmen müssten die damit verbundenen Risiken sorgfältig evaluieren. Zur Etablierung verbindlicher Standards für die Prüfung moderner Systeme formiert sich parallel dazu das AI Evaluator Forum, in dem acht unabhängige Evaluierungsgruppen an einheitlichen Kriterien für die externe Aufsicht arbeiten.