{"id":323087,"date":"2026-03-29T07:48:08","date_gmt":"2026-03-29T05:48:08","guid":{"rendered":"https:\/\/borncity.com\/blog\/?p=323087"},"modified":"2026-03-30T11:26:18","modified_gmt":"2026-03-30T09:26:18","slug":"test-von-ki-chatbots-die-falschen-antworten-sind-ein-problem","status":"publish","type":"post","link":"https:\/\/borncity.com\/blog\/2026\/03\/29\/test-von-ki-chatbots-die-falschen-antworten-sind-ein-problem\/","title":{"rendered":"Test von KI-Chatbots: Die falschen Antworten sind ein Problem!"},"content":{"rendered":"

\"Copilot\"Die Verwendung von gro\u00dfen Sprachmodellen (LLMs) und AI-Chatbots, neumodisch als \"k\u00fcnstliche Intelligenz\" (KI) bezeichnet, ist kaum noch aufzuhalten. Schnell ist die \"KI\" um Rat gefragt und liefert auch scheinbar \"beeindruckende\" Antworten. Britische Verbrauchersch\u00fctzer haben AI-Chatbots mit den verwendeten LLMs getestet und arg Bedenkliches gefunden. Das beste AI-Produkt (Perplexity) kam nur auf 72 Prozent richtige Antworten, d.h. jede vierte Antwort ist falsch! Kleiner Beitrag zu diesem Thema.<\/p>\n

<\/p>\n

\"\"K\u00fcnstliche Intelligenz lauert ja seit gef\u00fchlt 2 – 3 Jahren an allen Ecken und Enden. Kaum eine Suchmaschine, die ohne LLM-Unterst\u00fctzung auskommt. Google und Bing dr\u00e4ngen den Nutzern die KI-gest\u00fctzten Zusammenfassungen regelrecht auf. Und im Microsoft-Universum wird der Nutzer durch Copilot erschlagen, w\u00e4hrend bei Google Gemini an allen Ecken lauert.\u00a0Wer hat noch nicht ChatGPT & Co. nach bestimmten Sachverhalten befragt und \"beeindruckende\" Antworten erhalten?<\/p>\n

Falsche Antworten als echtes Problem der AI<\/h2>\n

Es gibt sicherlich eine Reihe Einsatzgebiete, wo der Einsatz von gro\u00dfen Sprachmodellen (LLMs) Vorteile bringt und durchaus gerechtfertigt ist. Aber beim Einsatz dieser Technologie lauert immer das Risiko, dass da was \"in die falsche Richtung\" l\u00e4uft. Fachleuten ist gel\u00e4ufig, dass gro\u00dfe Sprachmodelle (LLMs) zum Halluzinieren neigen und mit \"dem Inbrunst der \u00dcberzeugung\" falsche Antworten liefern. Das f\u00fchrt zu bedenklichen Entwicklungen. Mal zwei Informationssplitter dazu.<\/p>\n

BullshitBench im Rechtsbereich<\/h3>\n

Juristische Schrifts\u00e4tze, die erfundene Urteile zitieren, sind l\u00e4nger bekannt. Ich hatte das Thema hier im Blog bereits in diversen Artikeln (z.B. im Beitrag Technische Hypotheken: Muss die KI-Revolution ausfallen? \u2013 Teil 2<\/a>) auf diese Problematik hingewiesen. Der britische KI-Experte Peter Gostev untersucht mit BullshitBench v2 die Leistung von KI-L\u00f6sungen f\u00fcr den englischsprachigen Rechtsmarkt. 100 bewusst unsinnige Fragen aus f\u00fcnf Fachbereichen \u2013 darunter 15 aus dem Rechtsbereich \u2013 werden an \u00fcber 70 KI-Modellvarianten gestellt.<\/p>\n

Die Tage hat mir ein Blog-Leser einen Link auf den Artikel Neue Studie: Mehrheit der KI-Modelle spielt bei unsinnigen Rechtsfragen einfach mit<\/a>, erschienen beim juristischen Fachportal Beck aktuell, geschickt. Der Artikel greift die Ergebnisse der Untersuchungen auf und zieht das Fazit: Die Mehr\u00adheit der KI-Mo\u00addel\u00adle er\u00adkennt nicht, wenn ju\u00adris\u00adti\u00adsche Fra\u00adgen in\u00adhalt\u00adli\u00adcher Bl\u00f6d\u00adsinn sind. Das ist im juristischen Bereich ein echtes Problem.<\/p>\n

Warnung vor Fehlaussagen der KI<\/h3>\n

In diversen Artikeln, die ich in den letzten Monaten so gelesen habe, bezeichnen Personen aus dem akademischen Umfeld die aktuellen KI-L\u00f6sungen \"als Werkzeug\", was man aber nur mit Vorbehalt und Sachverstand einsetzen soll. Das Buch \"Wei\u00df die KI, dass sie nichts wei\u00df?\" von Informatik-Professorin Katharina Zweig seziert diese Thematik. Irgendwo ist mir in einem Interview die Aussage untergekommen, dass die Professorin KI-Modelle wegen der auftretenden Fehler nie im privaten Umfeld verwenden w\u00fcrde.<\/p>\n

Hat Heino Plattf\u00fc\u00dfe und andere Fragen<\/h3>\n

Wenn ich es mal platt ausdr\u00fccken will, l\u00e4sst sich feststellen, dass eine KI-gest\u00fctzte Suche nach Fragen der Art \"hat Heino Plattf\u00fc\u00dfe\", \"trinkt Wolfgang Niedecken zum 75 Geburtstag\u00a0 ein K\u00f6lsch\", oder \"hat Andrea Kiewel Lippenherpes\" echt die Nase vorne hat. Da kann auch eher nicht so arg viel an gravierenden Folgen auftreten. Kritischer wird es, wenn Leute Antworten auf Fragen erhalten und ihre Entscheidungen oder Handlungen auf Basis falscher Antworten treffen.<\/p>\n

Bei meinen ersten Gehversuchen vor geraumer Zeit habe ich gestaunt, was Perplexity mir da an \"Fragen und Antworten\" vorgeschlagen hat. Ich hatte das LLM nach Informationen zu meiner Person befragt und kam schnell auf den Trichter, dass da durchaus \"bedenkliche Aussagen\" aus \u00f6ffentlich verf\u00fcgbaren Informationen geschlossen wurden. Mal vage ge\u00e4u\u00dferte Ideen oder Fragen wurden als \"Fakt oder gegeben\" mit der Inbrunst der \u00dcberzeugung als Antworten von den LLMs pr\u00e4sentiert. Ich konnte so recht schnell sehen, wo Antworten ziemlich schnell \"schief und in die falsche Richtung\" liefen.<\/p>\n

Die \"Begeisterung\" klang spontan g\u00e4nzlich ab, als Perplexity mir erz\u00e4hlen wollte, dass ich leider gestorben sei – ich war in dem Moment so platt, dass ich keinen Screenshot gemacht habe. Und bei den n\u00e4chsten Abfragen lie\u00df sich das Ergebnis nicht mehr reproduzieren. Das war der Punkt, an dem ich begann, mich mehr mit der Thematik auseinander zu setzen. Heute setze ich auf LLMs, wenn ich mich mit einem Thema halbwegs auskenne, oder bestimmte Dinge \u00fcberpr\u00fcfen und Gegenpositionen abchecken will.<\/p>\n

Test: Jede 4. Aussage von KI-Chatbots falsch<\/h2>\n

Mark Heitbrink hat mir gestern – mit der Bemerkung \"Hast du das gesehen?\u00a0Der erste Platz geht an 28% Falschaussagen. Wahnsinn.\" – den Link auf den Artikel\u00a0KI-Chatbots im Test: Perplexity schl\u00e4gt ChatGPT und Meta AI<\/a> der Stiftung Warentest geschickt.<\/p>\n

Britische Verbrauchersch\u00fctzer von Which haben untersucht, wie sich g\u00e4ngige KI-Chat-Bots bei Fragen schlagen. Der Artikel\u00a0Can you trust AI? ChatGPT and other AI chatbots put to the test<\/a> fasst die Ergebnisse eines Tests zusammen. Die Erkenntnis: Die Mehrheit der Menschen verl\u00e4sst sich bei der Online-Informationssuche zunehmend auf KI-Tools wie ChatGPT und Google Gemini. Diese Werkzeuge machen jedoch grundlegende Fehler und geben \u00fcbertrieben selbstbewusste, ja sogar riskante Ratschl\u00e4ge. Das ist aber ein Problem.<\/p>\n

Man kann es \"positiv\" wie Stiftung Warentest formulieren und schreiben: \"Fazit des Tests: Die meisten Chatbots schlagen sich recht anst\u00e4ndig\", das aber mit der Warnung \"blind vertrauen kann man aber keinem\" erg\u00e4nzen. Das Fazit bezieht sich auf die Quote der Aussagen von KI-Chatbots, die falsch oder sogar kritisch waren.<\/p>\n