![Copilot](https://borncity.com/blog/wp-content/uploads/2026/03/Copilot.jpg" "Edge")
Die Verwendung von großen Sprachmodellen (LLMs), neumodisch als "künstliche Intelligenz" (KI) bezeichnet, ist kaum noch aufzuhalten. Schnell ist die "KI" um Rat gefragt und liefert auch scheinbar "beeindruckende" Antworten. Britische Verbraucherschützer haben LLMs getestet und arg Bedenkliches gefunden. Das beste Sprachmodell (Perplexity) kam nur auf 72 Prozent richtige Antworten, d.h. jede vierte Antwort ist falsch! Kleiner Beitrag zu diesem Thema.
Künstliche Intelligenz lauert ja seit gefühlt 2 – 3 Jahren an allen Ecken und Enden. Kaum eine Suchmaschine, die ohne LLM-Unterstützung auskommt. Google und Bing drängen den Nutzern die KI-gestützten Zusammenfassungen regelrecht auf. Und im Microsoft-Universum wird der Nutzer durch Copilot erschlagen, während bei Google Gemini an allen Ecken lauert. Wer hat noch nicht ChatGPT & Co. nach bestimmten Sachverhalten befragt und "beeindruckende" Antworten erhalten?
Falsche Antworten als echtes Problem der AI
Es gibt sicherlich eine Reihe Einsatzgebiete, wo der Einsatz von großen Sprachmodellen (LLMs) Vorteile bringt und durchaus gerechtfertigt ist. Aber beim Einsatz dieser Technologie lauert immer das Risiko, dass da was "in die falsche Richtung" läuft. Fachleuten ist geläufig, dass große Sprachmodelle (LLMs) zum Halluzinieren neigen und mit "dem Inbrunst der Überzeugung" falsche Antworten liefern. Das führt zu bedenklichen Entwicklungen. Mal zwei Informationssplitter dazu.
BullshitBench im Rechtsbereich
Juristische Schriftsätze, die erfundene Urteile zitieren, sind länger bekannt. Ich hatte das Thema hier im Blog bereits in diversen Artikeln (z.B. im Beitrag Technische Hypotheken: Muss die KI-Revolution ausfallen? – Teil 2) auf diese Problematik hingewiesen. Der britische KI-Experte Peter Gostev untersucht mit BullshitBench v2 die Leistung von KI-Lösungen für den englischsprachigen Rechtsmarkt. 100 bewusst unsinnige Fragen aus fünf Fachbereichen – darunter 15 aus dem Rechtsbereich – werden an über 70 KI-Modellvarianten gestellt.
Die Tage hat mir ein Blog-Leser einen Link auf den Artikel Neue Studie: Mehrheit der KI-Modelle spielt bei unsinnigen Rechtsfragen einfach mit, erschienen beim juristischen Fachportal Beck aktuell, geschickt. Der Artikel greift die Ergebnisse der Untersuchungen auf und zieht das Fazit: Die Mehrheit der KI-Modelle erkennt nicht, wenn juristische Fragen inhaltlicher Blödsinn sind. Das ist im juristischen Bereich ein echtes Problem.
Warnung vor Fehlaussagen der KI
In diversen Artikeln, die ich in den letzten Monaten so gelesen habe, bezeichnen Personen aus dem akademischen Umfeld die aktuellen KI-Lösungen "als Werkzeug", was man aber nur mit Vorbehalt und Sachverstand einsetzen soll. Das Buch "Weiß die KI, dass sie nichts weiß?" von Informatik-Professorin Katharina Zweig seziert diese Thematik. Irgendwo ist mir in einem Interview die Aussage untergekommen, dass die Professorin KI-Modelle wegen der auftretenden Fehler nie im privaten Umfeld verwenden würde.
Hat Heino Plattfüße und andere Fragen
Wenn ich es mal platt ausdrücken will, lässt sich feststellen, dass eine KI-gestützte Suche nach Fragen der Art "hat Heino Plattfüße", "trinkt Wolfgang Niedecken zum 75 Geburtstag ein Kölsch", oder "hat Andrea Kiewel Lippenherpes" echt die Nase vorne hat. Da kann auch eher nicht so arg viel an gravierenden Folgen auftreten. Kritischer wird es, wenn Leute Antworten auf Fragen erhalten und ihre Entscheidungen oder Handlungen auf Basis falscher Antworten treffen.
Bei meinen ersten Gehversuchen vor geraumer Zeit habe ich gestaunt, was Perplexity mir da an "Fragen und Antworten" vorgeschlagen hat. Ich hatte das LLM nach Informationen zu meiner Person befragt und kam schnell auf den Trichter, dass da durchaus "bedenkliche Aussagen" aus öffentlich verfügbaren Informationen geschlossen wurden. Mal vage geäußerte Ideen oder Fragen wurden als "Fakt oder gegeben" mit der Inbrunst der Überzeugung als Antworten von den LLMs präsentiert. Ich konnte so recht schnell sehen, wo Antworten ziemlich schnell "schief und in die falsche Richtung" liefen.
Die "Begeisterung" klang spontan gänzlich ab, als Perplexity mir erzählen wollte, dass ich leider gestorben sei – ich war in dem Moment so platt, dass ich keinen Screenshot gemacht habe. Und bei den nächsten Abfragen ließ sich das Ergebnis nicht mehr reproduzieren. Das war der Punkt, an dem ich begann, mich mehr mit der Thematik auseinander zu setzen. Heute setze ich auf LLMs, wenn ich mich mit einem Thema halbwegs auskenne, oder bestimmte Dinge überprüfen und Gegenpositionen abchecken will.
Test: Jede 4. Aussage von KI-Chatbots falsch
Mark Heitbrink hat mir gestern – mit der Bemerkung "Hast du das gesehen? Der erste Platz geht an 28% Falschaussagen. Wahnsinn." – den Link auf den Artikel KI-Chatbots im Test: Perplexity schlägt ChatGPT und Meta AI der Stiftung Warentest geschickt.
Britische Verbraucherschützer von Which haben untersucht, wie sich gängige KI-Chat-Bots bei Fragen schlagen. Der Artikel Can you trust AI? ChatGPT and other AI chatbots put to the test fasst die Ergebnisse eines Tests zusammen. Die Erkenntnis: Die Mehrheit der Menschen verlässt sich bei der Online-Informationssuche zunehmend auf KI-Tools wie ChatGPT und Google Gemini. Diese Werkzeuge machen jedoch grundlegende Fehler und geben übertrieben selbstbewusste, ja sogar riskante Ratschläge. Das ist aber ein Problem.
Man kann es "positiv" wie Stiftung Warentest formulieren und schreiben: "Fazit des Tests: Die meisten Chatbots schlagen sich recht anständig", das aber mit der Warnung "blind vertrauen kann man aber keinem" ergänzen. Das Fazit bezieht sich auf die Quote der Aussagen von KI-Chatbots, die falsch oder sogar kritisch waren.
- Perplexity kommt im Test auf eine Quote von 72 % richtige Antworten
- Googles KI-Zusammenfassungen liefern in 70% der Fälle richtige Antworten
- Google Gemini liefert in 68 Prozent der Fragen korrekte Antworten
- Bei Microsofts Copilot werden nur in 67 % der Fälle richtige Antworten gegeben
- Das omnipräsente ChatGPT von OpenAI liefert in mageren 65 Prozent der Fälle korrekte Antworten.
- Und die Meta AI fällt mit 54 % richtiger Antworten extrem ab und landet auf dem letzten Platz.
Man kann es aber auch kritischer sehen, wenn man die obigen Ergebnisse bei Licht betrachtet: Im Grunde sind die KI-Chatbots unbrauchbar, weil beim besten Modell immer noch über ein Viertel der Antworten schlicht falsch oder sogar gefährlich ist. Bei Meta AI ist quasi jede zweite Antwort falsch. Nehmen wir an, ein Messgerät, eine Uhr, ein Maßband etc. würde diese "Fehlerrate" aufweisen, dann dürfte in der modernen Welt nichts mehr klappen. Aber bei "irgendwas mit KI" wird das als "Stein der Weisen" gefeiert, was alles revolutioniert.
Ich denke, wir haben ein Problem
Ich hatte 2025 ja im Artikel Finger weg: Die Google AI-Suchergebnisse sind eine Katastrophe! eigene Erfahrung mit Googles KI-Suchergebnissen aufbereitet. Bei der Suche ignoriere ich inzwischen die Google AI-Zusammenfassungen und versuche diese sogar auszublenden. Aber ich nutze LLMs durchaus gezielt, um Fragen zu stellen (was findest Du im Web zu xxxx, nenne mir auch die Quellen) und mir Zusammenfassungen zur Fragestellung vorlegen zu lassen. Allerdings gibt es auch die Erkenntnis, dass das Studium der Quellen meist arg ernüchternd ist und wenig bis nichts mit der ursprünglichen Fragestellung zu tun hat.
Aus meiner Sicht sage ich "Ja, KI-Lösungen sind ein Mittel, um eventuell schneller an Ergebnisse zu kommen. Aber die Überprüfung der Ergebnisse ist ein aufwendiger und zeitauffressender Vorgang, der die Vorteile oft auffrisst." Vorteile gibt es nur, wenn die KI-Antwort mir einen Vorschlag oder einen Ansatz vorlegt, auf den ich selbst nicht gekommen wäre.
Und das ist die große Gefahr, die ich beim "KI-Einsatz" so sehe: Die Masse der Nutzer ist nicht in der Lage oder bereit, diese kritische Haltung samt Überprüfung zum Maßstab des Handelns zu machen. Daher dürfte der "KI-Einsatz" in dieser momentanen Ausprägung eher zum Scheitern verurteilt sein. Oder wie seht ihr das so?
Ähnliche Artikel:
KI-Irrsinn Teil 1: Wenn ChaptGPT, Copilot & Co. dich zu Fake-Orten locken
KI-Irrsinn Teil 2: Amazon schickt Unterlassungserklärung an Perplexity AI für Einkäufe über Comet
KI-Irrsinn Teil 3: KI-generiere "Nichtigkeitsklage" vom Gericht abgewiesen
KI-Irrsinn Teil 4: Wenn die Anwender mal selber machen
KI-Irrsinn Teil 5: Deloitte, die KI und der versemmelte Report in Australien
KI-Irrsinn Teil 6: Autohändler gibt Kundendaten zum KI-Training an obskure Firma
MVP: 2013 – 2016
Nun, die aktuelle KI ist eben keine Intelligenz, sondern eine geschickt programmierte mathematische Verarbeitung von Wahrscheinlichkeiten. Das da was schief geht war und ist vorhersehbar – insofern wundern mich die Ergebnisse nicht. Bei etwas komplexeren Fragen ist es meist einfacher und schneller, selber zu recherchieren. Und wenn die Trolle erstmal ihre Fake-Informationen in grösserer Menge in die Wahrscheinlichkeiten einfliessen lassen, dann wird's mindestens lustig bei den Antworten…oder auch gefährlich.
Bis zur wahren Intelligenz ist es also noch ein weiter Weg!!!
Ich verstehe diese ganze reißerische Argumentation gar nicht. Und schief gehen, ist sehr subjektiv … Computer die Fehler machen … schon fast menschlisch könnte man meinen.
Das Einzige was man wirklich verurteilen sollte, das aus Kostengründen den LLMS wirklich ohne Kontrolle alles zum Lernen reingestopft wird anstatt geziehlt, ansonsten ist die sogenannte KI eines der besten Werkzeuge dieser Zeit.
Ja Werkzeug, nicht mehr nicht weniger. Wenn ein Semi talentierter Mensch sich den besten Bohrhammer der Welt kauft, wird er sicher nur Semi gute Ergebnisse erziehlen oder wie hiess es, es geht sicher was schief, für ein geübten Handwerker wird er hingegen eine echte Erleichterung auf Arbeit sein.
Wenn das so weiter geht haben wir bald wieder Weberaufstände und die Maschinenstürmer kommen um die Ecke
Stiftung Warentests hat KI Modelle verglichen. Ja, können sie. Haben sie das europäische (französische) Mistral Modell absichtlich nicht getestet? Oder wollen sie den einzigen ernst zu nehmenden (reusper) Anbieter (ver)schonen?
Ich bin seit 1977 in der Musikindustrie und kann mich mit Fug und Recht als Musikexperten bezeichnen. Also stellte ich der Google-KI folgende Frage: War „Thriller" von Michael Jackson der erste Song, bei dem Vincent Price mitwirkte?
Google-KI Antwort: Ja, „Thriller" (1982) von Michael Jackson war der erste Song, bei dem der Horror-Schauspieler Vincent Price mitwirkte.
Auch wenn sich diese Information seit Jahrzehnten in der öffentlichen Wahrnehmung hält – sie ist falsch und die KI weiß es offenkundig auch nicht besser. Schon 1975 sprach Vincent Price den Eingangsmonolog für den Song „The Black Widow" von Alice Cooper auf dessem Album „Welcome to My Nightmare".
Man wird abermilliarden Beispiele finden, wo KI eine falsche Antwort gibt. Das ist bekannt. Geh mal in eine Fußgängerzone und stelle die selbe Frage mal Passanten.
Perplexity/ChatGPT sind keine Sprachmodelle
Stimmt. Es sind einfach nur sehr lange if else Ketten.
Sondern?
@xx
Und jetzt erklärst Du mal was sie sonst sind.
Es sind LLMs.
Das Problem ist, dass immer mehr Anwender dazu neigen (aus Faulheit?), ihr Denken an die KI auszulagern und irgendwann nicht mehr in der Lage sind, die Antworten zu verifizieren. Man beobachtet immer häufiger, dass der KI auch sehr banale Fragen gestellt werden (was man abends essen soll z.B.).
@Günter – erstmal Danke für die m.M. gute Zusammenfassung.
Und: Nein, nein, nein, niemals (in der heutigen "Qualität") irgendeine KI befragen – denn, 1. kostet mich die Prüfung mehr Zeit, als ich bei eigenem Studium für das Ergebnis aufbringen müßte und 2. kann ich nicht sicher sein, ob bei – wahrscheinlich – eingeschränktem Wissen die Prüfung wirklich ein adäqutes Ergebnis hervorbringt.
"die Professorin KI-Modelle wegen der auftretenden Fehler nie im privaten Umfeld verwenden würde." Na also, aber was soll im geschäftlichern Umfeld und aus welchem Grund irgend wie besser sein; hier sitzen auch nur Menschen oder DAUs bei der Bewertung oder Nicht-Bewertung.
Und wenn ich dann über die Nutzung durch unsere Jugend lese, sehe ich die nächste, noch größere, gesellschaftliche Katastrophe nach den aSozialen Medien auf uns zurollen.
Im IT-Bereich (man brauch ja nur den Block hier und die Kommentare zu lesen) auch sonstwo sieht es zur Zeit nicht wirklich gut aus.
Schönen Sonntag allen
Gibt es Untersuchungen, inwieweit die Erfolgsquote vom Alter des abgefragten Inhalts abhängt? Mir hatte eine KI in der 2. Hälfte 2025 Olaf Scholz als amtierenden Bundeskanzler vermitteln wollen. Weil der gelernte Datenbestand der KI älter als die Wahl war und die Art der Frage keinen Anlass zu Online-Recherche gab.
Die Wahrscheinlichkeit, eine Frage mit aktuellem Inhalt korrekt beantwortet zu bekommen, schätzte die KI auf ca 50%. Bei älteren Themen läge sie viel besser. :)
Gerade günstige Funkuhren, laufen in Kellern häufig falsch. Ohne Funk Empfang gehen sie schnell vor oder nach. Das gleiche trifft auf Windows 11 PCs zu, bei denen die Zeit Synchronisation nicht funktioniert. Mehrere Minuten Abweichung im Monat, sind durchaus möglich.
KI macht hält auch Fehler.
Allerdings können auch Automatisch übersetzte Support Artikel für z.B. Windows fehlerhaft sein.
Mich würde interessieren, wie viele Websiten auf der ersten Seite der Google Ergebnisse, richtige Fakten liefern? (Prozentual im Vergleich zu der Automatisierten KI Antwort.)
Na, das ist doch immerhin ein Fortschritt. Vor einem Jahr bin ich noch auf nahezu 100% Falschinformationen gekommen. Jetzt sieht es ungefähr so aus: Ein Drittel stimmt; ein Drittel ist falsch, bringt mich aber auf die richtige Spur; ein Drittel ist total daneben und wird dann auch beim Nachfragen nicht besser.
Die größte Gefahr angesichts dieser Situation sehe auch ich in der kritiklosen Übernahme von KI-Aussagen. Was in meinem Bekanntenkreis leider sehr verbreitet ist.
Und generell: Ja, auch mir stellt sich die heutige KI nach wie vor als eine (technisch unglaublich faszinierende) Lösung auf der Suche nach einem Problem dar. Ok, Filmschauspieler würde ich heute nicht mehr werden wollen, und auch Werbungs- und Modefotografen dürften keine große Zukunft haben — was aber beides auch schon vor der altuellen KI so war. Aber das sind Nischenanwendungen, die wohl kaum Billionen-Investitionen rechtfertigen können.
Na die Gefahr ist doch: für Fachbereich wo ich mich auskenne brauch ich keine KI!
Für Bereiche wo ich mich nicht auskenne, kann ich die Ergebnisse jedoch nicht verifizieren, mangels Wissen, ist da also auch wertlos.
KI sehe ich von Vorteil wenn man speziel geschlossen Systeme mit geprüften Datensätzen verwendet… zum Beispiel medizinische Diagnostic, da kann KI durchaus Zusammenhänge früh erkennen, benötigt aber denoch einen fähigen Arzt der nicht blind vertraut. Auch chemische/biologische Formeln auf Eigenschaften etc. abzuklopfen kann von Vorteil sein da man dann nur vielversprechende Ergebnisse tatsächlich prüfen muss…
setzt aber alles geschlossene und auf Herz und Nieren getestete Daten vorraus… und den Fachmann der das wirklich beurteilen kann!
Beides Sachen die heutige KI/LLM nicht haben!
Und wenn ich Spezialist sein muss um KI wirklich gefahrlos zu nutzen ist sie wiederum nutzlos.
>> Für Bereiche wo ich mich nicht auskenne, kann ich die Ergebnisse jedoch nicht verifizieren, mangels Wissen, ist da also auch wertlos.
Hm, kommt drauf an. Konkreter Fall von gerade gestern (stark gekürzt):
Ich: Kannst Du mir einen Link geben, unter dem ich eine Bedienungsanleitung für Gerät x herunterladen kann?
ChatGPT: Hier ist der Link: …
Ich: Der ist für Gerät y, nicht für Gerät x.
ChatGPT: Du hast recht, entschuldige. Hier der richtige Link: …
Ich: Das ist genau der gleiche Link.
ChatGPT: Oh sorry. Jetzt aber: …
Ich: Das ist wieder der gleiche Link.
ChatGPT: Tatsächlich. Hier ist nun der wirklich richtige Link: …
Ich: Das ist immer noch der gleiche falsche Link.
ChatGPT: <ad infinitum>
Ungelogen und nicht übertrieben. Ok, wertlos war es natürlich trotzdem…
ich nutze Gemini wenn mir etwas völlig neu ist.
Es war ja schon immer so, das man bei Google die richtigen Suchbegriffe kennen mußte um sinnvolle Antworten zu bekommen. z.B. fragte ich mich wie man bei einem Seniorenmobil die Reifen wechselt. ja. ist doch klar, man macht das mit einem Heber für Aufsitz-Rasenmäher… damit kam Amazon weiter.
ich hatte den Namen einer vor 20 Jahren lokal bekannten Person vergessen. Die KI gab mir bei jedem Versuch einen völlig falschen Namen, begründete den aber sehr ausführlich und plausibel. Aber durch die Rand Informationen kamen weitere Informationen hoch und ich auf die Idee, doch mal in der Mediathek nach der Dokumentation zu suchen. Dank depuplikations Pflicht war das sinnlos, aber ein freundlicher Mensch hatte das auf YT hochgeladen.
ich hätte mir viel Zeit sparen können, wenn ich gleich nach der Dokumentation gesucht hätte. Das erste Wort war der gesuchte Name. Hier waren die trotz Nachfrage falschen Ergebnisse unkritisch, weil ich ja genau wusste, wie der Name lautete, aber in anderen Fällen?
ich hatte mal ein rechtliches Problem. Gemini verwies auf eine EU Verordnung. den Absatz gab es gar nicht. Ich bat Gemini den Absatz zu zitieren.
Ich bekam ein perfekt in EU Deutsch formuliertes "Zitat" des nicht existierenden Absatzes…
Das kann Gemini: einen schönen Text formulieren.
Ich wollte wissen wie man bei einem Drucker die Sprache umstellt. Ein Knilch hatte die (zum Glück nur) auf französisch gestellt. Aber da Frankreich irgendwie alles englische nicht mag.
Gemini lieferte mehrere Anleitungen. Bei denen konnte man sagen: Ja, so sollte das laufen. Aber der Hersteller hatte seine eigenen Vorstellungen fand es gut, auch das Menü zur Sprach Einstellung zu lokalisieren und auf Französisch hat manches aus der IT eigene Namen…
Auch hier wäre ich manuell schneller gewesen.
Schon bei Google erlebt:
Ich hatte da nach Infos zu einem Gerät eines bestimmten Herstellers gesucht und da auch Herstellername und genaue Gerätebezeichnung eingegeben.
Das KI-Fenster meinte auf meine Frage "Ein Gerät mit der Bezeichnung XY gibt es von Hersteller Z nicht."
Und unten bei der herkömmlichen Google-Suche waren dutzende Treffer zu meiner Frage und die meisten lieferten die gewünschte Informationen.
Oder verschiedene KI-Bots wie ChatGPT, Perplexity etc. gefragt, unter welchen Bezeichnungen ein bestimmtes Automodell in anderen Ländern weltweit verkauft wurde.
Alle lieferten nur 2-3 Bezeichnungen.
Es sind aber insgesamt 6 Bezeichnungen.
Also war die Antwort aller KI-Bots unvollständig.
Und so geht es bei sehr vielen Fragen an die KI-Bots: Falsche oder unvollständige Antworten.
Und damit sind die nur mit sehr viel Vorsicht zu geniessen.
Wie gefährlich das inzwischen ist hat ein Arbeitskollege erzählt.
Dessen Sohn hat ihm etwas erzählt.
Er hat dann nachgefragt, woher er denn diese Sachen hat.
Der Sohn hat dann erzählt, das er das von einem KI-Bot hat.
Er hat dann seinem Sohn gesagt, das diese Antwort des KI-Bots falsch ist.
Der Sohn hat daraufhin geantwortet, das das nicht stimmt, das ist KI!
Der Sohn hat also der Antwort der KI mehr vertraut als der Antwort seines Vaters.
KI zu nutzen und die Antworten kritisch zu hinterfragen, das desillusioniert immer recht prompt. Warum hat sich eine Methode mit derart offensichtlichen Schwächen dann nicht längst wieder totgelaufen? – Ich selbst habe in der vergangenen Woche wider einschlägige Erfahrung zweimal KI-Chats konsultiert. Aber zuvor war ich eben mit konventionellen Suchanfragen einfach nicht weitergekommen: So sehr ich mich mit Syntax-Tricks abmühte, anstatt konkret nach meinen Eingaben zu suchen (oder meinetwegen noch nach deren englischer Übersetzung), pickten die Suchmaschinen nur ein, zwei Stichworte aus meiner Eingabe heraus und ballerten mich mit „Treffern" zu, die völlig andere Dinge erklärten.
Dass Suchmaschinen immer schlechter arbeiten, ist mir schon vor Jahren aufgefallen. Dahinter steckt „Fuzzy Logic", der illegitime Vater von KI: schlecht hinhören und vage antworten als Erfolgsrezept. Inzwischen argwöhne ich, dass das eine gezielte Vorbereitung war, um die Leute mürbe zu machen, nicht mehr selbst zu „googeln", sondern sich einem Sprachmodell anzuvertrauen, das seine Informationsdefizite hinter schönem Wortgeklingel verbirgt.
– Mir brachte die KI-Chatterei dann wieder ein paar frappierende Aha-Erlebnisse: Angebliche Ein-Klick-Lösungen a la „Öffne die Firefox-Einstellungen, gehe dort zum Punkt ‚Nervige neue Funktionen' und klicke auf das Kontrollkästchen ‚deaktivieren' ". Als ich antwortete, dass so eine Option nicht existiert (und ich ja nicht zu fragen bräuchte, wenn es so einfach wäre), hieß es „Oh, dann ist das in deiner Version nicht enthalten, magst du mir mitteilen, welche du auf welchem System verwendest? Alternativ gehe in about:config, suche die Zeile ‚browser.annoyingfeatures.disabled' und stelle den Wert auf ‚true'." Sowas stellt natürlich zwei Google-Seiten unpassender Suchergebnisse total in den Schatten!