KI-Geschichten schlagen Menschen im Blindtest: Studie zeigt 1,54 vs. 0,97

Neue Studien zeigen: KI-Texte schneiden im Blindtest besser ab als menschliche Werke. Die Offenlegung der Autorschaft führt jedoch zu deutlich schlechteren Bewertungen.

KI-generierte Kurzgeschichten schneiden in Blindtests besser ab als menschliche Texte. Doch die Bewertung kippt, sobald die Autorschaft bekannt wird.

Eine neue Studie, veröffentlicht am heutigen Samstag im Fachjournal Judgment and Decision Making, kommt zu einem bemerkenswerten Ergebnis: Leser bevorzugen Kurzgeschichten von Künstlicher Intelligenz gegenüber menschlich verfassten Werken – solange sie nicht wissen, wer geschrieben hat. Sobald die KI-Beteiligung offengelegt wird, schlägt die Stimmung jedoch um.

KI schlägt Menschen – im Blindtest

In drei Experimenten mit mehr als 2.500 Teilnehmenden untersuchten die Forscher Sears und Weisberg die Wirkung von KI-generierter Prosa. Das Ergebnis: Geschichten, die ChatGPT 4.0 verfasst hatte, erzielten bei unbekannter Autorschaft eine Qualitätsbewertung von 1,54 auf einer Skala von -3 bis +3. Menschliche Autoren kamen nur auf 0,97.

Auch beim Thema Immersion, also dem Eintauchen in die Geschichte, lagen die KI-Texte vorn: 1,42 gegenüber 1,00 für Menschen. Die Studienteilnehmer waren zudem kaum in der Lage, zwischen den beiden Textarten zu unterscheiden. Doch die positive Bewertung kippte dramatisch, sobald die Texte als KI-generiert gekennzeichnet wurden – besonders bei Teilnehmern, die Technologie grundsätzlich skeptisch gegenüberstehen. Wer KI positiv gegenüber eingestellt ist, bewertete die Texte dagegen auch nach der Offenlegung wohlwollend.

Zweite Studie bestätigt den Befund

Die Ergebnisse decken sich mit einer weiteren Untersuchung, die am Mittwoch von Cambridge University Press veröffentlicht wurde. Dort bewerteten 1.682 Teilnehmer im Alter von 18 bis 81 Jahren KI-generierte Geschichten ebenfalls besser, wenn sie als menschliche Werke präsentiert wurden.

Besonders interessant: KI-Texte galten häufig als klarer und verständlicher. Während Erfahrung mit KI-Tools die Fähigkeit verbesserte, maschinengeschriebene Texte zu erkennen, half umfangreiches Literaturwissen dabei nicht weiter.

Verlage im Spannungsfeld

Die wachsende Fähigkeit von KI im kreativen Schreiben fällt zusammen mit zunehmenden Spannungen in der Verlagswelt. Erst Anfang der Woche sorgten mehrere Fälle für Aufsehen, in denen Autoren beschuldigt wurden, ihre Werke mit KI erstellt zu haben.

Anzeige

Die zunehmende Qualität von KI-Texten führt zu neuen regulatorischen Anforderungen, wie der verpflichtenden Kennzeichnung von Inhalten. Welche Regeln der EU AI Act für Unternehmen und Kreative jetzt konkret vorschreibt, erklärt dieser kostenlose Report. Welche KI-Systeme gelten als Hochrisiko – und was müssen Unternehmen jetzt konkret tun?

Die Fälle von Mia Ballard, Jamir Nazir und Jerry Falade haben eine hitzige Debatte über die Zuverlässigkeit von KI-Erkennungssoftware entfacht. Falades Roman wurde nach einem KI-Verdacht vom Markt genommen. Er selbst spricht von einer Form der Voreingenommenheit. Branchenkenner verweisen auf Tools wie den Pangram-Detektor, der einem Werk der Autorin HM Wolfe eine 60-prozentige Wahrscheinlichkeit für KI-Generierung bescheinigte – ohne dass es Belege für eine systematische Diskriminierung durch die Software gibt.

Kritik an KI-Videos wächst

Während Text-KI unter Blindbedingungen punktet, steht es um andere KI-Medien schlechter. Der Streaming-Dienst Roku startete heute den Kanal „Fairground AI“, der rund um die Uhr KI-generierte Videoinhalte ausstrahlt. Die Reaktionen fielen vernichtend aus: Zuschauer beklagten inkohärente Handlungsstränge und physikalische Fehler in der Animation.

Anzeige

Wer sich professionell mit der Erstellung oder Nutzung von KI-Inhalten befasst, muss die neuen rechtlichen Rahmenbedingungen und Dokumentationspflichten genau kennen. Dieser kostenlose Umsetzungsleitfaden bietet einen kompakten Überblick über alle Fristen und Risikoklassen der neuen Verordnung. EU AI Act in 5 Schritten verstehen: Fristen, Pflichten und Risikoklassen kompakt erklärt

Bereits Anfang des Jahres warnte eine Studie im Fachjournal Conservation Biology davor, dass täuschend echte KI-generierte Wildtier-Videos das öffentliche Verständnis der Natur verzerren könnten. Die Entwicklungen verstärken Forderungen nach besserer Medienkompetenz, verpflichtender Kennzeichnung von KI-Inhalten und robusteren Herkunftsnachweisen – damit Leser und Zuschauer die zunehmend verschwimmende Grenze zwischen menschlicher und maschineller Kreativität navigieren können.