In einer umfassenden Untersuchung, die in der Fachzeitschrift „Judgment and Decision Making“ veröffentlicht wurde, haben Forscher die Wirkung von durch künstliche Intelligenz (KI) verfassten literarischen Texten analysiert. Die Ergebnisse von insgesamt drei Experimenten mit mehr als 2.500 Teilnehmenden deuten darauf hin, dass Leser KI-generierte Kurzgeschichten qualitativ oft höher bewerten als Texte, die von Menschen verfasst wurden.
Besonders detailliert wurde das erste Experiment mit 1.682 Teilnehmenden im Alter zwischen 18 und 81 Jahren ausgewertet. Diese lasen jeweils sechs Geschichten, wovon drei von Menschen und drei von dem Sprachmodell ChatGPT-4.0 stammten. Die Auswertung zeigte deutliche Unterschiede in der Bewertung: Bei der Qualität erreichten die KI-Texte einen Mittelwert von 1,54, während menschliche Texte mit 0,97 bewertet wurden. Auch bei der Immersion, also dem Eintauchen in die Geschichte, schnitt die KI mit einem Wert von 1,42 besser ab als die menschlichen Autoren, die einen Wert von 1,00 erreichten.
Wahrnehmung und Identifikation der Urheberschaft
Ein zentraler Aspekt der Studie war die Unfähigkeit der Probanden, den Ursprung der Texte verlässlich zu identifizieren. Den vorliegenden Daten zufolge konnten die Teilnehmer KI-generierte Geschichten nicht besser als durch bloßen Zufall von menschlichen Werken unterscheiden. In weiteren Experimenten mit 424 beziehungsweise 481 Teilnehmenden erkannten über 60 % beziehungsweise über 48 % den Ursprung der Texte nicht korrekt. Die Erkennungsraten in diesen Versuchsanordnungen lagen konkret bei 39,93 % und 51,97 %.
Wer sich mit der professionellen Nutzung solcher KI-Systeme befasst, muss heute auch die rechtlichen Rahmenbedingungen und Kennzeichnungspflichten kennen. Dieser kostenlose Leitfaden bietet Unternehmen einen kompakten Überblick über alle Anforderungen und Fristen der neuen EU-KI-Verordnung. EU AI Act in 5 Schritten verstehen
Interessanterweise beeinflusste die Erwartungshaltung das Urteil der Testpersonen erheblich. Wurde den Teilnehmern explizit mitgeteilt, dass eine Geschichte von einem Menschen stamme, fielen die Bewertungen systematisch höher aus. Dieser Effekt der positiven Zuschreibung galt unabhängig davon, ob der Text tatsächlich menschlichen Ursprungs war oder von der KI generiert wurde.
Stilistische Unterschiede und Einflussfaktoren
Die Seniorautorin der Studie, Deena Weisberg von der Villanova University, die das Projekt in Zusammenarbeit mit der Cambridge University Press durchführte, analysierte die stilistischen Merkmale der Texte. Sie hielt fest, dass die Texte der künstlichen Intelligenz in der Regel direkter und klarer formuliert seien. Im Gegensatz dazu zeichne sich menschliches Schreiben oft durch eine höhere Subtilität aus. Von den Probanden wurden die KI-Texte zudem als flüssiger und leichter lesbar beschrieben.
Während KI-Texte immer schwerer von menschlichen Werken zu unterscheiden sind, stellt die EU klare Regeln für die Dokumentation und Transparenz beim Einsatz von KI auf. Erfahren Sie in diesem kostenlosen Report, welche Systeme als Hochrisiko gelten und was Verantwortliche jetzt konkret tun müssen. Kostenlosen Umsetzungsleitfaden zum EU AI Act sichern
Die Untersuchung gab zudem Aufschluss darüber, welche Faktoren die Erkennungsfähigkeit beeinflussen. Während allgemeines Wissen über künstliche Intelligenz den Teilnehmern dabei half, die Urheberschaft besser einzuschätzen, hatte ausgeprägtes literarisches Fachwissen keinen messbaren Einfluss auf die Trefferquote. Die Studie unterstreicht damit die zunehmende Schwierigkeit, im Bereich der Kurzprosa zwischen technischer Generierung und menschlicher Kreativität zu differenzieren, da die KI-Texte nicht nur als qualitativ gleichwertig, sondern in puncto Engagement und Lesbarkeit oft als überlegen wahrgenommen werden.
