ChatGPT schlägt echte Autoren bei Kurzgeschichten
Eine neue Studie zeigt, dass Leser KI-generierte Kurzgeschichten oft fesselnder finden als Werke menschlicher Autoren. Gleichzeitig können die meisten Menschen künstliche und echte Texte beim Lesen auf dem Papier nicht mehr sicher voneinander unterscheiden. Allerdings bewerten Probanden einen Text unbewusst sofort besser, wenn man ihnen sagt, dass ein echter Mensch ihn geschrieben hat.
Cambridge University Press - Bot or not: Can people tell the difference between stories written by a human or by an AI system? Kurzgeschichten von ChatGPT schneiden bei Lesern oft besser ab als Werke echter Autoren. Das belegt eine neue Untersuchung.
Sie zeigt auch: Menschen können künstliche und echte Texte kaum noch sicher voneinander unterscheiden. Vorbehalte trotz besserer Noten Ein Forschungsteam der Villanova University ließ knapp 1.700 Probanden verschiedene englischsprachige Kurzgeschichten bewerten. Die eine Hälfte stammte von menschlichen Autoren, die andere generierte ChatGPT.
Die KI-Texte wurden dabei als qualitativ hochwertiger und fesselnder bewertet. Die Studie offenbarte jedoch eine starke Voreingenommenheit: Die Leser bewerteten die Geschichten generell besser, wenn sie glaubten, ein Mensch habe sie verfasst. Das galt auch dann, wenn der Text in Wahrheit von ChatGPT stammte.
Die KI erzeugt demnach äußerst ansprechende Fiktion, aber die Nutzer trauen ihr diese kreative Leistung offenbar noch nicht zu. Anzeige Raten auf Zufallsniveau In einem zweiten Versuchsteil mit über 900 Teilnehmern sollten die Leser direkt entscheiden, welche von zwei vorgelegten Geschichten von ChatGPT stammte. Die Trefferquote lag dabei auf dem Niveau reinen Zufalls.
Die Teilnehmer verließen sich bei ihrer Einschätzung häufig auf die Sprache der Texte, was jedoch zu vielen Fehlurteilen führte. Lediglich Personen, die bereits viel Erfahrung mit KI besitzen, erkannten die künstlichen Texte etwas häufiger. Eine Expertise im Bereich fiktionaler Literatur half den Probanden hingegen nicht.
Praktische Erfahrung mit KI war demnach der einzige Faktor, der bei der Enttarnung maschineller Texte half. Wettbewerbe vor neuen Herausforderungen Im professionellen Literaturbetrieb sorgt diese Verwechslungsgefahr bereits für konkrete Probleme: Beim Commonwealth Short Story Prize hielten Leser gleich drei der fünf Gewinnertexte für künstlich erzeugt. Ein eingesetztes Erkennungstool bestätigte diesen Verdacht.
Das zuständige Magazin Granta führte daraufhin eine eigene Prüfung durch, kam jedoch zu keinem eindeutigen Ergebnis.