ChatGPT: Maschine hat gegenüber dem Menschen häufig die Nase vorn

Künstlicher Intelligenz im Praxistext auf den Zahn gefühlt: Eine aktuelle Studie der Hochschule Aalen zeigt, dass mit KI generierte Texte und Bilder in vielen Bereichen den vom Menschen erstellten Inhalten deutlich überlegen sind. Vor allem in den Pre- und After-Sales-Phasen von Verkaufsprozessen hatten ChatGPT und andere KI-Tools im direkten Vergleich die Nase vorn. Getestet haben die Autoren der Studie die Inhalte entlang der gesamten sogenannten Customer Journey. Vor allem in den Bereichen Glaubwürdigkeit und Formulierung konnten die KI-Inhalte die Testpersonen deutlich mehr überzeugen, bei den Kriterien Lesbarkeit und Unterhaltungswert der Texte waren die KI-generierten Beiträge immerhin gleichauf mit den redaktionell erstellten.

Glaubwürdige Marken benötigen Authentizität

In der ersten Phase der Customer Journey jedoch, die initial die Aufmerksamkeit des Kunden wecken sollen, waren die redaktionellen Inhalte überlegen. Prof. Peter Gentsch, KI-Experte, Unternehmer und Wissenschaftler sowie von AI Foundation erklärt: „Eine glaubwürdige Marke braucht Authentizität. Synthetische Inhalte, die mittels KI aus dem Internet recycelt werden, können nicht das leisten, was eine echte Markenbotschaft verlangt“. Hier zeigt sich deutlich der Qualitätsunterschied der Arbeit eines ausgebildeten Redakteurs im Vergleich zu maschinell erzeugten Inhalten.

ChatGPT: Kennzeichnung von KI-basierten Inhalten

In die Bewertung flossen auch der sogenannte Flesch-Index, der die Lesbarkeit eines Textes misst, und der Perplexity-Index ein. Letzterer beschreibt die Zufälligkeit oder Vorhersehbarkeit eines Textes. „Interessanterweise gab es hier keine klaren Muster. Anhand der beiden Indexe ließ sich nicht genau erkennen, welche Texte vom Menschen und welche von KI verfasst worden waren“, betont Gentsch. Dies sei vor allem im Hinblick auf die aktuell hitzige Diskussion spannend, ob Online-Plattformen KI-basierte Inhalte als solche herausfiltern oder kennzeichnen müssen. „Die Studienergebnisse zeigen, dass dies schlicht nicht möglich ist“, so Gentsch.

Für die Studie der Hochschule Aalen befragte das Marktforschungsinstitut appinion im Januar 2023 100 Teilnehmer unterschiedlichen Alters. Für die Studie haben die Autoren für jeden Schritt der Customer Journey drei vergleichbare Inhalte erstellt, zwei davon mithilfe der beiden Foundation-Modelle GPT-3 Playground und ChatGPT. Den dritten Text hat ein redaktioneller Mitarbeiter erstellt. (sg)

Lesen Sie auch: ChatGPT: Neue Initiative AI Foundation bringt KI in Unternehmen