Praxistest Blog-Artikel: Die Nachteile von ChatGPT

Text-Roulette für Fortgeschrittene

Der Hype um ChatGPT flacht langsam ab. Das kommt einerseits daher, dass Hypes grundsätzlich eine relativ kurze Lebensdauer in unserer schnelllebigen Welt haben; andererseits, weil dem Mythos des allmächtigen KI-Tools nach einer längeren Experimentierphase der Wind aus den Segeln genommen wurde.  

ChatGPT ist in der Tat ein sehr mächtiges Instrument, das Copywritern, Übersetzern und all jenen, die mit Content arbeiten, noch viel Freude bereiten wird. Aber OpenAI’s Wortzauberer hat einige Macken, die wir nicht unter den Teppich kehren dürfen. Diese Mängel sind vordergründig sprachlicher und inhaltlicher Natur und kommen vordergründig zur Geltung, sobald ChatGPT längere, komplexere Textabschnitte formulieren soll. 

Das Experiment: Use Case anhand eines Blog-Artikels 

Ich habe einem Kunden von mir, einem Hotel in Südtirol, angeboten, einen Blog-Artikel so gut umfangreich wie möglich von ChatGPT schreiben zu lassen – natürlich mit nachträglicher Überarbeitung. Der Text sollte das Hotel als das perfekte Reiseziel für die Flitterwochen anwerben. Letztlich hätte ein geringerer Aufwand herausspringen sollen, als wenn ich das Ganze von Grund auf selbst geschrieben hätte.

Nach der Keyword-Recherche, der Gliederung und der Formulierung der Unterüberschriften habe ich die KI die jeweiligen Textabschnitte selbst formulieren lassen. Ich erhoffte mir dadurch, meinen Kunden günstigere Artikel anbieten zu können.

Dabei habe ich bei der Textgenerierung zu den verschiedenen Abschnitten ChatGPT Folgendes aufgetragen:

„Schreibe einen Text mit rund 250 Wörtern zur Überschrift ‘XXX’. Baue dabei die Keywords YYY, ZZZ etc. ein. Verwende dafür einen verträumten Tone of Voice.“

Im weiteren Verlauf habe ich den Prompt ergänzt:

„Führe den Text weiter und schreibe …“

Logik: ChatGPT macht sich die Welt, wie es ihm gefällt

Die Tatsache, dass der Text komplett dysfunktional war, beruhte vorwiegend darauf, dass ChatGPT bei längeren Artikeln laufend inhaltliche Fehler einbaut. Es verdreht Konzepte, erfindet Fakten und folgt seiner ganz eigenwilligen Argumentation. 

Erfundene Fakten 

Die Betreiber des Hotels wollen sich als Honeymoon-Hotel positionieren. Sie wollen Paare anlocken und mit maßgeschneiderten Angeboten davon überzeugen, diese wunderbare Zeit bei ihnen im Haus zu verbringen.  

ChatGPT hat sich einfach gedacht: Das Hotel hat sicherlich ein eigenes Honeymoon-Package. Das könnte sein – aber das war weder im Prompt vorgegeben noch ist es auf der Website auffindbar. Der Schlingel hat sich einfach ein naheliegendes Wording für das Paket überlegt und dabei ein paar Services dazu gedichtet. 

Klarerweise kann dieser Input als guter Ausgangspunkt für eine eigene Formulierung dienen – den Absatz muss ich trotzdem komplett selbst ausformulieren, eine kleine Anpassung allein hätte nicht gereicht.  

Falsche/Eigenwillige Schlussfolgerungen 

Hier war ChatGPT besonders kreativ: Was macht ein gutes Honeymoon-Hotel aus? Ein gutes Badezimmer, eine nette Einrichtung, eine einladende Atmosphäre – klingt nachvollziehbar. 

Inwiefern dies mit der wunderbaren Natur zusammenhängt, mit der ChatGPT seine These im Absatz danach untermauern will, bleibt ein Geheimnis der KI. Die Eigenwilligkeit in seiner Logik lässt sich auch im nächsten Abschnitt wunderbar zur Schau stellen: 

Im ersten Satz geht ChatGPT auf die entspannende Wirkung der verschiedenen Elemente (Berge, Wälder) der Südtiroler Landschaft und Natur ein – um uns im nächsten Satz die Landschaft und Natur selbst als besonderes Highlight zu verkaufen.  

Das Tool schließt vom Kleinen (Berge, Wälder) auf das Große (Landschaft, Natur), anstatt, wie in diesem Fall logischer, vom Großen aufs Kleine. In umgekehrter Reihenfolge würde der Absatz mehr Sinn ergeben.  

Mangelnde Vernunft

Der nächste Abschnitt ist auf Englisch, da ich während des Experiments zum Schluss gekommen bin, dass ChatGPT seine Schwierigkeiten mit der deutschen Sprache hat. Dazu später mehr. 

Während ChatGPT im Beispiel davor eine gewisse Logik vermissen ließ, so muss man der KI bei diesem Beispiel die Vernunft absprechen. An dieser Stelle sollte das Hotel den aus seiner Sicht perfekten Flitterwochen-Tag empfehlen: 

Your content goes here. Edit or remove this text inline or in the module Content settings. You can also style every aspect of this content in the module Design settings and even apply custom CSS to this text in the module Advanced settings.

Redundanz: Wenn ich es oft genug wiederhole, wird es irgendwann stimmen 

Mangelnde Kreativität ist einer der Hauptvorwürfe, denen sich ChatGPT ausgesetzt sieht – zu Recht. Gerade bei längeren Texten glänzt die KI durch Wiederholungen der immer gleichen Wörter und Satzstrukturen.  

Wiederholung ganzer Absätze

Bei gelegentlichen inhaltlichen Redundanzen lässt sich ein Auge zudrücken, zumal Wiederholungen ein probates Stilmittel sein können, um Leser und Leserinnen an vorangegangene Inhalte zu erinnern oder diese in einen neuen Zusammenhang zu setzen.  

Im folgenden Beispiel lässt sich weder eine Gegenüberstellung zweier Konzepte erkennen noch eine Wiederaufnahme des Inhalts zwecks neuer Einordnung. Die folgenden Absätze wurden an verschiedenen Stellen wie Füllmaterial eingefügt und nur minimal von ChatGPT umgestellt oder verändert: 

Überhaupt spielt im ganzen Artikel die Natur von Südtirol eine übergeordnete Rolle, was den gewünschten Effekt, das Hotel als großartige Flitterwochen-Destination darzustellen, in den Hintergrund rückt. 

Beim nächsten Beispiel wiederholt sich ChatGPT inhaltlich begrenzt, dafür lässt es eine Folge von Absätzen immer gleich beginnen, als ob es bei einer mündlichen Prüfung den Stoff auswendig herunterleiert:  

Wiederholung ganzer Formulierungen

Durch die Redundanz inhaltlicher Elemente kommt es unweigerlich zu Wiederholungen bei einzelnen Formulierungen. Es scheint fast so, als ob hier ChatGPT mit einzelnen Satzbausteinen Konzepte ins Gehirn der Rezipienten einbrennen will.  

Hier veranschaulicht am Beispiel „[…] bietet eine hervorragende im Herzen […]“. Diese Wortfolge findet sich ganze 3-mal im Text:   

Auf den ersten Blick erscheint das nicht einmal übertrieben. Doch die Formulierung sticht schon beim ersten Durchlesen heraus, zumal es sich um eine Metapher handelt. Und solche rhetorischen Mittel werden gerade deswegen eingebaut, um im Gedächtnis der Leser zu bleiben und Emotionen hervorzurufen. Umso mehr sollten diese Kunstgriffe nicht öfter als einmal in einem relativ kurzen Text wie einen Blog-Artikel verwendet werden.  

Wiederholung einzelner Wörter   

Ein stilistisch absolutes No-Go hingegen sind sich stetig wiederholende Wörter – besonders Adjektive. Adjektive beschreiben bekanntlich etwas – kommt einem Gegenstand, Person oder Sonstigem immer die gleiche Beschreibung zu, verliert das Adjektiv seine Wirkung. 

Adjektive sollten insgesamt mit Bedacht eingesetzt werden, da zu viele beschreibende Elemente den Lesefluss unnötig in die Länge ziehen. Nichtsdestotrotz hat sich ChatGPT gedacht, diese eine Eigenschaft sollen sich alle merken, die seinen Text vor die Augen bekommen. Ironischerweise handelt es sich dabei um das Wort „unvergesslich“ – ganze 20-mal macht uns die KI darauf aufmerksam, dass wir dies und das nicht mehr vergessen werden.

Sprachkompetenz: deutsche Sprache schwere Sprache

Kommen wir zum letzten Punkt: den sprachlichen Unzulänglichkeiten von ChatGPT. Ja, Deutsch ist eine schwere Sprache. Und ja, ChatGPT wurde wohl mit vorwiegend englischsprachigen Daten gefüttert. Dies war unter anderem der Grund, wieso ich bei diesem Experiment beim zweiten Anlauf den Text auf Englisch generiert habe.  

Klar bewege ich mich hier auf dünnem Eis – immerhin bin ich keineswegs frei von Fehlern. Ein Flüchtigkeitsfehler hier, ein grober Schnitzer da – das kann allen passieren. 

Nichtsdestotrotz war ich überrascht, welche Fehler ChatGPT in seine Fromulierungen einbaut. Dabei erkannte ich Muster, die ich auch von Korrektur-Tools wie LanguageTool oder Duden-Mentor kenne.  

Komma-Setzung 

Wo ein Komma im Deutschen gesetzt wird, ist ganz klar definiert. Wahrscheinlich gibt es kaum eine Sprache, die so wenig Spielraum beim Setzen der Beistriche lässt wie das Deutsche. Klar gibt es einzelne Fälle, bei denen man ins Zweifeln kommt. Grundsätzlich sind die Regeln jedoch ganz klar definiert.  

Eine Definition besagt: Bei Konjunktionen, die zwei Hauptsätze miteinander verbinden, wird kein Komma gesetzt. Das prominenteste Beispiel ist die Konjunktion „und“. Auch „sowie“ gehört zur erlesenen Gruppe der kommalosen Bindewörter. ChatGPT kennt die Regel nicht (immer):  

Außerdem würde ich auch kein Komma nach „Outdooraktivitäten“ setzen. Insgesamt erscheint es, dass ChatGPT kurzerhand die Komma-Setzung aus dem Englischen übernommen hat. Gerade im amerikanischen Raum steht „and“ oder „as well as“ gerne mit Beistrich.  

Kongruenz

Fehler, die mich sehr überrascht haben, sind die Kongruenzfehler. Dabei scheint ChatGPT hauptsächlich mit der Angleichung von (unbestimmten) Artikeln Schwierigkeiten zu haben.  

Ich würde das sogar als einen extrem menschlichen Fehler ansehen. Dass man einen Satz anfangs im Kopf schon parat hat, ihn allerdings auf halber Strecke neu denkt und so Fehler in der Kongruenz entstehen, kennen so ziemlich alle Schreiberlinge. Wie das einer Maschine passiert, ist mir ein Rätsel. ChatGPT hat in meinem Text gleich zwei Schnitzer eingebaut: 

Tatsächlich scheint ChatGPT mit einigen Konzepten der deutschen Sprache seine Schwierigkeiten zu haben. Englische Texte kommen flüssiger rüber und weisen zudem weniger sprachliche Fehler auf.  

Fazit 

Nach der Welle der Begeisterung, die ChatGPT anfangs ausgelöst hat, folgt nun langsam die Ernüchterung. Ich werde nicht müde zu wiederholen, dass OpenAI hier ein Tool auf den Weg gebracht hat, dass die Arbeit für Autoren, Copywriter und Journalisten unglaublich bereichert.  

Nichtsdestotrotz muss mit ChatGPT behutsam umgegangen werden. Für Inhaltsideen, kurze Textpassagen oder standardisierte Texte können wir ohne große Angst vor Fehlern darauf zurückgreifen.  

Geht es ins Kreative, weist es klare Grenzen auf. Es wiederholt sich, wählt keine ausgefallenen Satzstrukturen oder Formulierungen, folgt gerne seiner eigenen Logik und baut kleinere Fehler ein.  

Noch ist ChatGPT nicht so weit, ganze Artikel zu schreiben. Das wird es mittel- oder langfristig sicherlich passieren – aber auch dann kommen wir wohl nicht darum umhin, die Texte nachzubearbeiten.  

Hier der von ChatGPT generierte Text in seiner ganzen Pracht.