KI-Texterstellung: Wie gut sind ChatGPT & Co wirklich?

Wie funktioniert die KI-Texterstellung?

Künstliche Intelligenz ist in der Lage, die natürliche Sprache des Menschen zu verstehen, zu produzieren und kann sogar menschliche Emotionen erkennen und nachahmen. So können beispielsweise Chatbots auf geschriebene Fragen antworten oder wir mit Siri, Alexa & Co kommunizieren. Bei der KI-Texterstellung werden dafür, basierend auf einem neuronalen Sprachmodell, Datensätze als Trainingsdaten eingesetzt, sodass das gelernte Modell dazu verwendet werden kann, ähnliche Texte wie die Trainingsdaten zu erstellen. Ähnlich wie das menschliche Gehirn lernen diese Modelle anhand der Daten, Satzstrukturen und Themenzusammenhänge und können so eigene neue Texte generieren. Das grundlegende Training von hochpräzisen Sprachmodellen für spezifische Anwendungen ist sehr komplex, kosten- sowie zeitintensiv und für Laien unmöglich durchzuführen. Doch die Entwicklung der Sprachmodelle zur KI-Texterstellung geht stetig voran. Durch die Architektur so genannter Transformer-Modelle entfallen die aufgabenspezifischen Feinabstimmungen. Transformer werden anhand von großen Datenmengen (Büchern, Websites u.v.m.) vortrainiert, sodass sie anschließend nicht nur Texte für eine Vielzahl von Themengebieten generieren können, sondern auch weiterführende Aufgaben, wie beispielsweise Programmieren, Übersetzen oder Ideen sammeln. Hinzukommt, dass es einige Organisationen gibt, die ihre auf einer großen Datenmenge vortrainierten Transformer-Sprachmodelle zur KI-Texterstellung inzwischen öffentlich zur Verfügung stellen.

Wie die KI-Texterstellung den Einzug in unseren Alltag gefunden hat

Eine Organisation, die wohl allen bekannt ist und in den letzten Monaten für zahlreiche Schlagzeilen gesorgt hat, ist OpenAI mit ihrer Technologie ChatGPT. 2019 veröffentlichte das Unternehmen, das sich mit der Erforschung von Künstlicher Intelligenz beschäftigt, mit GPT-2 zum ersten Mal den Code des kostenlosen Chatbots. OpenAI selbst hatte – aus Sorge vor Missbrauch – GPT-2 erst nach einer neunmonatigen Forschung gänzlich veröffentlicht, in der das Missbrauchspotenzial als gering eingestuft wurde. Während GPT-2 noch einige Schwachstellen in der KI-Texterstellung bezüglich Grammatik, Syntax und der Kohärenz aufwies, wurden diese mit der Weiterentwicklung von GPT-3 im Jahr 2020 bereits deutlich optimiert. Im November 2022 wurde ChatGPT dann als Web-App für die Öffentlichkeit zur Verfügung gestellt – damit kam auch der Hype in der Gesellschaft um das innovative Sprachmodell auf. Aktuell ist die Version GPT-3.5 bei OpenAI für alle Interessierten kostenlos nutzbar. Im März 2023 veröffentlichte OpenAI bereits den Nachfolger GPT-4, der, laut eigenen Aussagen, noch fortschrittlicher ist als sein Vorgänger. Um dies einmal in Zahlen zu verdeutlichen: Während GPT-3 mit 175 Milliarden Parametern trainiert wurde und zum Veröffentlichungszeitpunkt bereits das größte je erstellte Sprachmodell war, glänzt GPT-4 aktuell mit 100 Billionen Trainings-Parametern.

Es ist erkennbar, dass die Entwicklung im Bereich der KI-Texterstellung alleinig in den letzten vier Jahren enorme Fortschritte gemacht hat. Auch unser Partner Microsoft investiert seit 2019 in das Unternehmen OpenAI, um KI in ihren Produkten und Services nachhaltig etablieren zu können. Der Microsoft Copilot beispielsweise ist ein KI-gestützter Assistent, der in alle 365-Anwendungen eingebettet ist und den Microsoft-Nutzer:innen personalisierte Unterstützung bei ihren Aufgaben bietet. Es ist also zu erwarten, dass uns auch in den nächsten vier Jahren noch zahlreiche Entwicklungen im Bereich der KI-Texterstellung begleiten werden.

Aber sind KI-Texte wirklich so gut?

Ehrlich gesagt, ja, bzw. häufig zumindest. Fest steht definitiv, dass eine KI wirklich gute Texte schreiben kann und Forschungen zeigen, dass wir Menschen häufig nicht in der Lage sind, zwischen menschlichen und KI-Texten zu unterscheiden. Dabei ist es auch egal, ob es sich um einen Nachrichtenartikel, einen Sportbericht, eine Rezension oder sogar ein politisches Statement handelt. Selbst Gedichte kann eine KI schreiben – und zwar so überzeugend, dass Menschen selbst dann nicht zwischen menschlicher und maschineller Poesie unterscheiden können, wenn die KI-Gedichte mit Gedichten angesehener Dichter konkurrieren. Anzumerken ist jedoch, dass die in diesen Studien zur KI-Texterstellung verwendeten Sprachmodelle noch explizit für das jeweilige Aufgabengebiet speziell trainiert wurden.

Wie sieht es denn aber mit unseren öffentlichen „Rund-um-Chatbots“ wie ChatGPT aus? Auch hier lassen sich erste Hinweise finden, dass wir nicht in der Lage sind, eine Unterscheidung zu treffen. In einer Studie von Brown et al. aus dem Jahr 2020 wurden Nachrichtenartikel durch GPT-3 erstellt und mit von Menschen geschriebenen Nachrichtenartikeln verglichen. Es zeigte sich, dass die richtigen Zuordnungen mit 52% kaum über dem Zufallsniveau lagen. Auch können Technologien zur KI-Texterstellung überzeugende Schülertexte und sogar wissenschaftliche Studienzusammenfassungen schreiben.

Warum können wir KI-Texte nicht erkennen?

Wenn wir vor die Wahl gestellt werden, einen Text als maschinell oder menschlich zu detektieren, neigen wir dazu, diejenigen Texte als KI-Texte einzustufen, die einfach geschrieben sind. Jedoch ist es nicht der Fall, dass eine KI immer einfachere Texte schreibt als ein Mensch. Die Lesbarkeit und grammatikalische Ausdrucksweise von KI-Texten passen sich immer mehr an die Texte menschlicher Verfasser:innen an. Dadurch sind wir nicht in der Lage zu erkennen, ob ein Text von der KI oder einem Menschen geschrieben wurde. Hinzukommt, dass wir unsere eigenen Glaubwürdigkeitsüberzeugungen dafür nutzen, einen Text als KI-Text zu detektieren. Das bedeutet: Für je glaubwürdiger wir einen Inhalt halten, desto wahrscheinlicher stufen wir diesen Text als von einem Menschen erstellt ein. Somit zeigte sich bereits bei einer Untersuchung von menschlichen und maschinell erstellten politischen Statements, dass Personen eher die Texte als KI-Texte vermuteten, die sie für unglaubwürdig hielten.

Das bedeutet erst einmal prinzipiell: Eine KI kann genauso gute Texte wie ein Mensch erstellen. Jedoch ergeben sich innerhalb der KI-Texterstellung natürlich auch ein paar Schwachstellen, die wir uns bewusst machen können und bei der eigenen Nutzung auch immer bedenken sollten.

Warum Menschen doch noch besser texten können als KI-Technologien

Eine große Herausforderung bei der KI-Texterstellung ist, dass die KI auf ihre trainierten Daten zurückgreift. Stellen wir ChatGPT eine Frage oder bitten um einen Textentwurf, greift es auf das angelernte Wissen zurück, um Antworten zu generieren. Können dort Informationen nicht gefunden werden, sind veraltet oder zu aktuell, kann es zu Fehlern innerhalb der KI-Texte kommen. So kann der Fall eintreten, dass bei der KI-Texterstellung falsche Behauptungen und sogar selbst ausgedachte Inhalte bereitgestellt werden. Teilweise zitiert ChatGPT sogar aus Quellen, die gar nicht existieren. Das Fatale daran: Studien zeigen, dass wir diese Widersprüche oder faktischen Fehler zwar manchmal wahrnehmen, teilweise scheinen diese Einschränkungen der KI-Texte jedoch so subtil zu sein, dass Menschen diese bei der Entscheidung für oder gegen einen KI-Text nicht heranziehen können oder möchten. Auch spielen hierbei die bereits oben erwähnten eigenen Glaubwürdigkeitsüberzeugungen eine Rolle. Vor allem vor dem Hintergrund der stetig zunehmenden Verbreitung von Fake News ist es daher wichtig, bei der eigenen KI-Texterstellung immer die bereitgestellten Informationen zu überprüfen und gegebenenfalls zu überarbeiten.

Gute Prompts sind die Grundlage für gute KI-Texte

Zudem sollten wir uns bewusst sein: Eine KI kann kein menschliches Gehirn ersetzen, sondern greift auf erlernte Muster zurück und berechnet alleinig die Wahrscheinlichkeit für das nächste Wort. Zur besseren Verdeutlichung haben wir ChatGPT einmal zwei unserer Social-Media-Posts schreiben lassen: zu unserer Sommerfeier (Abbildung 1) und unserem Besuch auf der Microsoft 365 Conference in Las Vegas (Abbildung 2).

Auffällig dabei ist, dass beide KI-Texte immer einen kurzen Einleitungssatz haben: „Was für eine Sommerfeier“ bzw. „Wow, was für eine inspirierende Zeit auf der Microsoft 365 Conference in Las Vegas!“. Eigentlich auch sehr gelungen, da meist beim Hinzufügen der Bilder nur der erste Satz innerhalb von Social-Media-Posts direkt sichtbar ist. Für unseren Geschmack sind beide Posts jedoch einfach etwas zu überschwänglich. Erkennbar ist, dass ChatGPT bei der Aufgabe, einen Social-Media-Post zu erstellen, immer einem ähnlichen Muster folgt und viele Superlative und Euphemismen wie neuesten, einmalig, unglaublich, magisch, unvergesslich, fantastisch usw. innerhalb der Postings nutzt. Hinzu kommen nach jedem Satz zwei bis drei thematische Emojis. Wenn wir ChatGPT bitten, den Post etwas neutraler zu formulieren, wird es sprachlich aus unserer Sicht passender. Wie man sieht: Die richtigen Prompts spielen bei der KI-Texterstellung eine wichtige Rolle. Unter einem Prompt sind die Eingabeanforderungen von Nutzer:innen (Befehle für die KI in Textform) zu verstehen, um einen gewünschten Output zu erhalten. Innerhalb der Nutzung von Künstlicher Intelligenz kommen Prompts eine Schlüsselrolle zu, da mit der Qualität der Eingaben auch die Qualität der Ergebnisse einhergeht.

Ähnlich verhält es sich bei den zur Verfügung gestellten Informationen innerhalb der Prompts: In unseren Beispielen haben wir ChatGPT viele Hintergrundinformationen zu unseren Events und ihren Inhalten geliefert. Da die Microsoft 365 Conference in Las Vegas sehr aktuell ist und ChatGPT anscheinend noch keine Daten dazu hat, wurde bei einfacher Prompt-Eingabe von „Schreibe einen Social-Media-Beitrag zu unserem Besuch auf der Microsoft 365 Conference in Las Vegas, an der zwei Kollegen teilgenommen haben“ auch nur ein durchschnittlicher Beitrag erstellt, den wir für so gut wie jede Konferenzteilnahme hätten anwenden können (Abbildung 3).

Unser Fazit zur KI-Texterstellung: Der Umgang damit muss gelernt sein

Die KI-Texterstellung ist ein mächtiges Tool, das uns damit helfen kann, zukünftig zeitaufwändige Routineaufgaben abzunehmen und uns vor allem bei unseren Ideen zu unterstützen sowie unsere Kreativität auf ein neues Level zu heben. Neben der reinen KI-Texterstellung ist ChatGPT zudem für viele weitere Anwendungsszenarien – vor allem im Unternehmenskontext – denkbar. Dazu werden wir in den nächsten Beiträgen noch einige Use Cases für die Nutzung von ChatGPT im Arbeitskontext vorstellen. Wir müssen jedoch lernen, mit KI in unserem Alltag umzugehen und die richtigen Anforderungen zu stellen, um optimale Ergebnisse zu erzielen. Zudem sollte sich jede:r Nutzer:in bewusst sein, dass die Technologien zur KI-Texterstellung gleichzeitig auch Schwachstellen und Missbrauchspotenzial aufweisen, die wir unbedingt bei der Anwendung bedenken und mit unseren menschlichen Fähigkeiten reflektieren müssen.

Oder um es mit den Worten von ChatGPT zu sagen: „Ich bin ein virtuelles Werkzeug, das entwickelt wurde, um Informationen bereitzustellen und bei verschiedenen Aufgaben zu unterstützen. Wie Menschen mich nutzen, um ihren Alltag zu verändern, liegt in ihrer eigenen Entscheidung.“