GPT, das KI-basierte Sprachmodell von OpenAI, hat die Content-Produktion revolutioniert. Es generiert automatisch Texte und Inhalte, die von menschlichen Inhalten nicht zu unterscheiden sind. Johannes Sommer nimmt Sie mit auf die Reise KI-gestützter Content-Produktion.

Was verbirgt sich hinter dem Kürzel GPT

GPT ist in aller Munde, doch was verbirgt sich hinter den 3 Buchstaben?
G = generatives Sprachmodell, das natürlichsprachlichen Text erzeugt. Es ahmt die menschliche Sprache nach und generiert automatisch Text, der von Inhalten, die von realen Menschen geschrieben wurden, nicht mehr zu unterscheiden ist.
P = Pretrained heißt, dass das Sprachmodell anhand einer umfangreichen Menge an globalen Textdaten trainiert wurde.
T = Transformer ist der Name der Architektur des neuronalen Netzes, mit dem das Modell trainiert wurde.

OpenAI – Die treibende Kraft hint­er der KI-Innovation

Das amerikanische Unternehmen Open AI konzipierte das Sprachmodell. Nach einigen Entwicklungen und der heutigen Beteiligung von Microsoft ist die Kommerzialisierung ein erklärtes Ziel und ein Unternehmenszweck. Assistenzfunktionen werden in Microsoft Produkte integriert. Viele andere Player, u.a. Google, Meta, SAP, Adobe investieren stark in die Inte­gration von KI-Technologien in die eigene Produktlandschaft.

Das faszinierende Rätsel des Sprachmodells und seines Trainings

Die Basis des Sprachmodells wurde auf allen Inhalten, die im englischsprachigen Internet und darüber hinaus verfügbar sind, trainiert.

Es ist wichtig zu betonen, dass ein Sprachmodell Wahrscheinlichkeiten nutzt, um den Kontext einer Eingabe zu analysieren und darauf basierend das wahrscheinlichste nächste Wort zu generieren.

Das Modell lernt aus einer Vielzahl von Inhalten im Internet und passt seine Wahrscheinlichkeiten an. Durch Änderung des Kontexts ändern sich die Wahrscheinlichkeiten der nächsten Wörter. ChatGPT funktioniert nicht durch das Abrufen von Wissen, sondern durch die Generierung von Wortketten auf Basis von Wahrscheinlichkeiten.

Beispiel: „I ate the pizza, while it was still ?”. Auf Basis der Wahrscheinlichkeit des nächsten Wortes schreibt das Sprachmodell diesen Satz weiter. In diesem Beispiel liegt die Wahrscheinlichkeit, dass das nächste Wort „hot“ heißt, bei 80,45 %.

Wenn sich der Kontext des Inputs verändert, ändert sich die Wahrscheinlichkeit des nächsten Wortes. Bei der Eingabe „My oven broke, so I ate the pizza while it was still ?“ ist das nächstwahrscheinlichste Wort nicht mehr „hot“, sondern „cold“.

ChatGPT rechnet aus, welches Wort das nächste ist. So werden Wortketten gebaut. Dieses nächste Wort oder Zeichen nennt man Token.

Token & Prompts: Schlüsselkomponenten hinter GPT‘s Sprachmodell

Tokens sind der generierte Output, der Input wird Prompt genannt. Ein Prompt kann z.B. eine Frage sein. Als Input wird  bei ChatGPT die gesamte Konversation betrachtet. Fragen und Antworten werden im Kontext analysiert, da der komplette Verlauf der Konversation bei der Nutzung von ChatGPT berücksichtigt wird.

Bei der Berechnung der Tokens spielt die Länge der Ein- und Ausgabe eine Rolle. Denn bei längeren Eingaben können mehr Tokens generiert werden, was wiederum die Komplexität der Berechnung erhöht.

Die Kehrseite der Medaille

Trotz der beeindruckenden Fähigkeiten, gibt es Schwächen, von denen einige beschrieben werden sollen. Das Rechnen, Zählen und Buchstabieren funktioniert bspw. nicht gut. Das liegt daran, dass – und das kann nicht häufig genug wiederholt werden – GPT kein Wissensmodell, sondern ein Sprachmodell ist. Ein Beispiel verdeutlicht dies:

Wie lange brauchen 24 Musiker, um ein Musikstück zu spielen, wenn 12 Musiker 10 Minuten benötigen? Diese Frage wurde sowohl GPT-3 als auch GPT-4 gestellt.

GPT-3 antwortete: 5 Minuten.

Weist man GPT-4 auf den Fehler hin, so folgt eine Entschuldigung und Erläuterung, warum das nicht logisch ist: Und selbstverständlich folgt die richtige Lösung. Dieses Beispiel verdeutlicht, wie enorm der Entwicklungssprung von GPT-3 auf GPT-4 war.  

Wenn der Mensch zum Problem für die KI wird

Da Menschen die KI trainieren, stellt die ungewollte Voreingenommenheit in KI-Systemen eine Herausforderung dar. Ein Problem, das sich nicht vollständig beheben lässt.

Was wird sich drastisch ändern?

Die KI hat Einzug in viele Arbeitsbereiche gehalten. Texte werden KI-gestützt erstellt, Gegenargumentationen oder Zusammenfassungen geschrieben, Bilder und Fotos aufgrund eines Textbriefings generiert, Codes geschrieben, Videos oder Multimedia Books in Echtzeit erstellt. Und jede Woche gründen sich eine Vielzahl neuer Unternehmen und Startups, die neue Anwendungen entwickeln. Dementsprechend sehen wir uns einer regelrechten Flut von Anwendungen gegenüber, die sich auch auf unsere Geschäftsprozesse auswirken.

Kreative Ansätze zur erfolgreichen Content-Produktion

Im Folgenden werden nur einige Ideen aufgeführt, in welchen Bereichen Sie KI bei der Content-Erstellung unterstützen kann.

• Zusammenfassung von Inhalten, Teaser, Rewrites generieren
• (personalisierte) Newsletter
• Agenturmeldungen individualisieren
• Augmented Writing
• Content Discovery & Recherche
• SEO Ghostwriting
• Videobuchproduktion für Podcasts und Hörbücher
• Illustrationen für Inhalte
• Bildunterschriften generieren

Beispiele aus der Praxis von Retresco

• Immobilienscout erstellt automatisierte Exposés.
• Retresco produziert wöchentlich 124.000 Fußballspielberichte für den Deutschen Fußball-Bund (DFB). Die Schiedsrichter übermitteln die Daten an Fußball.de, basierend darauf werden die Texte erstellt.
• Media Markt und Saturn erstellen automatisiert Produktbeschreib­ungen, die von einem kleinen Redak­tionsteam verwaltet werden.

Wie die Beispiele zeigen, bilden Kundendaten die Grundlage für maßgeschneiderte, automatisch generierte Texte. Vorher ausgewählte Attribute werden von der KI genutzt, um die Produkte zu beschreiben bzw. die Texte zu verfassen. Auch wenn im Prozess noch immer ein Mensch involviert ist, der das Modell überprüft und bestätigt, kann dadurch Content in großem Maßstab produziert werden.

Datenschutz bei OpenAI?

Open AI hat in der letzten Zeit vieles getan, um DSGVO gerecht zu arbeiten. Zum Beispiel können Businesskunden ausschließen, dass ihre Daten für das Training der Sprachmodelle genutzt werden.

Fazit

Roy Amara, Ehemaliger Präsident des Institute for the Future sagte übersetzt: „Wir neigen dazu, die Auswirkungen einer Technologie auf kurze Sicht zu überschätzen. Natürlich gibt es die ein oder andere Kinderkrankheit, die wir belächeln. Doch unterschätzen wir die Auswirkung auf lange Sicht.“