Gaspito: Ein hybrider Ansatz zur qualitativen Textparaphrasierung mit state-of-the-art KI

von Michael Janz, Deep-Learning Architect

Das Modellentwicklungsteam unseres technischen Partners Ella Lab hat nahezu zwei Jahre an der Entwicklung präziser und effizienter Modelle zur Paraphrasierung von Texten für den deutschen und englischen Markt gearbeitet. Dadurch war es uns möglich, ein Maximum an Kontrolle über die Textgenerierung zu erlangen, die Entscheidungen unserer Modelle intersubjektiv nachvollziehbar zu machen und sie schrittweise zu optimieren.

Auf diesem Weg mussten viele Herausforderungen bewältigt werden. Die Texte sollten einzigartig, sachlich korrekt und mit ausreichenden strukturellen Änderungen versehen sein, gleichzeitig aber auch dieselben Informationen wie der Ausgangstext enthalten. Wir haben die verschiedenen Anforderungen definiert und auf deren Basis spezifische Modelle und Softwarelösungen entwickelt, wie etwa

1. innovative Modelle zur präzisen Unterscheidung von Ausgangstext und Paraphrase,
2. unsere Software zur Faktenprüfung Colada,
3. verschiedene Modelle zur Bestimmung der Textqualität und last but not least
4. verschiedene Paraphrasierungsmodelle unter dem Namen Maskito.

Da öffentlich verfügbare Open-Source-Modelle fehlten, erwiesen sich die ersten Schritte zur Einführung eines Text-Paraphrasierungsmodells in den deutschen Markt als zeitintensiv und in der Sache herausfordernd. Auf einem geeigneten Modell aufbauend war es uns schließlich gelungen, unser aktuelles Paraphrasierungsmodell Maskito 0.1.0 zu entwickeln.

Zu diesem Zeitpunkt produzierte unser Modell die besten Textparaphrasen auf dem deutschen Markt. Andererseits war uns dieses Modell nicht hinreichend variantenreich, um den sehr hohen Anforderungen gerecht zu werden, die bei der Paraphrasierung auch im Nachrichtensektor, in dem wir unter anderem tätig sind, gelten. Der Markteintritt von GPT-3 sollte der unzureichenden Varianz in unseren Texten jedoch schon kurz darauf Abhilfe schaffen. 

Die Veröffentlichung von GPT-3 und insbesondere von ChatGPT hat unsere gesamte Denk- und Arbeitsweise verändert. Diese Innovationen haben uns motiviert, unser Produkt weiter zu optimieren, um den hohen Anforderungen im Nachrichtensektor und den Bedürfnissen unserer Kunden noch besser zu entsprechen. GPT-3 produziert deutsche Texte von hoher Qualität. Besonders charakteristisch ist die Fähigkeit, verschiedene Varianten eines Textes zu erzeugen. War es somit nicht naheliegend, das Potenzial von GPT-3 in unser faktensicheres Modell Maskito zu integrieren?

Von der Generierung zum Verstehen

Betrachten wir folgendes Beispiel: Eine Nachrichtenagentur benötigt 15 Varianten ein und desselben Artikels für 15 verschiedene Plattformen. Allerdings kann bereits ein einziger Fehler dazu führen, dass einer der paraphrasierten Artikel verworfen wird oder, schlimmer noch, im Falle seiner Veröffentlichung einen Rechtsstreit zur Folge hat. Um ein solches Szenario zu vermeiden, bedurfte es eines geeigneten Text-KI-Modells, das den hohen Anforderungen KI-generierter Texte standhält. Jeder Text muss nicht nur grammatikalisch korrekt und stilistisch angemessen sein, sondern auch dem Ausgangsartikel inhaltlich im Wesentlichen entsprechen und alle relevanten Fakten enthalten. Unsere Abteilung für Machine Learning verband die eigene explorative Entwicklungsarbeit mit der Expertise des hauseigenen Lektoratsteams und der Abteilung für Qualitätssicherung: Unser Hybridmodell Gaspito entstand.

Gaspito ist eine Kombination aus GPT-3 und Maskito. Gaspito schreibt Texte zunächst mit GPT-3 anhand einer bestimmten Eingabeaufforderung um. Die Implementierung logischer Prüfungen stellt eine kohärente Textausgabe durch das Modell sicher, sodass die meisten generativen Probleme abgefangen werden. Diese logischen Prüfungen, u. a. durch unsere Textqualitätsmodelle, helfen uns zu verstehen, was GPT-3 mit welcher Effizienz generiert. Maskito prüft dann, ob die Varianz des generierten Textes im Vergleich zum Original den Anforderungen genügt und dem Kunden somit einen signifikanten Nutzen bietet. Mehrere Korrektur- und Bewertungsmodelle gewährleisten, dass der Text nicht nur grammatisch korrekt ist, sondern auch die höchstmögliche Qualität in Bezug auf Varianz und Faktentreue aufweist. Die Synergie zwischen Maskito und GPT-3 bei der Überarbeitung eines Artikels garantiert, dass wir bestmögliche Ergebnisse erzielen.

Die KI-Landschaft ist in rapider Umgestaltung. Indem wir modernste Technologien einsetzen, greifen wir diese Dynamik auf und können so unseren Kunden alle Vorteile verfügbar machen. Immer an neueste Technologieentwicklungen orientiert, kombinieren wir das Beste aus unserer hauseigenen Technologie, aus Open-Source- und Zusatzsoftware. Unsere Produkte geben unseren Kunden die Möglichkeit, in ihren Tätigkeitsbereichen von modernsten KI-Lösungen durch unsere Erfahrung zu profitieren.

Artikel wurde aus dem englischen Original übersetzt.