+41 544 36 44
  • en
  • de
  • Wie vergleicht man Textdokumente?

    von Konstantina Lazaridou, Machine Learning Engineer

    Die Arbeit mit Texten kann sehr viel Spaß machen, manchmal aber auch mühsam sein. Schriftliche Dokumente (entweder von Menschen oder von KI-Modellen) können in ihrer Struktur komplex sein, sie können kreative oder einzigartige Sprache und sogar Fehler enthalten. Die automatische Analyse eines Textes kann Zeit sparen. So können wir beispielsweise problemlos Nachrichtenartikel zu einem bestimmten Thema von verschiedenen Herausgebern vergleichen und verstehen, wie sich der ursprüngliche Inhalt im Laufe der Zeit von einer Medienquelle zur anderen verändert hat.

    Dieser Beitrag ist ein Tutorial für den Vergleich von Texten (Strings) mit den Python-Librarys difflib und fuzzywuzzy.

    Wir beginnen mit einem Showcase von difflib, der die Unterschiede (Deltas) zwischen zwei Sequenzen von Elementen berechnet. Diese Bibliothek kann auch für andere Datentypen verwendet werden, z. B. für Dateien.

    Der obige Codeschnipsel definiert die Funktion get_changes_in_text(), die alle Delta-Informationen zwischen zwei Inputtextenin einer Liste von Python-Dictionarys sammelt. Jedes Wörterbuch repräsentiert ein Delta und folgt einem spaCy-ähnlichen Format (dem bekannten Tool zur Verarbeitung natürlicher Sprache), um genau anzugeben, wo die Spanne des Deltas beginnt und endet. 

    Im Detail bedeutet das, dass wir zunächst die Funktion ndiff aus difflib aufrufen, welche die Deltas zwischen zwei Listen von Texten berechnet – in unserem vereinfachten Anwendungsfall vergleichen wir zwei einzelne Texte. Jedes zurückgegebeneDelta verarbeiten wir, um es in unser gewünschtes Format zu bringen, und führen dann alle Deltas zusammen. Zur Verdeutlichung, hier ein Funktionsaufruf von get_changes_in_text() mit einem einfachen Beispiel:

    get_changes_in_text(  
    "“This is a good decision,” said Robert Habeck, the German vice-chancellor and economy minister",
      "“This is not a good decision,” said Robert Habeck, the German vice-chancellor and economy minister.",
    )

    Die Ausgabe der Funktion ist unten zu sehen. Beim Vergleich der beiden Sätze, zeigt uns die Ausgabe des Skripts, dass wir an Position 9 des Textes das Wort „not“ (von Position 9 bis Position 11), ein Leerzeichen vor diesem neuen Wort und schließlich einen Punkt am Ende des Satzes eingefügt haben. Zu beachten ist, dass Positionen (Indizes) im Wesentlichen Zeichenpositionen im Text sind, wenn wir davon ausgehen, dass der Text eine geordnete Folge von Zeichen ist.

    Im nächsten Beispiel sehen wir einen komplexeren Fall, bei dem zwei Wörter wegfallen („sollen“ und „werden“) und zwei Wörter in den Text eingefügt werden („werden“ und „Anfang“), zusammen mit einigen Änderungen der Interpunktion:

    get_changes_in_text(
      "Die Maßnahmen sollen Mitte Februar überprüft werden",
      "Die Maßnahmen werden Anfang Februar überprüft.",
    )
    
    i=14, s=- s
    i=15, s=- o
    i=16, s=- l
    i=17, s=- l
    i=18, s=+ w
    i=19, s=+ e
    i=20, s=+ r
    i=21, s=+ d
    i=25, s=- M
    i=26, s=- i
    i=27, s=- t
    i=28, s=- t
    i=29, s=- e
    i=30, s=+ A
    i=31, s=+ n
    i=32, s=+ f
    i=33, s=+ a
    i=34, s=+ n
    i=35, s=+ g
    i=54, s=+ .
    i=55, s=-  
    i=56, s=- w
    i=57, s=- e
    i=58, s=- r
    i=59, s=- d
    i=60, s=- e
    i=61, s=- n
    

    Daher kann get_changes_in_text() angewendet werden, um den Unterschied in der Wortwahl zwischen zwei oder mehr Medien zu finden und außerdem, wo genau sich diese Änderungen im Text befinden.
    Ein weiteres Python-Package, das zum Vergleich von Texten auf nicht strikte Weise verwendet werden kann, ist fuzzywuzzy, auch bekannt als TheFuzz und verwendet von RapidFuzz. Diese Bibliothek vergleicht zwei Texte mit der Levenshtein-Distanz (die Anzahl der einzelnen Zeichen-Änderungen, die notwendig sind, um einen String in einen andere umzuwandeln) und bietet außerdem mehrere Möglichkeiten, Texte auf Wort-Ebene (Token-Ebene) zu vergleichen. Das folgende Beispiel verwendet eine der einfacheren Funktionen, ratio(), und berechnet die Ähnlichkeit zwischen den beiden Sätzen. Es wird eine Ähnlichkeit von 97 % ausgegeben. Dies stimmt mit dem überein, was wir oben für dasselbe Satzpaar gesehen haben, d. h. der einzige kleine Unterschied zwischen den Sätzen ist das Wort „not“ und die Zeichensetzung.

    fuzz.ratio(
           "“This is a good decision,” said Robert Habeck, the German vice-chancellor and economy minister",
           "“This is not a good decision,” said Robert Habeck, the German vice-chancellor and economy minister.",
       )

    Eine weitere Funktion von fuzzywuzzy ist partial_ratio(), die den ähnlichsten Substring zwischen zwei gegebenen Texten verwendet, um deren Ähnlichkeit zu berechnen. Diese Funktion kann nützlich sein, wenn wir zwei kurze Texte auf eine weniger restriktive Art und Weise vergleichen wollen, z. B. wenn sich zwei Artikel auf denselben Sachverhalt beziehen, auch wenn sie vielleicht nicht genau dieselben Worte verwenden, um sie zu beschreiben. Wenn wir beispielsweise die beiden folgenden Fakten mit der Funktion ratio() vergleichen, erhalten wir eine Ähnlichkeit von 86 %, aber wenn wir partial_ratio() verwenden, erreichen wir eine Ähnlichkeit von 98 %, was eher zu unserem Anwendungsfall passt. Würde der zweite Text das zusätzliche Zitat am Anfang nicht enthalten, läge die Ähnlichkeit bei 100 %, da einer der beiden Texte praktisch im anderen enthalten ist.

    print(
       fuzz.partial_ratio(
           "“Robert Habeck, the German vice-chancellor and economy minister",
           "“the German vice-chancellor and economy minister",
       )
    )
    

    Fuzzywuzzy verfügt über weitere Optionen für den Vergleich von Texten auf der Grundlage ihrer Wortunterschiede, z. B. verwendet token_set_ratio() auch ratio(), um die Ähnlichkeit nach der Tokenisierung der Texte zu berechnen, und es gibt auch die teilweise Übereinstimmung mit partial_token_sort_ratio() sowie die sortierte Version token_sort_ratio(). Wenn die Reihenfolge der Wörter für eine bestimmte Anwendung keine Rolle spielt, können die Sortiermethoden geeignet sein. Insbesondere token_sort_ratio() kann hohe Ähnlichkeitswerte für Strings liefern, die sicher sehr ähnliche sind, aber deren Wörtern in unterschiedlicher Reihenfolge stehen. Darüber hinaus enthalten die tokenbasierten Methoden auch eine einfache Vorverarbeitung der Strings, bei der alles außer Buchstaben und Zahlen entfernt und kleingeschrieben wird.

    Fazit

    In diesem Beitrag wurden zwei Python-Librarys für den Vergleich von Strings vorgestellt. Der vorgestellte Code kann für jede Art von Text verwendet werden, z. B. für fiktionale Texte oder Sachartikel. Zudem kann es für verschiedene Anwendungen hilfreich sein, wie z. B. das Auffinden von Unterschieden im Schreibstil zweier Autoren oder die Entdeckung neuer Fakten, die einer Original-Geschichte hinzugefügt wurden. Insbesondere difflib kann für die data lineage und Versionierung nützlich sein, und fuzzywuzzy eignet sich hervorragend für den Datenabgleich und die Deduplizierung.

    Eine Herausforderung, die es zu berücksichtigen und zu untersuchen gilt, ist die Frage, ob die Anwendung mit Dokumenten arbeitet, die verschiedene Alphabete enthalten, und ob diese Sprachen somit von den Librarys unterstützt werden oder nicht. Zu guter Letzt kann bei einer großen Datensammlung die Geschwindigkeit des String-Vergleichs erhöht werden, indem die Python-Levenshtein-Library installiert und zusammen mit fuzzywuzzy verwendet wird, oder alternativ kann die oben erwähnte Library RapidFuzz eingesetzt werden, die auf fuzzywuzzy basiert und eine höhere Leistung aufweist.

    Artikel wurde aus dem englischen Original übersetzt.