Lexikon

Das automatische Entdecken und Kennzeichnen von Eigennamen (Entitäten) in Texten. Beispiel: Mit Angela Merkel und Frau Merkel ist in zwei Sätzen die gleiche Person gemeint.

Natural Language Processing beschäftigt sich mit der automatischen Verarbeitung natürlicher Sprache. Dabei werden Methoden der Computerlinguistik, der künstlichen Intelligenz und der Statistik angewendet, um Sprache zu erkennen, zu verstehen, zu interpretieren und zu generieren. Diese Erkenntnisse können dann genutzt werden, um zum Beispiel Texte zu übersetzen oder sinngemäß umzuschreiben.

Künstliche Neuronale Netze sind Modelle für künstliche Intelligenz, die dem menschlichen Gehirn nachempfunden sind. Sie bestehen aus einer Reihe von Verarbeitungseinheiten, die miteinander verbunden sind.
Ein künstliches neuronales Netz besteht aus Schichten von miteinander vernetzten Einheiten (Neuronen), die unter bestimmten Bedingungen Informationen aneinander weitergeben. Jede Einheit verarbeitet ein bestimmtes Signal und leitet es an die nächste Einheit weiter. Das Netzwerk lernt, indem es Signale verarbeitet und die Verbindungen zwischen den Einheiten anpasst.Beim Deep Learning gibt es in der Regel viele solcher Schichten mit je sehr vielen Neuronen, was das Training sehr rechenintensiv macht. (mehr …)

Die Normalisierung von Texten beschreibt die Vereinheitlichung von Textstruktur und Interpunktion. Beispielsweise werden alle Anführungszeichen und Gedankenstriche auf je ein Zeichen normalisiert, ebenso Abschnittsmarker wie Linien oder Marker für Kapitelüberschriften.