Lexikon

Neben der defensiven Destillation gehört auch das Adversarial Learning (gegnerisches Lernen, kontradiktorisches Training) zu den Techniken, die sogenannte Adversarial Attacks auf KI-Systeme abwenden sollen. Derzeit gibt es noch keine andere Möglichkeit, um sich gegen solche Angriffe mit sogenannten „gegnerischen Beispielen“ zu verteidigen. (mehr …)

Artificial Intelligence (AI) bzw. Künstliche Intelligenz (KI) ist ein Teilgebiet der Informatik. Der Begriff steht für die Beschreibung der eingesetzten Technologien (siehe Machine Learning). Die per Machine Learning erzeugten Modelle sind nicht tatsächlich „intelligent”, sondern lösen mit komplexen statistischen Berechnungen eng eingegrenzte Probleme. KI beschäftigt sich mit dem Versuch, Maschinen so zu programmieren, dass sie menschenähnliche Fähigkeiten erwerben können.

(mehr …)

Eine Annotation ist eine kurze Notiz oder ein Kommentar, der zu einem Text, einem Bild oder einem anderen Dokument hinzugefügt wird. In der Linguistik ist dies zumeist das manuelle Herausarbeiten bestimmter Merkmale natürlicher Sprache in Texten, etwa die Bestimmung des Genders von Eigennamen, indem einzelne Namen in Texten mit Labels wie „weiblich”, „divers”, „neutral” etc. markiert werden. (mehr …)

Die automatisierte Texterstellung, die auch unter dem Begriff „Natural Language Generation“ (NLG) bekannt ist, gilt als Teilgebiet der Künstlichen Intelligenz. Die Methode gehört zum Natural Language Processing (NLP) und bezeichnet die Generierung natürlichsprachlicher Texte mithilfe einer Software. Programme zur automatisierten Texterstellung werden immer häufiger eingesetzt, um Inhalte für Websites und andere Online-Anwendungen zu erstellen. NLG-Software verwendet häufig eine Kombination aus maschinellem Lernen und linguistischen Algorithmen, um Texte zu erstellen, die einem bestimmten Muster oder einer Vorlage entsprechen. Dazu sind strukturierte Daten notwendig. (mehr …)

Unter der Clusteranalyse bzw. Clustering versteht man eine Methode im Bereich des maschinellen Lernens, bei der Datenpunkte in ähnliche Gruppen einsortiert werden. Dabei kommt der Unsupervised Machine Learning Algorithmus zum Einsatz, der keine Vorinformationen über die Daten benötigt und nur auf Ähnlichkeiten zwischen den Datenpunkten basiert.

Die Grundidee hinter dieser Methode besteht darin, ähnliche Daten in einer Gruppe zusammenzufassen und unterschiedliche Daten in separaten Gruppen zu platzieren. Auf diese Weise werden Muster und Strukturen in den Daten ersichtlich. Die Ähnlichkeiten zwischen den Datenpunkten werden dabei mithilfe unterschiedlicher Metriken berechnet. (mehr …)

Computerlinguistik ist die Schnittstelle zwischen Informatik und Sprachwissenschaft. Natürliche Sprachen (sowohl Text als auch Audio) sollen mithilfe von Computern verarbeitet werden, wie zum Beispiel die Spracherkennung und -synthese, maschinelle Übersetzung und Dialogsysteme. Sie ist somit ein interdisziplinäres Fachgebiet, das sich mit der Anwendung von Computertechnologie auf die Sprache beschäftigt.
Eines ihrer wichtigsten Ziele besteht darin, Computer zu befähigen, natürliche menschenähnliche Sprachverarbeitung zu leisten, was Verstehens- und Produktionsfähigkeiten umfasst. Dazu können sowohl Hardware wie Ein- und Ausgabedevices als auch Softwareprogramme benötigt werden. (mehr …)

Content Marketing ist ein strategischer Ansatz zur Erstellung und Verbreitung von wertvollen und relevanten Inhalten, die Nutzer/-innen anziehen und binden sollen. Das Ziel ist es, neue Internetnutzer/-innen zu generieren und bestehende User zu halten, indem man ihnen informativen, nützlichen und/oder unterhaltsamen Content bietet. Somit handelt es sich u. a. um ein Instrument zur Trafficsteigerung. Darüber hinaus kann Content Marketing das Image eines Unternehmens optimieren sowie den Bekanntheitsgrad einer Marke, eines Produktes oder einer Person erhöhen. Die Inhalte können dabei in verschiedenen Formaten vorliegen, z. B. in Form von Blogartikeln auf der eigenen Webseite, Videos, Podcasts oder Infografiken. (mehr …)

Ein Crawler ist ein Programm, das Daten von einer Internetseite extrahiert und diese in eine Datenbank schreibt. Weil diese Suche automatisch abläuft und der im Internet zurückgelegte Weg einem Spinnennetz ähnelt, werden sie auch als Robots bzw. Spider bezeichnet. (mehr …)

Ein Dashboard ist eine interaktive Visualisierung bestimmter Daten (beispielweise Geschäftszahlen) auf einer eigenen Benutzeroberfläche. Der/die Nutzer/-in kann damit den Zeitraum der dargestellten Daten verändern oder in ein Diagramm zoomen, um etwas detaillierter zu betrachten. Mithilfe von Dashboards können Daten in Informationen umgewandelt werden, aus denen Wissen generiert werden kann.

Quellen:

https://dinext-group.com/wiki/dashboard/

Data-Mining bezeichnet das computergestützte Auswerten und Analysieren großer Datenmengen mit dem Ziel, Muster und Zusammenhänge zu erkennen. Dabei werden automatisierte Verfahren zur Mustererkennung, Methoden aus dem Bereich der Künstlichen Intelligenz, der Statistik und der Datenanalyse eingesetzt. (mehr …)

Deep Learning (DL) ist ein Teilbereich der künstlichen Intelligenz und ein Verfahren des Machine Learning (ML), das auf künstlichen neuronalen Netzen basiert. Die Deep Learning-Algorithmen verwenden mehrere Schichten (daher der Name), um Informationen zu verarbeiten und zu analysieren. Dies kann für Aufgaben wie Bild- und Spracherkennung und die Verarbeitung natürlicher Sprache verwendet werden. Also für Vorgänge, die Menschen intuitiv erledigen und die nicht anhand von Formeln errechnet werden können. Die dafür nötige Komplexität wird durch ein digitales Schichten-Modell erzielt. Komplexe Lerneffekte – und davon ausgehend Entscheidungen – basieren beim DL auf der Verknüpfung vieler kleiner, einfacher Entscheidungen und Lerneffekte.
Deep Learning hat in sehr vielen Bereichen die Ergebnisse des Machine Learnings stark verbessert, es ist dafür allerdings auch deutlich ressourcenintensiver als ML-Methoden, die nicht ‚deep‘ sind, also neuronale Netze mit nur einem Layer, oder andere Algorithmen, die ganz ohne neuronale Netze auskommen. (mehr …)

Die defensive Destillation ist eine Trainingstechnik, die im Bereich des Machine Learning, insbesondere im Kontext des Deep Learning, eingesetzt wird. Diese Technik schützt neuronale Netze vor gegnerischen Angriffen und soll den Machine-Learning-Algorithmus flexibler machen, damit das Modell weniger anfällig für Adversarial Attacks ist. (mehr …)

Die Entitätenextraktion oder Entitätserkennung ist ein Prozess, bei dem bestimmte Informationen aus unstrukturierten oder halbstrukturierten digitalen Daten herausgefiltert werden. Dabei werden einzelne, eindeutig identifizierbare Entitäten wie Personen, Orte, Dinge, Begriffe usw. extrahiert und in einem maschinenlesbaren Format gespeichert. Dank der Entitätsextraktion ist es möglich, einen Einblick in unbekannte Datensätze zu erhalten, indem sie sofort ersichtlich macht, auf wen und was sich die Informationen konzentrieren. Auf diese Weise ermöglicht sie eine effizientere Entscheidungsfindung sowie optimierte Arbeitsabläufe. (mehr …)

GPT-2 ist ein gängiges Sprachmodell, das auf Deep Learning basiert und von OpenAI zur Textgenerierung entwickelt wurde. Es ist Open-Source und wurde anhand von über 1,5 Milliarden Parametern trainiert, um die nächste Textsequenz für einen bestimmten Satz zu generieren. 

(mehr …)

Weiterentwicklung von GPT-2 (siehe oben). Beide Modelle benutzen in etwa die gleiche Architektur, GPT-3 hat jedoch mehr Schichten (s. Neuronales Netz) und wurde mit mehr Daten trainiert.

Graphics Processing Unit / Grafikkarte. Grafikkarten bieten eine sehr hohe Rechenleistung und werden daher für das Training von Deep Learning Modellen eingesetzt.

Klassifikation ist die Organisation von Informationen, Objekten oder Personen in Gruppen oder Klassen anhand gemeinsamer Eigenschaften. Es ist ein Prozess, bei dem eine große Anzahl von Einzelinformationen strukturiert wird. (mehr …)

Eine Textsammlung, die in der Regel einen inhaltlichen oder strukturellen Zusammenhang hat. Ein Korpus kann beispielsweise aus Texten aus einer Quelle bestehen.

Machine Learning bezeichnet ein Verfahren, bei dem Computer selbstständig lernen, ohne dass sie dafür für jeden Anwendungsfall programmiert wurden. Es sind Technologien, bei denen Computerprogramme eine große Menge an Beispielen verarbeiten, aus ihnen Muster ableiten und diese auf neue Datenpunkte anwenden. Dabei wird aus den Beispielen ein statistisches Modell aufgebaut, zum Beispiel zum Aufbau von Sprache. Deep Learning ist eine Variante von Machine Learning. AI ist ein Buzzword für Machine Learning. (mehr …)

Vordefinierter Messwert zur Angabe von Qualität in Bezug auf ein bestimmtes Kriterium.

Die Abfolge aller Verfahren, die genutzt werden, um das Modell aufzubauen. Neuronale Netze werden in der Regel über die Anzahl und Funktion ihrer Schichten beschrieben. Ein Modell entsteht aus der Kombination aus Architektur und Korpus.

Ein statistisches Modell macht anhand erlernter Muster Vorhersagen über eingegebene Daten. Sprachmodelle zum Beispiel sagen das nächste Wort eines Eingabesatzes vorher. Ein Modell hat eine Architektur und muss zum Aufbau des statistischen Modells trainiert werden.

Morphologie bedeutet Formenlehre und ist ein Teilgebiet der Linguistik. Es handelt sich um die Wissenschaft von der Veränderung der Wortformen in einer Sprache. Wörter sind keine festen Gebilde und können sich in ihrer Form verändern. Je nach Kontext wird z. B. aus schreiben schreibst oder aus laufen läuft.

Das automatische Entdecken und Kennzeichnen von Eigennamen (Entitäten) in Texten. Beispiel: Mit Angela Merkel und Frau Merkel ist in zwei Sätzen die gleiche Person gemeint.

Natural Language Processing beschäftigt sich mit der automatischen Verarbeitung natürlicher Sprache. Dabei werden Methoden der Computerlinguistik, der künstlichen Intelligenz und der Statistik angewendet, um Sprache zu erkennen, zu verstehen, zu interpretieren und zu generieren. Diese Erkenntnisse können dann genutzt werden, um zum Beispiel Texte zu übersetzen oder sinngemäß umzuschreiben.

Künstliche Neuronale Netze sind Modelle für künstliche Intelligenz, die dem menschlichen Gehirn nachempfunden sind. Sie bestehen aus einer Reihe von Verarbeitungseinheiten, die miteinander verbunden sind.
Ein künstliches neuronales Netz besteht aus Schichten von miteinander vernetzten Einheiten (Neuronen), die unter bestimmten Bedingungen Informationen aneinander weitergeben. Jede Einheit verarbeitet ein bestimmtes Signal und leitet es an die nächste Einheit weiter. Das Netzwerk lernt, indem es Signale verarbeitet und die Verbindungen zwischen den Einheiten anpasst.Beim Deep Learning gibt es in der Regel viele solcher Schichten mit je sehr vielen Neuronen, was das Training sehr rechenintensiv macht. (mehr …)

Die Normalisierung von Texten beschreibt die Vereinheitlichung von Textstruktur und Interpunktion. Beispielsweise werden alle Anführungszeichen und Gedankenstriche auf je ein Zeichen normalisiert, ebenso Abschnittsmarker wie Linien oder Marker für Kapitelüberschriften.

In der Informatik wird Ontologie als Formalisierung eines Wissensgebiets bezeichnet, um komplexe Sachverhalte in einer maschinenlesbaren Form zu beschreiben. Dabei wird eine bestimmte Struktur von Objekten und ihren Beziehungen festgelegt, so dass eine Computersoftware diese verarbeiten kann. Ontologien werden in der Informatik vor allem für semantische Verfahren eingesetzt. Hierbei wird versucht, mit Hilfe von maschinellen Lernverfahren aus einem unstrukturierten Datenbestand Wissen zu extrahieren und zu modellieren. Auf diese Weise können dann beispielsweise auch komplexe Anfragen an einen Datenbestand gestellt werden.

Bevor ein Korpus für das Training der AI übergeben werden kann, müssen einige Vorverarbeitungsschritte ausgeführt werden. Unerwünschte Inhalte zum Beispiel werden entfernt, Normalisierungen ausgeführt und die Texte an Modellspezifika angepasst. Wenn ein Modell im Pretraining zum Beispiel nur eine Art Anführungszeichen kennengelernt hat, sollten diese Anführungszeichen im Trainingskorpus für das Finetuning die gleichen sein, damit sie sofort richtig erkannt werden.

Das initiale Training eines Modells. Beim Pretraining werden sehr große Datenmengen übergeben, um ein robustes statistisches Modell von Sprache und Wissen aufzubauen.

Ein Modell, das basierend auf dem Nutzerverhalten ähnlicher User weitere Objekte vorschlägt. Beispiel: „Nutzer, die diesen Artikel angesehen haben, haben auch folgende andere Artikel gelesen…“

Beim Reinforcement Learning (RL, „bestärkendes Lernen“) bekommt der Lernalgorithmus von Zeit zu Zeit Feedback – „Belohnung“ für erwünschtes Verhalten, „Bestrafung“ für unerwünschtes –, sodass er Erfolgsaussichten einzelner Optionen in verschiedenen Situationen besser einzuschätzen lernt. Dabei ist zu beachten, dass die Begriffe „Belohnung“ und „Bestrafung“ in diesem Kontext natürlich als rein numerische Bewertungen zu verstehen sind, mithilfe derer der Algorithmus einen Lösungsweg als besonders lohnenswert erkennt oder eben nicht. (mehr …)

Roboterjournalismus ist eine Form des Journalismus, bei der computergesteuerte Programme verwendet werden, um journalistische Inhalte zu erstellen. Diese Inhalte können Nachrichtenberichte, sportliche Ergebnisse, Wetterberichte, Finanzberichte, Börsenberichte und andere Formen des Journalismus umfassen.

Sprachmodelle gibt es für alle Bereiche der Computerlinguistik. Neben der Textgenerierung sind dies zum Beispiel Spracherkennung, Erkennung von Handschriften, Informationserkennung und -extraktion.

Die folgenden Arten von Sprachmodellen werden von Ella verwendet:

Sequenz-zu-Sequenz-Sprachmodell: Dies ist ein Modell, das in der natürlichen Sprachverarbeitung (NLP) verwendet wird, bei dem sowohl die Eingabe als auch die Ausgabe eine Sequenz von Wörtern oder Token ist. Es wird üblicherweise für Aufgaben wie die maschinelle Übersetzung verwendet, bei der das Modell eine Sequenz in einer Sprache aufnimmt und eine Sequenz in einer anderen Sprache erzeugt.

BERT-Variante des Sprachmodells: BERT steht für „Bidirectional Encoder Representations from Transformers“. Ein BERT-variantes Sprachmodell basiert auf der BERT-Architektur, kann aber einige Änderungen oder Erweiterungen aufweisen, z. B. andere Trainingsdaten, Modellgröße oder nachgelagerte Feinabstimmung der Aufgaben.

Großes Sprachmodell (LLM): Dies ist ein auf einem neuronalen Netz basierendes Sprachmodell, das darauf ausgelegt ist, menschliche Sprache zu verstehen und zu produzieren. „Groß“ bedeutet, dass das Modell eine große Anzahl von Parametern (Gewichte und Verbindungen) in seiner Architektur hat. Diese Modelle sind in der Lage, ein breites Spektrum von NLP-Aufgaben zu erfüllen, und erfordern oft erhebliche Rechenressourcen für Training und Inferenz.

Suchmaschinenmarketing (SEM – Search Engine Marketing) ist eine der wichtigsten Gattungen im Online-Marketing. Es kann unterteilt werden in Suchmaschinen-Advertising (SEA). Hier bezahlen Werbekunden dafür, dass die eigene Webseite oberhalb anderer Webseiten gelistet wird. Diese bezahlte Werbung wird z.B. auf Google in speziellen Bereichen auf der Suchergebnisseite (SERP – Search Engine Result Page) angezeigt und als solche gekennzeichnet. Eine andere Methode ist die Suchmaschinenoptimierung (SEO oder Search Engine Optimization). Hier wird versucht, die eigene Internetpräsenz in den organischen Suchergebnissen möglichst weit oben angezeigt zu bekommen.

Unter Text-Mining wird Data-Mining speziell für geschriebene Daten in natürlicher Sprache verstanden. Der Text Mining Prozess beinhaltet die Verwendung von Algorithmen und Methoden, um aus unstrukturierten oder halb strukturierten Textdaten wertvolle Informationen zu extrahieren, neue Muster zu erkennen, bestehende Muster zu bestätigen oder Vorhersagen zu treffen. Die gewonnenen Erkenntnisse können in vielen Bereichen, wie der Wissenschaft, dem Marketing, dem Kundenservice oder der Finanzwelt, eingesetzt werden.

Text Spinning oder Article Spinning ist eine Technik, die darauf abzielt, einen Text so zu verändern, dass er für eine bestimmte Zielgruppe ansprechender wird. Dabei werden Wörter ersetzt, Satzstrukturen verändert und neue Wörter eingefügt. Der eigentliche Inhalt des Textes bleibt dabei unverändert. Relevant ist dies zum Beispiel für die Erstellung neuer Texte für das Suchmaschinenmarketing (SEM), speziell für die Suchmaschinen-Optimierung (SEO oder Search Engine Marketing).

Beim Training lernt ein Modell aus Beispielen. Anhand der Beispiele versucht das Modell, ein Ergebnis vorherzusagen (beispielsweise einen Lückentext korrekt zu füllen) und gleicht am Ende jedes Zyklus seine Ergebnisse mit den echten Werten ab. Wenn das Ergebnis falsch ist, wird das zugrunde liegende statistische Modell angepasst und ein neuer Versuch gestartet. In der Regel läuft ein Training so lange, bis sich das statistische Modell kaum mehr ändert, die Ergebnisse also stabil werden. Dies kann nach wenigen Minuten (klassisches Machine Learning) oder Wochen/Monaten (Deep Learning auf sehr großen Datenmengen) der Fall sein.

Ein Korpus, das für das Training eines Modells eingesetzt wird.

S. Preprocessing