Deep Learning
Deep Learning (DL) ist ein Teilbereich der künstlichen Intelligenz und ein Verfahren des Machine Learning (ML), das auf künstlichen neuronalen Netzen basiert. Die Deep Learning-Algorithmen verwenden mehrere Schichten (daher der Name), um Informationen zu verarbeiten und zu analysieren. Dies kann für Aufgaben wie Bild- und Spracherkennung und die Verarbeitung natürlicher Sprache verwendet werden. Also für Vorgänge, die Menschen intuitiv erledigen und die nicht anhand von Formeln errechnet werden können. Die dafür nötige Komplexität wird durch ein digitales Schichten-Modell erzielt. Komplexe Lerneffekte – und davon ausgehend Entscheidungen – basieren beim DL auf der Verknüpfung vieler kleiner, einfacher Entscheidungen und Lerneffekte.
Deep Learning hat in sehr vielen Bereichen die Ergebnisse des Machine Learnings stark verbessert, es ist dafür allerdings auch deutlich ressourcenintensiver als ML-Methoden, die nicht ‚deep‘ sind, also neuronale Netze mit nur einem Layer, oder andere Algorithmen, die ganz ohne neuronale Netze auskommen.
Die Grundlagen
Die Grundlage des Deep Learning bildet die Idee, dass Maschinen lernen können, Aufgaben selbständig auszuführen. Zu diesem Zweck müssen große Datenmengen analysiert werden. Erreicht wird dies durch den Einsatz mehrerer Schichten künstlicher Neuronen, die Eingabedaten verarbeiten und auf der Grundlage des Gelernten Vorhersagen treffen. Dabei verknüpfen DL-Modelle das Erlernte immer wieder mit neuen Inhalten und lernen dadurch permanent hinzu. In diesen Lernvorgang greift der Mensch ab einem gewissen Punkt nicht mehr ein und das Analysieren wird der Maschine überlassen. Das markiert einen wesentlichen Unterschied zum Machine Learning, bei dem der Mensch mehr Kontrolle bei der Analyse der Daten und den eigentlichen Entscheidungsprozessen behält.
Eine wesentliche Stärke des DL besteht darin – ohne vorherige fachspezifische Programmierung durch den Menschen – Merkmale und Muster in Daten zu erkennen. Dieses selbstständige Arbeiten durch die Übertragung vorab trainierter Deep-Learning-Modelle auf neue Daten wird als Transfer-Lernen bezeichnet. Dieses Verfahren reduziert in erheblichem Maße die Menge an hochqualitativen Daten, die zum Trainieren eines neuen Modells erforderlich sind, und verbessert gleichzeitig die Leistung des Modells. Das macht Deep Learning zu einem leistungsstarken Werkzeug, das bei der Lösung komplexer Probleme unterstützt.
Die Skalierbarkeit
Eine der größten Herausforderungen beim Deep Learning besteht darin, die richtige Architektur für ein bestimmtes Problem sowie die richtigen vor dem Training festzulegenden Parameter (Hyperparameter) zu finden, um die Genauigkeit und Trainings-Geschwindigkeit von DL-Modellen zu verbessern.
Ein weiterer wichtiger Aspekt des Deep Learning ist die Skalierbarkeit, d. h. die Fähigkeit von DL-Modellen, große Datenmengen zu verarbeiten. Ein Ansatz ist dabei die verteilte Datenverarbeitung, bei der der Trainingsprozess auf mehrere Rechner und speziell entwickelte GPUs und TPUs (Tensor Processing Units) aufgeteilt wird. Auf diese Weise kann das Modell auf Basis sehr viel größerer Datenmengen trainiert werden. Zudem ist es dadurch möglich, die für das Training des Modells erforderliche Zeit erheblich zu verkürzen. Es gibt viele Cloud-basierte Deep-Learning-Plattformen, die Zugang zu leistungsstarken GPUs und anderen Geräten zur Hardwarebeschleunigung bieten und es Unternehmen erleichtern, Deep Learning bei ihrer Arbeit einzusetzen.
Wie sind Deep-Learning-Algorithmen aufgebaut?
In den meisten Fällen bilden diese Algorithmen tiefe neuronale Netze. Diese bestehen aus beliebig vielen Schichten von künstlichen Neuronen, die dem menschlichen Gehirn nachempfunden wurden. Diese linearen und nichtlinearen Einheiten verarbeiten Informationen und können aus ihnen lernen. Aus ihrem geschichteten Aufbau leitet sich der Ausdruck „deep“ (engl. für „tief“) ab. Wie viele Ebenen nötig sind und wie viele Neuronen jede von ihnen enthalten muss, damit tatsächlich von „Deep Learning“ gesprochen werden kann, ist nicht genau definiert.
Ein für Deep Learning verwendetes künstliches neuronales Netz besteht aus drei Schichten: der Eingabeschicht (input layer), einer mittleren Schicht (hidden layer) und der Ausgangsschicht (output layer). Die Eingabeschicht nimmt Informationen auf und leitet sie gewichtet an die nächste Schicht weiter. Diese besteht aus zum Teil sehr vielen Ebenen von Neuronen, die Informationen neu gewichten und an andere Neuronen weitergeben. Wie genau dieser im wahrsten Sinne des Wortes vielschichtige Prozess abläuft, ist dabei von außen nicht zu erkennen. Deshalb wird der Bereich, in dem er stattfindet, auch „verborgene Schicht“ genannt. Im Herzen eines künstlichen neuronalen Netzwerks befindet sich also im Prinzip eine Blackbox. Die letzte Ebene der verborgenen Schicht schließt direkt an die Ausgabeschicht an, die alle vielfach gewichteten und verarbeiteten Informationen als fertige Entscheidung aufnimmt und zur Weiterverarbeitung bereithält.
In welchen Bereichen kommt DL zum Einsatz?
Eine Anwendung von DL ist die Verarbeitung natürlicher Sprache (NLP). DL-Modelle wie Transformer-Netzwerke haben den Bereich NLP revolutioniert und erzielen bei Aufgaben wie Sprachübersetzung, Textklassifizierung und Beantwortung von Fragen sehr gute Ergebnisse. Diese Modelle sind in der Lage, große Mengen an Textdaten zu verarbeiten und die Beziehungen zwischen Wörtern und Sätzen zu lernen, wodurch sie sich gut für NLP-Aufgaben eignen.
Ein spannendes Einsatzfeld für Deep Learning ist die Produktion von Content, der neben Text auch Bilder, Sprache und Videos betrifft.
Wie unterscheidet sich Deep Learning vom menschlichen Gehirn?
Beim DL bildet ein Computer so weit wie möglich Aufbau und Funktionsweise des menschlichen Gehirns nach. Die Software errichtet ein Netz aus künstlichen Nervenzellen (Neuronen) und Synapsen (Kontaktstellen zwischen Nervenzellen), das durch das Verarbeiten vieler Daten wie Bildern oder Texten lernt.
Dennoch gelingt es den neuronalen Netzen der künstlichen Intelligenz nur unvollständig, Struktur und Arbeitsweise des Gehirns nachzuahmen. Im menschlichen Gehirn gibt es verschiedene mehrschichtige Hirnareale, die für einzelne Funktionen zuständig sind und sich in der Organisation ihrer Neuronen unterscheiden. Hier ist die Hirnforschung noch lange nicht an ihrem Ende angelangt. Das Zusammenspiel und die vielfältigen komplexen Verknüpfungen der Hirnareale miteinander vollständig zu verstehen und diese dann in künstlichen neuronalen Netzwerken nachzubauen, muss vorerst ein Fernziel bleiben.
Trotz ihrer immensen Möglichkeiten, komplexe Probleme zu lösen, wird Deep Learning daher immer noch nicht als “starke KI” eingestuft. Denn das würde die Fähigkeit der künstlichen neuronalen Netze voraussetzen, ein dem Menschen ähnliches Bewusstsein und Abstraktionsvermögen zu entwickeln und Weltwissen anzusammeln.
Grenzen des Deep Learning
Ungeachtet seiner vielen Vorteile gibt es beim Deep Learning auch einige Einschränkungen, darunter die Notwendigkeit großer Mengen an gelabelten Daten. Diese werden benötigt, um gute Trainingskorpora zu erstellen und um die Modelle zu trainieren. Die Trainingsdaten müssen zudem vielfältig genug sein, um keine verzerrten Ergebnisse zu liefern.
Quellen:
https://www.bigdata-insider.de/
https://news.microsoft.com/de-de/microsoft-erklaert-definition-funktionen-von-dl/