Crawler
Ein Crawler ist ein Programm, das Daten von einer Internetseite extrahiert und diese in eine Datenbank schreibt. Weil diese Suche automatisch abläuft und der im Internet zurückgelegte Weg einem Spinnennetz ähnelt, werden sie auch als Robots bzw. Spider bezeichnet.
In der Regel besuchen Spider Webseiten über Hyperlinks, die auf bereits indexierten Internetseiten integriert sind. Anschließend wird der ausgelesene Inhalt im Cache hinterlegt, analysiert und gegebenenfalls indexiert. Die Basis der Indexierung ist der Algorithmus der jeweiligen Suchmaschine. Die indexierten Daten tauchen dann in den Suchergebnissen der Suchmaschinen auf.
Mithilfe spezieller Webanalyse-Tools können Webcrawler Informationen wie Seitenaufrufe und Verlinkungen analysieren und Daten im Sinne des Data Mining zusammentragen oder zielgerichtet vergleichen. Internetseiten, die weder verlinken, noch verlinkt sind, können von Crawlern nicht erfasst und folglich auch nicht von den Suchmaschinen gefunden werden.
Quellen:
https://www.seo-kueche.de/lexikon/crawler/
https://www.ionos.de/digitalguide/online-marketing/suchmaschinenmarketing/was-ist-ein-crawler/