• 100 %
    Transparent

  • Messbar
    erfolgreich

  • Steigerung
    des Umsatzes

robots.txt

Was ist ein Crawler?

Ein Crawler (dt. Raupe), oder auch Web Crawler genannt, ist ein Softwareprogramm, welches verstÀrkt von Suchmaschinen verwendet wird, um das World Wide Web automatisiert zu durchsuchen und einen Index aufzubauen.

Beim Durchsuchen von Websites analysiert und indiziert der Crawler deren Inhalte, damit sie spĂ€ter von Suchmaschinen schneller ausgelesen werden können. Er legt sozusagen die Basis fĂŒr die Arbeit von Suchmaschinen.

Wie funktioniert ein Webcrawler?

Ein Crawler wird fĂŒr sich wiederholende Aktionen programmiert und arbeitet somit automatisiert.

Die Informationen, die beim “crawlen” (dt. kriechen) gefunden werden, werden bestimmten Kategorie zugeordnet und anschließend indiziert, somit sind die Informationen danach abruf- und auswertbar. Es werden sowohl Texte, Bilder und Videos als auch Links in die Analyse mit einbezogen.

Verschiedene Arten von Crawlern

Es gibt viele verschiedene Crawler, einige Beispiele wÀren der Googlebot und der Bingbot, sogar Alexa hat einen eigenen Bot namens ia_archiever.

Crawler können außerdem verschiedene Aufgaben ausfĂŒhren, wie wie Data-Mining. Dabei wird das Web nach spezifischen Informationen durchsucht. Es können beispielsweise E-Mail Adressen gesucht werden. Das wird zum Teil von Blackhat SEOs verwendet, um danach Spam-Mails an die gesammelten Mail-Adressen zu senden.

Ein weiteres Aufgabengebiet wĂ€re die Plagiatsuche. Diese Funktion ist vor allem wichtig, wenn es um RechtsbrĂŒche bezĂŒglich urheberrechtlich geschĂŒtztem Material geht.

Crawler steuern

Mit Hilfe von Meta-Tags können dem Crawler im <head> Bereich Anweisungen gegeben werden, so kann man unter anderem steuern, ob der Crawler eine Seite indiziert oder einem Link folgt.

Beispiel, fĂŒr eine Anweisung, dass die Adresse nicht indexiert werden soll und keinen Links gefolgt werden soll:

<meta name=“robots“ content=“noindex,nofollow“>

 Auch mit der robots.txt-Datei können Anweisungen an der Crawler ĂŒbermittelt werden.

Crawler und SEO

Teil der Suchmaschinenoptimierung ist es, eine Website so zu gestalten, dass sie optimal vom Crawler ausgelesen werden kann, damit alle Inhalte in den Index der Suchmaschine gelangen. Hilfreich ist dabei eine möglichst logische URL-Struktur. Außerdem fĂŒhren Backlinks sowie ĂŒbersichtliche interne Verlinkungen dazu, dass der Crawler deine Website öfter und lĂ€nger besucht.

© 2022 taismo