• 100 %
    Transparent

  • Messbar
    erfolgreich

  • Steigerung
    des Umsatzes

robots.txt

Was ist die robots.txt?

Die robots.txt ist eine Textdatei, auf einem Webserver. Sie ist nach dem Robots-Exclusion-Standard-Protokoll aufgebaut ist. Sie enthĂ€lt Anweisungen an einen Web-Crawler, welcher die Seite scannt, um sie fĂŒr eine Suchmaschine zu indexieren.

Sind Suchmaschinen
betreiber verpflichtet die Anweisungen der robots.txt-Datei zu befolgen?

Nein! Bei den Informationen in der robots.txt-Datei handelt es lediglich sich um eine Leseempfehlung des Website-Betreibers an die Suchmaschine. Große Suchmaschinen wie Google, Bing oder Yahoo einigten sich 2008 darauf, die Anweisungen der robots.txt zu befolgen. Eine hundertprozentige Garantie gibt es jedoch nie.

Wo muss ich die robots.txt-Datei auf meinem Webserver ablegen?

Die Datei muss im Stammverzeichnis, also dem obersten Verzeichnis, des Webservers liegen. Die Datei ist also stets erreichbar, fĂŒgt man der URL nach der Top Level Domain ein /robots.txt  hinzu.

Beispiel: https://taismo.de/robots.txt

Wie ist eine robots.txt-Datei aufgebaut?

Die Syntax ist sehr ĂŒberschaubar aufgebaut und besteht aus drei grundlegenden Elementen:

  • User-agent:
    • Dieses Element legt fest, fĂŒr welchen Bot die folgenden Anweisungen gelten sollen.
      • Beispiel: googlebot
    • Soll die Anweisung fĂŒr alle Bots gelten, kann ich * eingefĂŒgt werden. 
      • Beispiel: User-agent: *
  • Allow:
    • Das Element gibt ein Verzeichnis oder eine bestimmte Seite an, die gecrawled werden soll.
  • Disallow:
    • Das Element gibt ein Verzeichnis oder eine bestimmte Seite an, die nicht gecrawled werden soll.

Beispiel:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

ErklÀrung:

Dieser Codeschnipsel enthĂ€lt Anweisungen fĂŒr alle Crawler. Diese sollen die Ordner wp-admin nicht durchsuchen mit Ausnahme der PHP-Datei admin-ajax.php.

Welchen Einfluss hat die robots.txt-Datei auf SEO?

Eine falsch angelegte robots.txt-Datei kann dazu fĂŒhren, dass bestimmte Inhalte Ihres Webauftritts nicht auf der SERP angezeigt werden, da sie vom Crawling ausgeschlossen sind. Ranken bestimmte Seiten nicht wie gewĂŒnscht, sollten die Anweisungen in der Datei untersucht werden.

Mit der robots.txt-Datei können weitere SEO relevanten Informationen an den Web-Crawler ĂŒberliefert werden. Unter anderem kann der Pfad zur Sitemap hinterlegt werden.

Wie das geht, können Sie in unserem Glossar Beitrag zur Sitemap nachlesen.

© 2021 taismo

Icon

5,0 12 Bewertungen