Was ist die robots.txt?
Die robots.txt ist eine Textdatei, auf einem Webserver. Sie ist nach dem Robots-Exclusion-Standard-Protokoll aufgebaut ist. Sie enthält Anweisungen an einen Web-Crawler, welcher die Seite scannt, um sie für eine Suchmaschine zu indexieren.
Sind Suchmaschinen
betreiber verpflichtet die Anweisungen der robots.txt-Datei zu befolgen?
Nein! Bei den Informationen in der robots.txt-Datei handelt es lediglich sich um eine Leseempfehlung des Website-Betreibers an die Suchmaschine. Große Suchmaschinen wie Google, Bing oder Yahoo einigten sich 2008 darauf, die Anweisungen der robots.txt zu befolgen. Eine hundertprozentige Garantie gibt es jedoch nie.
Wo muss ich die robots.txt-Datei auf meinem Webserver ablegen?
Die Datei muss im Stammverzeichnis, also dem obersten Verzeichnis, des Webservers liegen. Die Datei ist also stets erreichbar, fügt man der URL nach der Top Level Domain ein /robots.txt hinzu.
Beispiel: https://taismo.de/robots.txt
Wie ist eine robots.txt-Datei aufgebaut?
Die Syntax ist sehr überschaubar aufgebaut und besteht aus drei grundlegenden Elementen:
- User-agent:
- Dieses Element legt fest, für welchen Bot die folgenden Anweisungen gelten sollen.
- Beispiel: googlebot
- Soll die Anweisung für alle Bots gelten, kann ich * eingefügt werden.
- Beispiel: User-agent: *
- Dieses Element legt fest, für welchen Bot die folgenden Anweisungen gelten sollen.
- Allow:
- Das Element gibt ein Verzeichnis oder eine bestimmte Seite an, die gecrawled werden soll.
- Disallow:
- Das Element gibt ein Verzeichnis oder eine bestimmte Seite an, die nicht gecrawled werden soll.
Beispiel:
User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php
Erklärung:
Dieser Codeschnipsel enthält Anweisungen für alle Crawler. Diese sollen die Ordner wp-admin nicht durchsuchen mit Ausnahme der PHP-Datei admin-ajax.php.
Welchen Einfluss hat die robots.txt-Datei auf SEO?
Eine falsch angelegte robots.txt-Datei kann dazu führen, dass bestimmte Inhalte Ihres Webauftritts nicht auf der SERP angezeigt werden, da sie vom Crawling ausgeschlossen sind. Ranken bestimmte Seiten nicht wie gewünscht, sollten die Anweisungen in der Datei untersucht werden.
Mit der robots.txt-Datei können weitere SEO relevanten Informationen an den Web-Crawler überliefert werden. Unter anderem kann der Pfad zur Sitemap hinterlegt werden.
Wie das geht, können Sie in unserem Glossar Beitrag zur Sitemap nachlesen.
