Was ist der X-Robots-Tag?

Der X-Robots-Tag ist eine Anweisung zur Steuerung der Indexierung, die eine Website im HTTP-Antwort-Header ausgibt. Er wirkt wie das Robots-Meta-Tag im HTML, lässt sich aber auf beliebige Dateitypen anwenden – auch auf Nicht-HTML-Ressourcen wie PDFs, Bilder oder Videos, die gar kein <head> besitzen. Über Direktiven wie noindex oder nofollow teilt der X-Robots-Tag Suchmaschinen mit, ob und wie sie eine Ressource in den Index aufnehmen dürfen.

X-Robots-Tag erklärt: Indexierungssteuerung im HTTP-Header mit den Direktiven noindex und nofollow für HTML, PDF und Bilder

Weil die Anweisung serverseitig im HTTP-Header sitzt, greift der X-Robots-Tag genau dort, wo das klassische Robots-Meta-Tag an seine Grenze stößt: bei Dateien ohne HTML-Struktur und bei Regeln, die für ganze Verzeichnisse oder Dateitypen auf einmal gelten sollen. Er ist damit ein zentrales Werkzeug der technischen Indexierungssteuerung.

Kurzprofil des Begriffs

Merkmal	Angabe
Kategorie	HTTP-Antwort-Header zur Indexierungssteuerung
Aussprache	„ix-robots-täg“ (englisch X-Robots-Tag)
Gilt für	Alle Dateitypen (HTML, PDF, Bilder, Videos, u. a.)
Steuert	Indexierung & Darstellung – nicht das Crawling
Verwandte Begriffe	Robots-Meta-Tag, robots.txt, noindex, Crawler

Was macht der X-Robots-Tag?

Der X-Robots-Tag gibt Suchmaschinen im HTTP-Header vor, ob und wie sie eine abgerufene Ressource indexieren und in den Suchergebnissen anzeigen dürfen. Wenn der Server eine Datei ausliefert, schickt er zusätzlich zum eigentlichen Inhalt einen Satz Antwort-Header mit. Der X-Robots-Tag ist einer dieser Header und transportiert dieselben Direktiven, die man sonst im HTML als <meta name="robots"> setzen würde.

Ein typischer Antwort-Header für eine PDF-Datei, die nicht im Index erscheinen soll, sieht so aus:

HTTP/1.1 200 OK
Content-Type: application/pdf
X-Robots-Tag: noindex

Der entscheidende Vorteil: Diese Anweisung braucht keinen HTML-Quelltext. Genau deshalb ist der X-Robots-Tag der einzige Weg, um Nicht-HTML-Ressourcen wie PDF-Dokumente, Bilder oder Videos gezielt aus dem Google-Index herauszuhalten. Für solche Dateien lässt sich kein Meta-Tag im Kopfbereich hinterlegen, wohl aber ein HTTP-Header. Voraussetzung ist immer, dass eine Suchmaschine die Datei überhaupt abrufen darf – nur dann liest sie den Header aus.

X-Robots-Tag, Robots-Meta-Tag oder robots.txt – was steuert was?

Die drei Werkzeuge greifen an unterschiedlichen Stellen: Die robots.txt steuert das Crawling (Zugriff), während X-Robots-Tag und Robots-Meta-Tag die Indexierung (Aufnahme in den Index) steuern. Wer diese Ebenen verwechselt, produziert einen der häufigsten SEO-Fehler überhaupt.

robots.txt: erlaubt oder verbietet einem Crawler den Zugriff auf URLs. Sie sagt nichts über die Indexierung – eine per Disallow gesperrte, aber verlinkte URL kann trotzdem im Index landen.
Robots-Meta-Tag: steht als <meta name="robots"> im <head> einer HTML-Seite und steuert deren Indexierung. Funktioniert nur bei HTML.
X-Robots-Tag: transportiert dieselben Indexierungs-Direktiven wie das Meta-Tag, aber im HTTP-Header – und damit für jeden Dateityp und optional serverweit.

Wichtig ist das Zusammenspiel mit der robots.txt: Damit Google eine noindex-Anweisung im X-Robots-Tag sehen kann, muss die Datei crawlbar sein. Sperrt die robots.txt die URL zusätzlich per Disallow, ruft der Crawler sie nie ab und liest das noindex nie – die Seite kann dann sogar im Index verbleiben. Crawl-Sperre und Indexierungs-Verbot schließen sich gegenseitig aus. Dieselbe Logik gilt für das noindex-Attribut im HTML.

Abb. 1: Crawling steuert die robots.txt, die Indexierung steuern Robots-Meta-Tag und X-Robots-Tag.

Welche Direktiven kennt der X-Robots-Tag?

Der X-Robots-Tag versteht dieselben Direktiven wie das Robots-Meta-Tag; mehrere lassen sich kommagetrennt kombinieren. Die wichtigsten sind:

Direktive	Wirkung
`noindex`	Ressource nicht in den Index aufnehmen.
`nofollow`	Den Links auf der Ressource nicht folgen.
`none`	Kurzform für `noindex, nofollow`.
`noarchive`	Keine im Cache gespeicherte Version anzeigen.
`nosnippet`	Kein Text- oder Video-Snippet in den Suchergebnissen zeigen.
`noimageindex`	Bilder der Seite nicht indexieren.
`unavailable_after`	Ressource ab einem festgelegten Datum nicht mehr anzeigen.
`max-snippet`, `max-image-preview`, `max-video-preview`	Länge bzw. Größe der Vorschau begrenzen.

Eine Besonderheit des HTTP-Headers: Er lässt sich gezielt an einzelne Bots richten, indem dem Wert der Name des Crawlers vorangestellt wird. So gilt eine Regel nur für den benannten Bot, während andere Suchmaschinen unbehelligt bleiben:

X-Robots-Tag: googlebot: noindex, nofollow
X-Robots-Tag: bingbot: noindex

Die zeitgesteuerte Direktive unavailable_after ist praktisch für befristete Inhalte wie Aktionsseiten. Sie erwartet ein Datum, üblicherweise im ISO-8601- oder RFC-822-Format:

X-Robots-Tag: unavailable_after: 2026-12-31T23:59:59+01:00

Wie richtet man den X-Robots-Tag ein?

Der X-Robots-Tag wird auf dem Server konfiguriert, weil er Teil der HTTP-Antwort ist. Wie das geschieht, hängt von der Server-Software ab – am häufigsten sind Apache und Nginx. In beiden Fällen lassen sich Regeln über Dateiendungen oder Pfade gezielt zuschneiden.

Unter Apache setzt man den Header in der .htaccess oder der Server-Konfiguration. Dieses Beispiel nimmt alle PDF-Dateien aus dem Index:

<FilesMatch "\.pdf$">
  Header set X-Robots-Tag "noindex, nofollow"
</FilesMatch>

Unter Nginx wird der Header innerhalb eines location-Blocks gesetzt. Das folgende Beispiel bezieht sich ebenfalls auf PDF-Dateien:

location ~* \.pdf$ {
  add_header X-Robots-Tag "noindex, nofollow";
}

Ob der Header korrekt ausgeliefert wird, lässt sich in den Entwicklertools des Browsers (Reiter „Netzwerk“) oder mit einem einfachen Kommandozeilen-Aufruf prüfen. Der Befehl curl -I https://beispiel.de/datei.pdf zeigt die Antwort-Header inklusive eines gesetzten X-Robots-Tag. Ob Google die Anweisung tatsächlich verarbeitet, verrät später die Google Search Console.

Abb. 2: Der Server liefert den X-Robots-Tag im HTTP-Header mit, der Crawler wertet die Direktive aus.

Welche Anwendungsfälle und Fehler sind typisch?

Der X-Robots-Tag ist immer dann das richtige Werkzeug, wenn eine Ressource crawlbar bleiben, aber nicht im Index erscheinen soll. Typische Anwendungsfälle:

PDF-Dokumente: Whitepaper, Preislisten oder Handbücher aus dem Index nehmen, ohne sie unzugänglich zu machen.
Bild- und Mediendateien: Einzelbilder oder Downloads gezielt von der Indexierung ausschließen.
Interne oder temporäre Bereiche: Such-Ergebnisseiten, Filter-URLs oder Staging-Verzeichnisse serverweit mit noindex versehen.
Befristete Inhalte: Aktions- oder Event-Seiten per unavailable_after nach einem Stichtag automatisch aus den Ergebnissen entfernen.

Die häufigsten Fehler entstehen aus dem Missverständnis von Crawling und Indexierung. Diese vier tauchen in Audits regelmäßig auf:

noindex plus robots.txt-Sperre: Die URL ist per Disallow gesperrt und trägt zugleich ein noindex im X-Robots-Tag. Google darf die Datei nicht abrufen, sieht das noindex nie – die Seite bleibt womöglich im Index.
Versehentliches serverweites noindex: Eine zu breite Regel legt ein noindex über die komplette Domain, oft ein aus der Staging-Umgebung übernommener Header. Rankings brechen dann flächig ein.
Widersprüchliche Signale: Robots-Meta-Tag und X-Robots-Tag setzen unterschiedliche Direktiven für dieselbe URL. Google folgt in der Regel der restriktiveren Anweisung – nachvollziehbar bleibt das kaum.
Header nicht ausgeliefert: Ein Caching-Layer oder Reverse-Proxy filtert den Header heraus, sodass er den Crawler nie erreicht. Ein curl -I-Check deckt das auf.

Genau solche Konflikte zwischen Crawling- und Indexierungs-Signalen gehören zu den Standard-Prüfpunkten in einem SEO-Audit – sie kosten Sichtbarkeit, ohne im Content sichtbar zu sein.

Häufige Fragen zum X-Robots-Tag

Ist der X-Robots-Tag besser als das Robots-Meta-Tag?
Keines ist grundsätzlich besser – sie ergänzen sich. Für einzelne HTML-Seiten ist das Meta-Tag oft bequemer, für Nicht-HTML-Dateien und serverweite Regeln ist der X-Robots-Tag der einzige Weg. Beide unterstützen dieselben Direktiven.

Funktioniert der X-Robots-Tag zusammen mit einer robots.txt-Sperre?
Nein. Ist die URL per Disallow gesperrt, ruft Google die Datei nicht ab und liest den X-Robots-Tag nie aus. Für eine wirksame noindex-Anweisung muss die Datei crawlbar bleiben.

Wie prüfe ich, ob der X-Robots-Tag gesetzt ist?
Mit dem Befehl curl -I auf die URL oder über den Netzwerk-Reiter der Browser-Entwicklertools. Beide zeigen die HTTP-Antwort-Header inklusive eines vorhandenen X-Robots-Tag.