Was ist ein User Agent?
Ein User Agent ist das Programm, das im Auftrag eines Nutzers Inhalte aus dem Web abruft, etwa ein Browser, eine App oder ein Crawler. Im engeren Sinn bezeichnet User Agent die Kennung, die dieses Programm bei jeder Anfrage im HTTP-Header User-Agent an den Webserver sendet. An dieser Kennung erkennen Webserver, wer anfragt, und über sie greifen die Regeln einer robots.txt für Suchmaschinen und KI-Crawler.
Kurzprofil des Begriffs
| Merkmal | Angabe |
|---|---|
| Schreibweisen | User Agent, User-Agent (als HTTP-Header), Abkürzung UA |
| Technische Grundlage | HTTP-Anfrage-Header User-Agent, beschrieben in RFC 9110 |
| Typische User Agents | Browser, Suchmaschinen-Crawler, KI-Crawler, Apps, Skripte |
| Verbindlichkeit | frei wählbar und damit fälschbar |
| In der robots.txt | Zeile User-agent: mit dem Kurznamen (Token) eines Crawlers |
| Ergänzung im Browser | User-Agent Client Hints, etwa der Header Sec-CH-UA |
Wie ist ein User-Agent-String aufgebaut?
Ein User-Agent-String besteht aus Produktnamen mit Versionsnummer, ergänzt um Angaben in Klammern zu Betriebssystem, Gerät oder Zweck. Zwei Beispiele, ein Browser und der Crawler von Google für Smartphones:
Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/150.0.0.0 Safari/537.36
Mozilla/5.0 (Linux; Android 6.0.1; Nexus 5X Build/MMB29P) AppleWebKit/537.36
(KHTML, like Gecko) Chrome/W.X.Y.Z Mobile Safari/537.36
(compatible; Googlebot/2.1; +http://www.google.com/bot.html)Das Mozilla/5.0 am Anfang ist ein historisches Überbleibsel. Browser haben sich in den 1990er-Jahren als Mozilla ausgegeben, damit Webserver ihnen die modernen Seitenfassungen auslieferten, und fast jeder User Agent übernimmt den Anfang bis heute. Seriöse Crawler hängen ihren Namen und eine Adresse mit Erklärung an, im Beispiel Googlebot/2.1 und den Link auf die Google-Dokumentation.
Chrome kürzt den User-Agent-String seit 2022 schrittweise und liefert Details wie die genaue Version oder das Gerätemodell nur noch auf Nachfrage über User-Agent Client Hints. Der String ist damit weniger aussagekräftig und liefert weniger Merkmale für das Wiedererkennen einzelner Geräte.
Welche User Agents nutzen Suchmaschinen und KI-Crawler?
Jeder seriöse Crawler meldet sich mit einem eigenen Namen, und die großen Anbieter betreiben je nach Zweck mehrere User Agents. Die wichtigsten Kennungen:
| Anbieter | Token | Zweck |
|---|---|---|
| Googlebot | Crawling für die Google-Suche, in einer Smartphone- und einer Desktop-Fassung | |
| Google-Extended | nur ein Token in der robots.txt für die Nutzung von Inhalten in Gemini-Modellen, ohne eigenen User-Agent-String | |
| Microsoft | bingbot | Crawling für Bing und Copilot |
| OpenAI | GPTBot | Sammeln von Trainingsdaten |
| OpenAI | OAI-SearchBot | Index für die Suche in ChatGPT |
| OpenAI | ChatGPT-User | Abruf einer Seite, wenn ein Nutzer in ChatGPT danach fragt |
| Anthropic | ClaudeBot | Sammeln von Trainingsdaten für Claude |
| Perplexity | PerplexityBot | Index für die Antworten von Perplexity |
| Common Crawl | CCBot | offenes Webarchiv, Grundlage vieler Trainingsdatensätze |
Die Tabelle zeigt, warum die Unterscheidung wichtig ist: Ein und derselbe Anbieter kann mit einem User Agent Trainingsdaten sammeln und mit einem anderen Antworten mit Quellen versorgen. Wer einen KI-Crawler sperrt, entscheidet deshalb je Token, ob die eigene Website im Training, in der Suche oder in beidem fehlt. Was hinter dem Archiv von CCBot steckt, erklärt der Beitrag zu Common Crawl.
Wie steuerst du User Agents in der robots.txt?
In der robots.txt steht jede Regelgruppe unter einer Zeile User-agent: mit dem Token des Crawlers, für den sie gilt. Ein Beispiel, das Trainings-Crawler aussperrt und Such-Crawler zulässt:
User-agent: GPTBot
Disallow: /
User-agent: Google-Extended
Disallow: /
User-agent: OAI-SearchBot
Allow: /
User-agent: *
Allow: /Für die Auswertung gelten 3 Regeln. Ein Crawler folgt der Gruppe, deren Token am genauesten zu ihm passt, und ignoriert dann die Gruppe mit dem Stern. Die Groß- und Kleinschreibung des Tokens spielt keine Rolle. Die robots.txt ist eine Bitte, die seriöse Crawler befolgen. Technisch hält sie niemanden auf. Für einzelne Seiten oder Dateitypen steuert der X-Robots-Tag zusätzlich die Indexierung. Wie sich die einzelnen KI-Crawler gezielt zulassen oder sperren lassen, zeigt der Magazinbeitrag KI-Crawler steuern: GPTBot, ClaudeBot und die anderen.
Wie prüfst du, ob ein Crawler echt ist?
Ob ein Crawler echt ist, zeigt die IP-Adresse der Anfrage, denn den User-Agent-String kann jedes Programm frei setzen. Google warnt in seiner Dokumentation ausdrücklich, dass der User-Agent gefälscht werden kann. Die Prüfung gelingt in 3 Schritten:
- Logdatei lesen: Der Webserver protokolliert zu jeder Anfrage User Agent und IP-Adresse.
- Rückwärts auflösen: Für eine IP-Adresse, die sich als Googlebot ausgibt, liefert die umgekehrte DNS-Abfrage einen Namen unter googlebot.com oder google.com. Die Vorwärtsabfrage dieses Namens muss wieder dieselbe IP-Adresse ergeben.
- Mit veröffentlichten Listen abgleichen: Google und OpenAI veröffentlichen die IP-Bereiche ihrer Crawler als JSON-Dateien. Eine Anfrage mit dem Namen GPTBot von einer IP-Adresse außerhalb dieser Bereiche stammt von jemand anderem.
Falsche Googlebots sind häufig Scraper, die Inhalte kopieren, oder Werkzeuge, die Sperren umgehen wollen. Firewalls, die nur auf den User Agent achten, lassen sie durch.
Welche Rolle spielt der User Agent für SEO?
Für SEO entscheidet der User Agent darüber, welche Fassung einer Seite Google sieht und bewertet. 3 Zusammenhänge sind wichtig:
- Mobile-First-Indexierung: Google crawlt die meisten Websites mit dem Googlebot für Smartphones. Beim Mobile-First-Indexing zählt die Fassung, die dieser User Agent erhält.
- Cloaking: Bekommt ein Crawler gezielt andere Inhalte als ein Mensch, verstößt das gegen die Spam-Richtlinien von Google. Cloaking über den User Agent ist die klassische Form davon.
- Rendering: Einige Websites liefern Crawlern eine vorgerenderte HTML-Fassung und Menschen eine JavaScript-Anwendung. Google bezeichnet dieses Dynamic Rendering inzwischen als Übergangslösung und empfiehlt serverseitiges Rendern. Hintergründe dazu stehen im Beitrag zu JavaScript SEO.
Warum blockieren Firewalls manche User Agents?
Firewalls und Content Delivery Networks blockieren User Agents, die sie als automatisiert oder verdächtig einstufen, und treffen dabei auch erwünschte Abrufe. Viele Regeln sperren Anfragen ohne Browserkennung oder mit der Standardkennung von Programmierbibliotheken. taismo hat das bei eigenen Datenabrufen gemessen: Ein Dienst hinter Cloudflare antwortete auf Anfragen ohne Browserkennung mit dem HTTP-Statuscode 403 und dem Fehler 1010. Die Antwort sah aus wie ein fehlendes Zugriffsrecht, und mit einer Browserkennung lief derselbe Abruf sofort durch.
Dieselbe Mechanik trifft KI-Crawler. Sperrt eine Sicherheitsregel des Hosters oder des CDN GPTBot, ClaudeBot oder PerplexityBot, fehlt die Website in deren Antworten, obwohl die robots.txt alles erlaubt. Ob KI-Crawler eine Website wirklich erreichen, prüft ein GEO-Audit mit Abrufen unter den echten User Agents und einem Blick in die Logdateien.
Häufige Fragen zum User Agent
Kann ich meinen User Agent ändern?
Ja. Die Entwicklertools von Chrome, Firefox und Safari erlauben, einen anderen User Agent vorzutäuschen, etwa um eine Seite so zu sehen wie ein Smartphone oder wie der Googlebot.
Ist der User Agent ein personenbezogenes Datum?
Für sich allein identifiziert der User Agent in der Regel keine Person. Zusammen mit IP-Adresse, Bildschirmgröße und weiteren Merkmalen kann er Teil eines Fingerprints werden, mit dem sich Geräte wiedererkennen lassen.
Was bedeutet User-agent: * in der robots.txt?
Der Stern steht für alle Crawler, für die keine eigene Gruppe existiert. Hat ein Crawler eine eigene Gruppe, gilt für ihn nur diese.
Was ist der Unterschied zwischen User Agent und IP-Adresse?
Der User Agent ist eine selbst gewählte Kennung des Programms. Die IP-Adresse ist die Netzwerkadresse, von der die Anfrage kommt, und lässt sich deshalb zur Prüfung der Herkunft nutzen.
Welt der SEO lernen?
