Was ist ein KI-Crawler?

KI-Crawler sind Programme, die Webseiten automatisiert abrufen, um Inhalte für KI-Systeme zu sammeln. Sie bedienen drei Zwecke: Das Training von Sprachmodellen, den Suchindex von KI-Suchsystemen und den Live-Abruf einzelner Seiten während einer Nutzeranfrage. Bekannte KI-Crawler sind GPTBot und OAI-SearchBot von OpenAI, ClaudeBot von Anthropic und PerplexityBot.

Welche KI-Crawler gibt es?

Sechs Kennungen begegnen dir in Logfiles und robots.txt-Diskussionen am häufigsten:

Anders als ein klassischer Crawler wie der Googlebot arbeiten viele dieser Bots nicht für einen Suchindex, sondern für ein Sprachmodell. Genau deshalb lohnt der Blick auf den Zweck jeder Kennung, bevor du sie sperrst.

Wie steuerst du KI-Crawler über die robots.txt?

KI-Crawler steuerst du wie jeden Bot über die robots.txt im Stammverzeichnis deiner Domain. Jede Regel gilt exakt für die genannte Kennung:

User-agent: GPTBot
Disallow: /

User-agent: OAI-SearchBot
Allow: /

Dieses Beispiel verbietet OpenAI das Einsammeln fürs Modelltraining und erlaubt gleichzeitig die Aufnahme in die ChatGPT-Suche. Wichtig für die Erwartungshaltung: Die robots.txt ist eine Anweisung, keine Schranke. Seriöse Anbieter halten sich daran, unseriöse Scraper nicht.

Warum nimmt eine GPTBot-Sperre dich nicht aus der ChatGPT-Suche?

Weil GPTBot und OAI-SearchBot unabhängige Schalter sind. OpenAI dokumentiert die Trennung ausdrücklich: Jeder Bot steuert nur seinen eigenen Zweck, und ein Website-Betreiber kann OAI-SearchBot erlauben und gleichzeitig GPTBot sperren. In der Praxis heißt das:

• GPTBot gesperrt, OAI-SearchBot erlaubt: Deine Inhalte fließen nicht ins Modelltraining ein, deine Website erscheint aber weiterhin in den Antworten der ChatGPT-Suche.
• OAI-SearchBot gesperrt: Deine Website wird laut OpenAI nicht mehr in den Suchantworten von ChatGPT angezeigt, unabhängig davon, was für GPTBot gilt.
• ChatGPT-User: Ruft Seiten auf direkte Nutzeranfrage ab. Weil die Aktion vom Menschen ausgeht, greifen robots.txt-Regeln hier laut OpenAI nicht zwingend.

Der verbreitete Kurzschluss „GPTBot sperren = raus aus ChatGPT“ ist also falsch, und zwar in beide Richtungen: Die Trainings-Sperre kostet keine Sichtbarkeit in der KI-Suche, und wer unsichtbar werden will, muss den richtigen Schalter treffen.

Solltest du KI-Crawler sperren oder zulassen?

Für die meisten Unternehmen lautet die Antwort: Zulassen, zumindest für die Such-Crawler. Antworten von ChatGPT, Perplexity und der KI-Suche sind ein wachsender Sichtbarkeitskanal; wer OAI-SearchBot oder PerplexityBot sperrt, verzichtet auf Nennungen und Quellenlinks. Eine Trainings-Sperre über GPTBot oder Google-Extended ist davon getrennt abwägbar, etwa für exklusive Inhalte.

Wer KI-Crawler zulässt, kann ihnen die Arbeit erleichtern: Eine llms.txt fasst die wichtigsten Seiten einer Domain als Briefing zusammen, und zitierfähig strukturierte Inhalte erhöhen die Chance auf eine Nennung. Beides gehört zur Generative Engine Optimization (GEO) und ist Kern unserer Optimierung für KI-Sichtbarkeit.

Häufige Fragen zu KI-Crawlern

Ist der Googlebot ein KI-Crawler?
Nein. Der Googlebot ist der klassische Such-Crawler von Google; seine Daten fließen allerdings auch in AI Overviews und den AI Mode ein. Für das Training der Gemini-Modelle bietet Google mit Google-Extended einen eigenen robots.txt-Schalter an, der die Google-Suche nicht berührt.

Halten sich KI-Crawler an die robots.txt?
Die großen Anbieter wie OpenAI, Anthropic und Google dokumentieren ihre Crawler und erklären, die robots.txt zu respektieren. Eine technische Sperre ist die Datei aber nicht: Unseriöse Bots ignorieren sie. Wer Inhalte hart schützen will, braucht serverseitige Sperren.

Wie erkenne ich KI-Crawler in meinen Logfiles?
Am User-Agent: Kennungen wie GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot oder PerplexityBot stehen im User-Agent-String jedes Abrufs. Die Anbieter veröffentlichen zusätzlich IP-Listen, mit denen sich echte Crawler von Fälschungen unterscheiden lassen.