KI-Crawler und robots.txt: was du steuern kannst

Drei Arten von KI-Bots

Nicht jeder KI-Bot hat dieselbe Aufgabe. Trainings-Crawler sammeln Inhalte, mit denen KI-Modelle trainiert werden können. Such-Crawler bauen einen Index, aus dem KI-Suchfunktionen antworten und auf Quellen verlinken. Abruf-Bots öffnen eine Seite nur, wenn ein Nutzer etwas fragt, das sie braucht. Die großen Betreiber nutzen je Aufgabe ein eigenes Token, du entscheidest also je Aufgabe. Laut OpenAI sind seine Einstellungen unabhängig: Du kannst das Training sperren und trotzdem in seiner Suche erscheinen.

Welche Token es gibt

Stand 30. Oktober 2026 beschreiben die Betreiber ihre Bots so:

• OpenAI: GPTBot sammelt Inhalte, die ins Training seiner Basismodelle gehen können, OAI-SearchBot dient den Suchfunktionen von ChatGPT, und ChatGPT-User besucht Seiten für Aktionen, die ein Nutzer startet. OpenAI schreibt, dass robots.txt-Regeln für solche Aktionen womöglich nicht gelten.
• Anthropic: ClaudeBot sammelt Inhalte, die beim Training seiner Modelle helfen können, Claude-SearchBot verbessert Suchergebnisse, und Claude-User ruft Seiten ab, wenn die Frage eines Nutzers das verlangt. Laut Anthropic beachten alle drei robots.txt.
• Perplexity: PerplexityBot zeigt und verlinkt Websites in der Suche von Perplexity und sammelt laut Perplexity keine Inhalte für KI-Basismodelle. Perplexity-User ruft Seiten ab, wenn ein Nutzer fragt, und ignoriert robots.txt laut Perplexity in der Regel.
• Google: Google-Extended ist kein eigener Crawler, sondern ein Token in der robots.txt. Es steuert, ob von Google gecrawlte Inhalte für das Training künftiger Gemini-Modelle und für das Grounding in Gemini genutzt werden dürfen. Laut Google hat es keinen Einfluss auf Aufnahme oder Platzierung in der Google-Suche.
• Apple: Auch Applebot-Extended crawlt keine Seiten. Es steuert, ob von Applebot gecrawlte Daten ins Training der generativen KI-Modelle von Apple gehen dürfen. Gesperrte Seiten können weiter in der Suche von Apple erscheinen.

Andere Betreiber wie Common Crawl, Meta, Amazon und DuckDuckGo veröffentlichen eigene Token. Namen ändern sich, prüf deshalb die Dokumentation des Betreibers.

So wirken die Regeln

• Die Datei liegt im Stammverzeichnis des Hosts, etwa unter https://example.com/robots.txt, und gilt nur für dieses Protokoll, diesen Host und diesen Port.
• Regeln stehen in Gruppen unter User-agent-Zeilen. Laut Google folgt ein Crawler nur der genauesten Gruppe, die zu ihm passt. Nennt ihn eine Gruppe, gilt die Gruppe für alle Crawler (*) für ihn nicht mehr.
• Groß- und Kleinschreibung der Agent-Namen ist egal. Innerhalb einer Gruppe gewinnt die längste passende Regel; sind Allow und Disallow gleich genau, nimmt Google Allow.
• Google liest höchstens 500 KiB der Datei. Antwortet robots.txt mit 4xx außer 429, behandelt Google das wie keine Datei: Alles darf gecrawlt werden.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

In diesem Beispiel dürfen die Trainings-Bots von drei Betreibern nichts abrufen, die Such-Crawler alles außer /admin/, und alle anderen Crawler folgen der ersten Gruppe. Die Such-Crawler wiederholen Disallow: /admin/, weil die Regeln für * für sie nicht mehr gelten.

Was eine Sperre für deine Sichtbarkeit bedeutet

Jede Gruppe betrifft eine andere Art von Sichtbarkeit. Sperrst du einen Trainings-Crawler, bittest du den Betreiber, deine Inhalte nicht fürs Training zu nutzen; Anthropic nennt die Sperre von ClaudeBot ein Signal für künftiges Material. Sperrst du einen Such-Crawler, erscheinen deine Seiten womöglich nicht in der KI-Suche dieses Betreibers. OpenAI schreibt, dass Websites, die OAI-SearchBot sperren, nicht in Suchantworten von ChatGPT gezeigt werden, aber noch als Navigationslinks erscheinen können. Sperrst du Abruf-Bots, öffnen Assistenten, die die Regel beachten, deine Seite nicht, wenn jemand nach ihr fragt.

Google ist ein Sonderfall. Eine Sperre von Google-Extended nimmt deine Website nicht aus der Google-Suche. AI Overviews und AI Mode gehören zur Google-Suche: Laut Google muss eine Seite indexiert sein und mit Snippet erscheinen dürfen, besondere Dateien oder Auszeichnungen braucht es nicht. Um zu begrenzen, was Google von einer Seite zeigt, nennt Google nosnippet, data-nosnippet, max-snippet und noindex. Sie gelten für die ganze Suche, nicht nur für die KI-Funktionen.

robots.txt und llms.txt

Die beiden Dateien haben verschiedene Aufgaben. robots.txt sagt, welchen automatischen Zugriff du akzeptierst. llms.txt ist ein Vorschlag für eine Markdown-Datei, die KI-Assistenten einen kurzen Überblick über deine wichtigsten Seiten gibt, vor allem, wenn jemand eine Frage stellt; unser Ratgeber zu llms.txt erklärt das Format. Laut llmstxt.org kann llms.txt die robots.txt ergänzen, indem sie Zusammenhang für erlaubte Inhalte liefert, sie ersetzt sie aber nicht. Entscheide den Zugriff zuerst in der robots.txt.

Eine sinnvolle Reihenfolge

1. 1Entscheide je Gruppe, was du willst: Training, KI-Suche und Abrufe von Nutzern. Eine mögliche Wahl: Training sperren, Suche und Abrufe erlauben.
2. 2Lies deine aktuelle robots.txt: Welche Gruppen gibt es, und was sperrt die Gruppe für alle Crawler?
3. 3Leg für jede Entscheidung eine Gruppe an und wiederhole die Regeln aus der Gruppe *, die weiter gelten sollen.
4. 4Öffne nach dem Hochladen /robots.txt im Browser und prüf die Datei.
5. 5Prüf deine Liste ab und zu. Betreiber führen neue Bots ein und benennen alte um.

Regeln mit Do4U bauen

Das Werkzeug KI-Crawler in der robots.txt führt eine Liste von KI-Crawlern mit Betreiber, Zweck und Link zur Doku des Betreibers, in drei Gruppen: Modelltraining, Suche und Abrufe auf Wunsch von Nutzern. Du wählst je Gruppe oder je Crawler: erlauben, sperren oder nicht ändern, wahlweise für bestimmte Pfade. Gibst du deine Website ein, liest Do4U deine robots.txt, zeigt je KI-Crawler den Stand vorher und nachher und fügt am Ende einen markierten KI-Abschnitt ein. Deine anderen Gruppen und Sitemap-Zeilen bleiben, wie sie sind. Abruf-Bots, die robots.txt laut Betreiber womöglich ignorieren, sind markiert. Danach prüft der Code die neue Datei noch einmal. Das läuft ohne KI und ist kostenlos.

Do4U baut den Entwurf, du prüfst und entscheidest. robots.txt bleibt eine Bitte: Ob ein Crawler sie befolgt, kann Do4U nicht prüfen.