KI-Crawler in der robots.txt

Do4U baut die Regeln für KI-Crawler in deiner robots.txt. Du wählst je Gruppe oder je Crawler: Modelltraining und Datensammlungen, Suche und Antwort-Index sowie Abrufe auf Wunsch von Nutzern. Zu jedem Crawler in der Liste stehen Betreiber, Zweck und ein Link zur Doku des Betreibers. Wenn du deine Website angibst, liest Do4U deine aktuelle robots.txt, zeigt, welche KI-Crawler sie heute erlaubt oder sperrt, und fügt am Ende einen klar markierten KI-Abschnitt hinzu. Deine anderen Gruppen und Sitemap-Zeilen bleiben, wie sie sind. Danach liest der Code die neue Datei noch einmal und prüft, dass jeder Crawler die gewählten Regeln hat. Alles läuft im Code, ohne KI, und die Datei entsteht in deinem Browser.

Jetzt ausprobieren Preise

Kostenlos und ohne Konto: KI-Crawler-Check für die robots.txt →

Für wen

Für Website-Betreiber, Agenturen und Entwickler, die festlegen wollen, welche KI-Crawler ihre Inhalte nutzen dürfen, ohne ihre bestehenden Regeln zu zerstören.

Typische Anwendungen

KI-Trainings-Crawler sperren und in der KI-Suche auffindbar bleiben
Prüfen, welche KI-Crawler deine robots.txt heute erlaubt
Einer bestehenden robots.txt einen KI-Abschnitt hinzufügen, ohne Regeln zu verlieren
KI-Crawler nur für ausgewählte Pfade erlauben

Beispiel

Eingabe

Website: https://example.com Aktuelle robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Auswahl: Training sperren, Suche erlauben, Abrufe von Nutzern erlauben

Ergebnis

GPTBot: gesperrt (eigene Regeln) → gesperrt ClaudeBot: teilweise gesperrt (Regeln für alle) → gesperrt OAI-SearchBot: teilweise gesperrt (Regeln für alle) → teilweise gesperrt (eigene Regeln, /admin/ bleibt gesperrt) Die Regel für alle Crawler und die Sitemap-Zeile bleiben unverändert. Die alte GPTBot-Gruppe bleibt als Kommentar in der Datei, und der neue KI-Abschnitt kommt ans Ende.

Ein festes Beispiel, gekürzt. Echte Ergebnisse sind KI-generiert: Bitte prüf sie.

Preis und Grenzen

Preis: kostenlos, ohne Anmeldung
Verfügbar mit: Free, Mit Paket
Eingabegrenze: Bis zu 60.000 Zeichen je Datei

Datenschutz

Verarbeitet auf eigenen Servern in der EU (Polen). Eingaben und Ergebnisse werden nach 7 Tagen (Free) bzw. 30 Tagen (Pakete) gelöscht – oder direkt nach der Anzeige, wenn du das Speichern abwählst. Bilder löschen wir gleich nach der Verarbeitung.

In der API

Werkzeugname: ai_robots_txt. Leg einen Auftrag mit POST /api/v1/jobs an und hol das Ergebnis mit GET /api/v1/jobs/{id}. Den API-Schlüssel findest du in deinem Konto.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Zur API-Dokumentation →

Fragen und Antworten

Hält die robots.txt KI-Crawler wirklich ab?

Keine Datei kann einen Crawler zwingen. Die robots.txt zu befolgen ist freiwillig, und jeder Crawler entscheidet selbst, ob er sich an die Regeln hält. Manche Abrufe auf Wunsch von Nutzern können die robots.txt laut ihren Betreibern übergehen. Do4U markiert sie in der Liste.

Bleiben meine anderen Regeln und meine Sitemap erhalten?

Ja. Do4U behält alle anderen Gruppen und alle Sitemap-Zeilen. Nur Zeilen, die einen Crawler nennen, über den du jetzt entscheidest, werden zu Kommentaren, damit sich alte und neue Regeln nicht mischen. Der KI-Abschnitt steht klar markiert am Ende der Datei, und ein zweiter Lauf ersetzt ihn.

Verschwindet meine Website aus Google, wenn ich Google-Extended sperre?

Nein. Google-Extended ist kein Crawler, sondern ein Token in der robots.txt. Laut Google steuert es die Nutzung deiner Inhalte für Gemini-Modelle und wirkt sich nicht auf die Google-Suche aus. Applebot-Extended funktioniert für Apple ähnlich.

Wird mein Text gespeichert?

Nur so lange wie nötig: 7 Tage bei Free, 30 Tage mit Paket – oder gar nicht, wenn du das Speichern abwählst. Verarbeitet wird auf eigenen Servern in der EU (Polen).

Kann ich das Ergebnis direkt verwenden?

Die Ergebnisse sind KI-generiert. Lies sie bitte, bevor du sie veröffentlichst oder verschickst.

Passende Werkzeuge

llms.txt-Generator
Lies deine Website ein und erhalte eine fertige llms.txt für KI-Assistenten: Name deiner Website, kurze Zusammenfassung und deine wichtigsten Seiten, jeweils mit einem Satz. Der Code baut und prüft die Datei; du lädst sie herunter oder kopierst sie.
KI-Sichtbarkeits-Check
Finde heraus, wie gut eine Seite die Fragen beantwortet, die Menschen typischerweise zu ihrem Thema stellen. Die KI schlägt die Fragen vor und belegt jede Antwort mit einem genauen Zitat aus deiner Seite; der Code prüft die Zitate und rechnet die Abdeckung aus. Dazu siehst du fehlende Antworten und Hinweise zu FAQ-Markup, llms.txt und robots.txt. Keine Ranking-Zusage.

Alle Werkzeuge →