AI crawlery v robots.txt

Do4U sestaví pravidla pro AI crawlery v tvém robots.txt. Volíš pro každou skupinu nebo každý crawler: trénování modelů a datové sady, vyhledávací a odpovědní index a načítání na žádost uživatele. Každý crawler v seznamu má uvedeného provozovatele, účel a odkaz na dokumentaci provozovatele. Pokud zadáš svůj web, Do4U přečte tvůj aktuální robots.txt, ukáže, které AI crawlery dnes povoluje nebo blokuje, a na konec přidá jasně označenou sekci pro AI. Tvé ostatní skupiny a řádky se sitemapou zůstanou, jak jsou. Kód pak nový soubor znovu přečte a zkontroluje, že každý crawler má pravidla, která jsi zvolil(a). Vše probíhá v kódu, bez AI, a soubor vzniká v tvém prohlížeči.

Vyzkoušet hned Ceník

Zdarma a bez účtu: Kontrola AI crawlerů pro robots.txt →

Pro koho je

Pro majitele webů, agentury a vývojáře, kteří chtějí rozhodnout, které AI crawlery smějí používat jejich obsah, aniž by narušili pravidla, která už mají.

Typické použití

Zablokovat crawlery pro trénování AI a přesto být k nalezení ve vyhledávání s AI
Zkontrolovat, které AI crawlery tvůj robots.txt dnes povoluje
Přidat sekci pro AI do existujícího robots.txt bez ztráty pravidel
Povolit AI crawlery jen pro vybrané cesty

Příklad

Vstup

Web: https://example.com Aktuální robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Volba: blokovat trénování, povolit vyhledávání, povolit načítání na žádost uživatele

Výsledek

GPTBot: blokováno (vlastní pravidla) → blokováno ClaudeBot: částečně blokováno (pravidla pro všechny) → blokováno OAI-SearchBot: částečně blokováno (pravidla pro všechny) → částečně blokováno (vlastní pravidla, /admin/ zůstává blokováno) Pravidlo pro všechny crawlery a řádek se sitemapou zůstávají beze změny. Stará skupina GPTBot zůstane v souboru jako komentář a nová sekce pro AI se přidá na konec.

Pevný příklad, zkrácený. Skutečné výsledky vytváří AI: zkontroluj je prosím.

Cena a limity

Cena: zdarma, bez registrace
K dispozici s: Zdarma, S balíčkem
Limit vstupu: Nejvýše 60 000 znaků na soubor

Soukromí

Zpracováváme na vlastních serverech v EU (Polsko). Vstupy a výsledky se mažou po 7 dnech (Zdarma) nebo po 30 dnech (balíčky), případně hned po zobrazení výsledku, pokud zvolíš, že se neukládají. Obrázky se mažou hned po zpracování.

V API

Název nástroje: ai_robots_txt. Úlohu vytvoříš pomocí POST /api/v1/jobs a výsledek získáš pomocí GET /api/v1/jobs/{id}. Svůj klíč API najdeš ve svém účtu.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Úplná dokumentace API →

Otázky a odpovědi

Zastaví robots.txt AI crawlery opravdu?

Žádný soubor crawler k ničemu nedonutí. Dodržování robots.txt je dobrovolné a každý crawler sám rozhoduje, zda pravidla respektuje. Některé nástroje, které načítají na žádost uživatele, mohou robots.txt podle svých provozovatelů ignorovat. Do4U je v seznamu označuje.

Zůstanou má ostatní pravidla a moje sitemapa zachovány?

Ano. Do4U zachová všechny ostatní skupiny a všechny řádky se sitemapou. Jen řádky, které uvádějí crawler, o kterém nyní rozhoduješ, se změní na komentáře, aby se stará a nová pravidla nemíchala. Sekce pro AI je jasně označená na konci souboru a další spuštění ji nahradí.

Odstraní zablokování Google-Extended můj web z Googlu?

Ne. Google-Extended není crawler, ale token v robots.txt. Podle Googlu řídí použití tvého obsahu pro modely Gemini a nemá vliv na Vyhledávání Google. Applebot-Extended funguje podobně pro Apple.

Ukládá se můj text?

Pouze tak dlouho, jak je potřeba: 7 dní v tarifu Free, 30 dní s balíčkem – nebo vůbec, pokud se rozhodneš text neukládat. Zpracování probíhá na našich vlastních serverech v EU (v Polsku).

Můžu výsledek hned použít?

Výsledky vytváří AI. Než je zveřejníš nebo odešleš, prosím si je přečti.

Související nástroje

Generátor llms.txt
Přečti svůj web a získej hotový soubor llms.txt pro AI asistenty: název webu, krátké shrnutí a nejdůležitější stránky, každou s jednou větou. Kód soubor sestaví a zkontroluje; ty si ho stáhneš nebo zkopíruješ.
Kontrola viditelnosti pro AI
Zjisti, jak dobře stránka odpovídá na otázky, které lidé typicky kladou k jejímu tématu. AI navrhne otázky a každou odpověď ohodnotí přesným citátem z tvé stránky; kód citáty ověří a vypočítá pokrytí. Uvidíš také chybějící odpovědi a tipy k značkám FAQ, llms.txt a robots.txt. Žádný příslib pozice ve výsledcích.

Všechny nástroje →