Prehľadávače AI v robots.txt

Do4U vytvorí pravidlá pre prehľadávače AI v tvojom robots.txt. Volíš pre každú skupinu alebo prehľadávač: trénovanie modelov a súbory údajov, index vyhľadávania a odpovedí a načítania na žiadosť používateľa. Každý prehľadávač v zozname má uvedeného prevádzkovateľa, účel a odkaz na dokumentáciu prevádzkovateľa. Ak zadáš svoj web, Do4U prečíta tvoj aktuálny robots.txt, ukáže, ktoré prehľadávače AI dnes povoľuje alebo blokuje, a na koniec pridá jasne označenú sekciu pre AI. Tvoje ostatné skupiny a riadky sitemap zostanú bez zmeny. Kód potom nový súbor znova prečíta a skontroluje, či má každý prehľadávač pravidlá, ktoré si zvolil. Všetko sa deje v kóde, bez AI, a súbor sa vytvorí v tvojom prehliadači.

Vyskúšať hneď Cenník

Zadarmo a bez účtu: Kontrola prehľadávačov AI v robots.txt →

Pre koho je

Pre majiteľov webov, agentúry a vývojárov, ktorí chcú rozhodnúť, ktoré prehľadávače AI smú používať ich obsah, bez narušenia pravidiel, ktoré už majú.

Typické použitie

Zablokuj prehľadávače na trénovanie AI a zostaň nájditeľný vo vyhľadávaní s AI
Skontroluj, ktoré prehľadávače AI tvoj robots.txt dnes povoľuje
Pridaj sekciu pre AI do existujúceho robots.txt bez straty pravidiel
Povoľ prehľadávače AI iba pre vybrané cesty

Príklad

Vstup

Web: https://example.com Aktuálny robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Voľba: blokovať trénovanie, povoliť vyhľadávanie, povoliť načítania na žiadosť používateľa

Výsledok

GPTBot: blokované (vlastné pravidlá) → blokované ClaudeBot: čiastočne blokované (pravidlá pre všetkých) → blokované OAI-SearchBot: čiastočne blokované (pravidlá pre všetkých) → čiastočne blokované (vlastné pravidlá, /admin/ zostáva blokované) Pravidlo pre všetky prehľadávače a riadok sitemap zostanú bez zmeny. Stará skupina GPTBot zostane v súbore ako komentár a nová sekcia pre AI sa pridá na koniec.

Pevný príklad, skrátený. Skutočné výsledky generuje AI: skontroluj ich.

Cena a limity

Cena: zadarmo, bez registrácie
Dostupné s: Zadarmo, S balíkom
Limit vstupu: Najviac 60 000 znakov na súbor

Ochrana súkromia

Spracované na našich vlastných serveroch v EÚ (Poľsko). Vstupy a výsledky sa odstránia po 7 dňoch (Zadarmo) alebo 30 dňoch (balíky), alebo hneď po zobrazení výsledku, ak zvolíš, že sa nemajú ukladať. Obrázky sa odstránia hneď po spracovaní.

V API

Názov nástroja: ai_robots_txt. Úlohu vytvoríš cez POST /api/v1/jobs a výsledok načítaš cez GET /api/v1/jobs/{id}. Svoj kľúč API nájdeš vo svojom účte.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Úplná dokumentácia API →

Otázky a odpovede

Zastaví robots.txt naozaj prehľadávače AI?

Žiadny súbor nemôže prehľadávač prinútiť. Dodržiavanie robots.txt je dobrovoľné a každý prehľadávač sám rozhoduje, či pravidlá dodrží. Niektoré nástroje, ktoré načítavajú na žiadosť používateľa, môžu robots.txt ignorovať, ako uvádzajú ich prevádzkovatelia. Do4U ich v zozname označuje.

Zostanú moje ostatné pravidlá a moja sitemap zachované?

Áno. Do4U ponechá všetky ostatné skupiny a všetky riadky sitemap. Komentárom sa stanú iba riadky, ktoré uvádzajú prehľadávač, o ktorom teraz rozhoduješ, aby sa staré a nové pravidlá nemiešali. Sekcia pre AI je jasne označená na konci súboru a ďalšie spustenie ju nahradí.

Odstráni zablokovanie Google-Extended môj web z Google?

Nie. Google-Extended nie je prehľadávač, ale token v robots.txt. Podľa Google riadi používanie tvojho obsahu pre modely Gemini a nemá vplyv na Vyhľadávanie Google. Applebot-Extended funguje podobne pre Apple.

Ukladá sa môj text?

Iba tak dlho, ako je potrebné: 7 dní vo verzii Free, 30 dní s balíkom – alebo vôbec, ak sa rozhodneš text neukladať. Spracovanie prebieha na našich vlastných serveroch v EÚ (Poľsko).

Môžem výsledok použiť hneď?

Výsledky generuje AI. Pred zverejnením alebo odoslaním si ich, prosím, prečítaj.

Súvisiace nástroje

Generátor llms.txt
Prečíta tvoj web a vytvorí hotový súbor llms.txt pre asistentov s AI: názov tvojho webu, krátke zhrnutie a tvoje najdôležitejšie stránky, každú s jednou vetou. Kód súbor zostaví a skontroluje; ty si ho stiahneš alebo skopíruješ.
Kontrola viditeľnosti pre AI
Zisti, nakoľko dobre stránka odpovedá na otázky, ktoré ľudia typicky kladú k jej téme. AI navrhne otázky a každú odpoveď ohodnotí presným citátom z tvojej stránky; kód citáty skontroluje a vypočíta pokrytie. Uvidíš aj chýbajúce odpovede a tipy k značkovaniu FAQ, llms.txt a robots.txt. Bez sľubu umiestnenia.

Všetky nástroje →