DI robotai ir robots.txt: ką gali valdyti

Trys DI robotų rūšys

Ne kiekvienas DI robotas atlieka tą patį darbą. Mokymo robotai renka turinį, kuris gali būti naudojamas DI modeliams mokyti. Paieškos robotai kuria indeksą, iš kurio DI paieškos funkcijos atsako į klausimus ir pateikia nuorodas į šaltinius. Naudotojų užklausų robotai atidaro puslapį tik tada, kai naudotojas paklausia ko nors, kam jo reikia. Didieji operatoriai kiekvienam darbui naudoja atskirą žetoną, todėl gali spręsti pagal darbą. Pavyzdžiui, OpenAI rašo, kad jos nustatymai yra nepriklausomi: gali blokuoti mokymą ir vis tiek būti matomas(-a) jos paieškoje.

Kokie žetonai yra

2026 m. spalio 30 d. duomenimis operatoriai savo robotus aprašo taip:

• OpenAI: GPTBot renka turinį, kuris gali būti naudojamas jos bazinių modelių mokymui, OAI-SearchBot naudojamas ChatGPT paieškos funkcijoms, o ChatGPT-User lankosi puslapiuose naudotojo pradėtiems veiksmams. OpenAI rašo, kad tokiems veiksmams robots.txt taisyklės gali būti netaikomos.
• Anthropic: ClaudeBot renka turinį, kuris galėtų padėti mokyti jos modelius, Claude-SearchBot gerina paieškos rezultatus, o Claude-User atsiunčia puslapius, kai to reikia naudotojo klausimui. Anthropic teigimu, visi trys paiso robots.txt.
• Perplexity: PerplexityBot rodo svetaines Perplexity paieškos rezultatuose ir pateikia į jas nuorodas, o Perplexity teigimu, jis nenaudojamas turiniui DI baziniams modeliams rinkti. Perplexity-User atsiunčia puslapius, kai to prašo naudotojas, ir, kaip rašo Perplexity, paprastai nepaiso robots.txt.
• Google: Google-Extended nėra atskiras robotas, o žetonas faile robots.txt. Jis valdo, ar Google surinktas turinys gali būti naudojamas būsimiems Gemini modeliams mokyti ir Gemini atsakymams pagrįsti (grounding). Google teigimu, jis neturi įtakos įtraukimui ar reitingui Google paieškoje.
• Apple: Applebot-Extended taip pat nenaršo puslapių. Jis valdo, ar Applebot surinkti duomenys gali būti naudojami Apple generatyviniams DI modeliams mokyti. Jį blokuojantys puslapiai vis tiek gali būti rodomi Apple paieškos rezultatuose.

Kiti operatoriai, pavyzdžiui, Common Crawl, Meta, Amazon ir DuckDuckGo, skelbia savo žetonus. Pavadinimai keičiasi, todėl patikrink operatoriaus dokumentaciją.

Kaip veikia taisyklės

• Failas yra serverio šaknyje, pavyzdžiui, https://example.com/robots.txt, ir taikomas tik tam protokolui, serveriui ir prievadui.
• Taisyklės sugrupuotos po User-agent eilutėmis. Google teigimu, robotas laikosi tik konkrečiausios jį atitinkančios grupės. Jei grupė jį įvardija, grupė visiems robotams (*) jam nebetaikoma.
• Robotų pavadinimuose didžiosios ir mažosios raidės neskiriamos. Grupės viduje laimi ilgiausia atitinkanti taisyklė; jei allow ir disallow vienodai konkretūs, Google taiko allow.
• Google perskaito daugiausia 500 KiB failo. Jei robots.txt atsako 4xx būsena, išskyrus 429, Google svetainę vertina taip, lyg failo nebūtų, todėl viską galima naršyti.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Šiame pavyzdyje trijų operatorių mokymo robotai negali nieko atsisiųsti, paieškos robotai gali atsisiųsti viską, išskyrus /admin/, o visi kiti robotai laikosi pirmosios grupės. Paieškos robotams Disallow: /admin/ kartojamas, nes taisyklės grupei * jiems nebetaikomos.

Ką blokavimas reiškia tavo matomumui

Kiekviena grupė veikia skirtingą matomumo rūšį. Jei blokuoji mokymo robotą, prašai jo operatoriaus nenaudoti tavo turinio mokymui; pavyzdžiui, Anthropic ClaudeBot blokavimą apibūdina kaip signalą būsimai medžiagai. Jei blokuoji paieškos robotą, tavo puslapiai gali nebūti rodomi to operatoriaus DI paieškoje. OpenAI rašo, kad svetainės, blokuojančios OAI-SearchBot, nerodomos ChatGPT paieškos atsakymuose, bet vis tiek gali būti rodomos kaip navigacinės nuorodos. Jei blokuoji naudotojų užklausų robotus, taisyklės paisantys asistentai negali atidaryti tavo puslapio, kai kas nors apie jį klausia.

Google yra ypatingas atvejis. Google-Extended blokavimas nepašalina tavo svetainės iš Google paieškos. AI Overviews ir AI Mode yra Google paieškos dalis: Google teigimu, puslapis turi būti indeksuotas ir tinkamas rodyti su fragmentu, o jokių specialių failų ar žymėjimo nereikia. Kad apribotum, ką Google rodo iš puslapio, Google nurodo nosnippet, data-nosnippet, max-snippet ir noindex. Jie taikomi visai paieškai, o ne tik DI funkcijoms.

robots.txt ir llms.txt

Šie du failai atlieka skirtingus darbus. robots.txt nurodo, kokią automatinę prieigą priimi. llms.txt yra pasiūlymas dėl Markdown failo, kuris DI asistentams pateikia trumpą svarbiausių tavo puslapių apžvalgą, daugiausia tuo metu, kai kas nors užduoda klausimą; formatą paaiškina mūsų vadovas apie llms.txt. Pasak llmstxt.org, llms.txt gali papildyti robots.txt, suteikdamas kontekstą leidžiamam turiniui, bet jo nepakeičia. Pirmiausia prieigą nuspręsk faile robots.txt.

Protinga tvarka

1. 1Kiekvienai grupei nuspręsk, ko nori: mokymo, DI paieškos ir naudotojų užklausų. Vienas galimas pasirinkimas: blokuoti mokymą, leisti paiešką ir naudotojų užklausas.
2. 2Perskaityk dabartinį savo robots.txt: kokios grupės yra ir ką blokuoja grupė visiems robotams.
3. 3Kiekvienam sprendimui pridėk grupę ir pakartok tas grupės * taisykles, kurios vis dar turi galioti.
4. 4Paskelbęs(-usi) atidaryk /robots.txt naršyklėje ir patikrink failą.
5. 5Retkarčiais peržiūrėk savo sąrašą. Operatoriai prideda, pervadina ir išjungia robotus.

Sukurk taisykles su Do4U

Įrankis „DI robotai faile robots.txt“ turi DI robotų sąrašą su operatoriumi, paskirtimi ir nuoroda į dokumentaciją, suskirstytą į tris grupes: modelių mokymas, paieška ir užklausos naudotojo prašymu. Kiekvienai grupei ar robotui pasirenki: leisti, blokuoti arba palikti nepakeistą, pasirinktinai tik tam tikriems keliams. Jei įvedi savo svetainę, Do4U perskaito tavo robots.txt, kiekvienam DI robotui parodo būseną prieš ir po bei failo pabaigoje prideda pažymėtą DI skyrių. Kitos tavo grupės ir sitemap eilutės lieka tokios, kokios yra. Pažymimi užklausų robotai, kurių operatoriai teigia, kad jie gali nepaisyti robots.txt. Tada kodas dar kartą patikrina naują failą. Įrankis veikia be DI ir yra nemokamas.

Do4U sukuria juodraštį, o tu tikrini ir sprendi. robots.txt lieka prašymas: ar robotas jo laikosi, Do4U patikrinti negali.