TI-roomikud ja robots.txt: mida saad ise otsustada

Kolm liiki TI-roboteid

Kõik TI-robotid ei tee sama tööd. Treeningroomikud koguvad sisu, mida võidakse kasutada TI-mudelite treenimiseks. Otsinguroomikud loovad indeksi, mille põhjal TI-otsingufunktsioonid küsimustele vastavad ja allikatele lingivad. Kasutaja päringute toojad avavad lehe ainult siis, kui kasutaja küsib midagi, mis seda vajab. Suured operaatorid kasutavad iga töö jaoks eraldi tunnust, nii et saad otsustada töö kaupa. OpenAI kirjutab näiteks, et tema seaded on üksteisest sõltumatud: saad blokeerida treenimise ja ilmuda ikkagi tema otsingus.

Millised tunnused on olemas

30. oktoobri 2026 seisuga kirjeldavad operaatorid oma roboteid nii:

• OpenAI: GPTBot kogub sisu, mida võidakse kasutada tema alusmudelite treenimiseks, OAI-SearchBot on kasutusel ChatGPT otsingufunktsioonide jaoks ja ChatGPT-User külastab lehti kasutaja algatatud toimingute jaoks. OpenAI kirjutab, et robots.txt reeglid ei pruugi selliste toimingute puhul kehtida.
• Anthropic: ClaudeBot kogub sisu, mis võiks aidata tema mudeleid treenida, Claude-SearchBot parandab otsingutulemusi ja Claude-User toob lehti, kui kasutaja küsimus seda nõuab. Anthropicu sõnul järgivad kõik kolm faili robots.txt.
• Perplexity: PerplexityBot näitab ja lingib veebisaite Perplexity otsingutulemustes ning Perplexity sõnul ei kasutata seda sisu kogumiseks TI-alusmudelite jaoks. Perplexity-User toob lehti, kui kasutaja küsib, ning eirab Perplexity sõnul faili robots.txt üldiselt.
• Google: Google-Extended ei ole eraldi roomik, vaid tunnus failis robots.txt. See määrab, kas Google'i kogutud sisu võib kasutada tulevaste Gemini mudelite treenimiseks ja Gemini vastuste alusena. Google'i sõnul ei mõjuta see Google'i otsingusse kaasamist ega järjestust.
• Apple: ka Applebot-Extended ei roomi lehti. See määrab, kas Applebot'i kogutud andmeid võib kasutada Apple'i generatiivsete TI-mudelite treenimiseks. Seda blokeerivad lehed võivad ikkagi ilmuda Apple'i otsingutulemustes.

Teised operaatorid, näiteks Common Crawl, Meta, Amazon ja DuckDuckGo, avaldavad oma tunnused. Nimed muutuvad, seega kontrolli operaatori dokumentatsiooni.

Kuidas reeglid toimivad

• Fail asub hosti juurkaustas, näiteks https://example.com/robots.txt, ja kehtib ainult selle protokolli, hosti ja pordi kohta.
• Reeglid on rühmades User-agent ridade all. Google'i sõnul järgib roomik ainult kõige täpsemat rühma, mis talle sobib. Kui mõni rühm nimetab teda, ei kehti tema kohta enam kõigi roomikute rühm (*).
• Agendinimedes ei tehta suur- ja väiketähtedel vahet. Rühma sees võidab pikim sobiv reegel; kui allow ja disallow on võrdselt täpsed, kasutab Google allow'd.
• Google loeb failist kõige rohkem 500 KiB. Kui robots.txt vastab 4xx olekuga, mis ei ole 429, käsitleb Google saiti nii, nagu faili poleks, seega võib kõike roomata.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Selles näites ei tohi kolme operaatori treeningrobotid midagi tuua, otsinguroomikud tohivad tuua kõike peale /admin/ ja kõik teised roomikud järgivad esimest rühma. Otsinguroomikute juures korratakse Disallow: /admin/, sest * reeglid nende kohta enam ei kehti.

Mida blokeerimine sinu nähtavusele tähendab

Iga rühm mõjutab eri liiki nähtavust. Kui blokeerid treeningroomiku, palud selle operaatoril mitte kasutada sinu sisu treenimiseks; Anthropic kirjeldab näiteks ClaudeBot'i blokeerimist kui signaali tulevase materjali kohta. Kui blokeerid otsinguroomiku, ei pruugi sinu lehed selle operaatori TI-otsingus ilmuda. OpenAI kirjutab, et saite, mis blokeerivad OAI-SearchBot'i, ei näidata ChatGPT otsinguvastustes, kuid need võivad siiski ilmuda navigeerimislinkidena. Kui blokeerid kasutaja päringute toojad, ei saa reeglit järgivad assistendid sinu lehte avada, kui keegi selle kohta küsib.

Google on erijuhtum. Google-Extended'i blokeerimine ei eemalda sinu saiti Google'i otsingust. AI Overviews ja AI Mode on Google'i otsingu osa: Google'i sõnul peab leht olema indekseeritud ja sobima väljavõttega näitamiseks ning erifaile või -märgistust pole vaja. Et piirata, mida Google lehelt näitab, nimetab Google nosnippet, data-nosnippet, max-snippet ja noindex. Need kehtivad otsingu kohta tervikuna, mitte ainult TI-funktsioonide kohta.

robots.txt ja llms.txt

Need kaks faili teevad eri tööd. robots.txt ütleb, millist automaatset juurdepääsu sa aktsepteerid. llms.txt on ettepanek Markdown-faili kohta, mis annab TI-assistentidele lühikese ülevaate sinu kõige olulisematest lehtedest, peamiselt hetkel, kui keegi küsimuse esitab; meie llms.txt juhend selgitab vormingut. llmstxt.org-i järgi võib llms.txt täiendada faili robots.txt, andes lubatud sisule konteksti, kuid see ei asenda seda. Otsusta juurdepääs kõigepealt failis robots.txt.

Mõistlik järjekord

1. 1Otsusta rühma kaupa, mida soovid: treenimine, TI-otsing ja kasutaja päringud. Üks võimalik valik: blokeeri treenimine, luba otsing ja kasutaja päringud.
2. 2Loe oma praegust faili robots.txt: millised rühmad on olemas ja mida kõigi roomikute rühm blokeerib.
3. 3Lisa iga otsuse jaoks rühm ja korda * rühma reegleid, mis peaksid edasi kehtima.
4. 4Pärast avaldamist ava brauseris /robots.txt ja kontrolli faili.
5. 5Vaata oma loend aeg-ajalt üle. Operaatorid lisavad, nimetavad ümber ja lõpetavad roboteid.

Koosta oma reeglid Do4U-ga

Tööriist TI-roomikud failis robots.txt hoiab TI-roomikute loendit koos operaatori, eesmärgi ja dokumentatsiooni lingiga kolmes rühmas: mudelite treenimine, otsing ja päringud kasutaja soovil. Valid rühma või roomiku kaupa: luba, blokeeri või jäta muutmata, soovi korral valitud teede jaoks. Kui sisestad oma veebisaidi, loeb Do4U sinu faili robots.txt, näitab iga TI-roomiku olekut enne ja pärast ning lisab lõppu märgitud TI-jaotise. Sinu teised rühmad ja Sitemap-read jäävad samaks. Toojad, mille operaatorid ütlevad, et need võivad faili robots.txt eirata, on märgitud. Seejärel kontrollib kood uut faili uuesti. See töötab ilma TI-ta ja on tasuta.

Do4U koostab mustandi, sina kontrollid ja otsustad. robots.txt jääb palveks: kas roomik seda järgib, ei saa Do4U kontrollida.