AI rāpuļi un robots.txt: ko tu vari kontrolēt

Trīs veidu AI roboti

Ne katrs AI robots dara vienu un to pašu darbu. Apmācības rāpuļi vāc saturu, ko var izmantot AI modeļu apmācībai. Meklēšanas rāpuļi veido indeksu, no kura AI meklēšanas funkcijas atbild uz jautājumiem un dod saites uz avotiem. Lietotāju pieprasījumu roboti atver lapu tikai tad, kad lietotājs jautā kaut ko, kam tā vajadzīga. Lielie operatori katram darbam izmanto atsevišķu tokenu, tāpēc tu vari izlemt par katru darbu atsevišķi. Piemēram, OpenAI raksta, ka tā iestatījumi ir neatkarīgi: tu vari bloķēt apmācību un tomēr parādīties tā meklēšanā.

Kādi tokeni pastāv

2026. gada 30. oktobrī operatori savus robotus apraksta šādi:

• OpenAI: GPTBot vāc saturu, ko var izmantot tā pamatmodeļu apmācībai, OAI-SearchBot tiek izmantots ChatGPT meklēšanas funkcijām, un ChatGPT-User apmeklē lapas darbībām, ko sāk lietotājs. OpenAI raksta, ka robots.txt noteikumi uz šādām darbībām var neattiekties.
• Anthropic: ClaudeBot vāc saturu, kas varētu palīdzēt apmācīt tā modeļus, Claude-SearchBot uzlabo meklēšanas rezultātus, un Claude-User ielādē lapas, kad to prasa lietotāja jautājums. Pēc Anthropic teiktā, visi trīs ievēro robots.txt.
• Perplexity: PerplexityBot rāda vietnes Perplexity meklēšanas rezultātos un dod uz tām saites, un, pēc Perplexity teiktā, netiek izmantots satura vākšanai AI pamatmodeļiem. Perplexity-User ielādē lapas, kad lietotājs jautā, un, kā raksta Perplexity, parasti ignorē robots.txt.
• Google: Google-Extended nav atsevišķs rāpulis, bet tokens failā robots.txt. Tas nosaka, vai saturu, ko Google pārmeklē, drīkst izmantot nākamo Gemini modeļu apmācībai un pamatošanai (grounding) Gemini. Pēc Google teiktā, tas neietekmē iekļaušanu vai ranžēšanu Google meklēšanā.
• Apple: arī Applebot-Extended nepārmeklē lapas. Tas nosaka, vai datus, ko pārmeklējis Applebot, drīkst izmantot Apple ģeneratīvo AI modeļu apmācībai. Lapas, kas to bloķē, joprojām var parādīties Apple meklēšanas rezultātos.

Citi operatori, piemēram, Common Crawl, Meta, Amazon un DuckDuckGo, publicē savus tokenus. Nosaukumi mainās, tāpēc pārbaudi operatora dokumentāciju.

Kā darbojas noteikumi

• Fails atrodas resursdatora saknē, piemēram, https://example.com/robots.txt, un attiecas tikai uz šo protokolu, resursdatoru un portu.
• Noteikumi ir grupās zem User-agent rindām. Pēc Google teiktā, rāpulis ievēro tikai visprecīzāko grupu, kas tam atbilst. Ja kāda grupa to nosauc, grupa visiem rāpuļiem (*) uz to vairs neattiecas.
• Aģentu nosaukumos lielie un mazie burti netiek šķirti. Grupas ietvaros uzvar garākais atbilstošais noteikums; ja allow un disallow ir vienlīdz precīzi, Google izmanto allow.
• Google nolasa ne vairāk kā 500 KiB no faila. Ja robots.txt atbild ar 4xx statusu, kas nav 429, Google uzskata, ka faila nav, tātad drīkst pārmeklēt visu.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Šajā piemērā trīs operatoru apmācības roboti nedrīkst ielādēt neko, meklēšanas rāpuļi drīkst ielādēt visu, izņemot /admin/, un visi pārējie rāpuļi ievēro pirmo grupu. Meklēšanas rāpuļi atkārto Disallow: /admin/, jo noteikumi grupai * uz tiem vairs neattiecas.

Ko bloķēšana nozīmē tavai redzamībai

Katra grupa ietekmē cita veida redzamību. Ja bloķē apmācības rāpuli, tu lūdz tā operatoram neizmantot tavu saturu apmācībai; piemēram, Anthropic ClaudeBot bloķēšanu apraksta kā signālu attiecībā uz nākotnes materiālu. Ja bloķē meklēšanas rāpuli, tavas lapas var neparādīties šī operatora AI meklēšanā. OpenAI raksta, ka vietnes, kas bloķē OAI-SearchBot, netiek rādītas ChatGPT meklēšanas atbildēs, bet joprojām var parādīties kā navigācijas saites. Ja bloķē lietotāju pieprasījumu robotus, asistenti, kas ievēro noteikumu, nevar atvērt tavu lapu, kad kāds par to jautā.

Google ir īpašs gadījums. Google-Extended bloķēšana neizņem tavu vietni no Google meklēšanas. AI Overviews un AI Mode ir daļa no Google meklēšanas: pēc Google teiktā, lapai jābūt indeksētai un piemērotai rādīšanai ar fragmentu, un nekādi īpaši faili vai marķējums nav vajadzīgi. Lai ierobežotu to, ko Google rāda no lapas, Google min nosnippet, data-nosnippet, max-snippet un noindex. Tie attiecas uz meklēšanu kopumā, ne tikai uz AI funkcijām.

robots.txt un llms.txt

Šiem diviem failiem ir dažādi uzdevumi. robots.txt pasaka, kādu automatizētu piekļuvi tu pieņem. llms.txt ir priekšlikums Markdown failam, kas AI asistentiem sniedz īsu pārskatu par tavām svarīgākajām lapām, galvenokārt brīdī, kad kāds uzdod jautājumu; formātu paskaidro mūsu ceļvedis par llms.txt. Pēc llmstxt.org teiktā, llms.txt var papildināt robots.txt, sniedzot kontekstu atļautajam saturam, bet to neaizstāj. Vispirms izlem par piekļuvi failā robots.txt.

Saprātīga secība

1. 1Izlem par katru grupu, ko tu vēlies: apmācība, AI meklēšana un lietotāju pieprasījumi. Viena iespējamā izvēle: bloķēt apmācību, atļaut meklēšanu un lietotāju pieprasījumus.
2. 2Izlasi savu pašreizējo robots.txt: kādas grupas pastāv un ko bloķē grupa visiem rāpuļiem.
3. 3Pievieno grupu katram lēmumam un atkārto tos noteikumus no grupas *, kuriem joprojām jāattiecas.
4. 4Pēc publicēšanas atver /robots.txt pārlūkā un pārbaudi failu.
5. 5Laiku pa laikam pārskati savu sarakstu. Operatori pievieno, pārdēvē un izbeidz robotus.

Izveido savus noteikumus ar Do4U

Rīks “AI rāpuļi failā robots.txt” uztur AI rāpuļu sarakstu ar operatoru, mērķi un saiti uz dokumentāciju trīs grupās: modeļu apmācība, meklēšana un ielāde pēc lietotāja pieprasījuma. Tu izvēlies katrai grupai vai katram rāpulim: atļaut, bloķēt vai atstāt nemainītu, pēc izvēles atlasītiem ceļiem. Ja ievadi savu vietni, Do4U nolasa tavu robots.txt, katram AI rāpulim parāda stāvokli pirms un pēc un beigās pievieno atzīmētu AI sadaļu. Tavas pārējās grupas un Sitemap rindas paliek, kādas ir. Roboti, kuru operatori saka, ka tie var ignorēt robots.txt, ir atzīmēti. Pēc tam kods vēlreiz pārbauda jauno failu. Tas darbojas bez AI un ir bezmaksas.

Do4U izveido melnrakstu, tu pārbaudi un izlem. robots.txt paliek lūgums: vai rāpulis to ievēro, Do4U pārbaudīt nevar.