Crawlers tal-AI u robots.txt: x'tista' tikkontrolla

Tliet tipi ta' bots tal-AI

Mhux kull bot tal-AI jagħmel l-istess xogħol. Il-crawlers tat-taħriġ jiġbru kontenut li jista' jintuża biex jitħarrġu mudelli tal-AI. Il-crawlers tat-tfittxija jibnu indiċi li minnu l-funzjonijiet tat-tfittxija tal-AI iwieġbu mistoqsijiet u jorbtu mas-sorsi. Il-fetchers tal-utenti jiftħu paġna biss meta utent jistaqsi xi ħaġa li teħtieġha. L-operaturi l-kbar jużaw token separat għal kull xogħol, għalhekk tista' tiddeċiedi għal kull xogħol. OpenAI, pereżempju, tikteb li s-settings tagħha huma indipendenti: tista' timblokka t-taħriġ u xorta tidher fit-tfittxija tagħha.

Liema tokens jeżistu

Fit-30 ta' Ottubru 2026, l-operaturi jiddeskrivu l-bots tagħhom hekk:

• OpenAI: GPTBot jiġbor kontenut li jista' jintuża biex jitħarrġu l-mudelli bażiċi tagħha, OAI-SearchBot jintuża għall-funzjonijiet tat-tfittxija ta' ChatGPT, u ChatGPT-User iżur paġni għal azzjonijiet li jibda utent. OpenAI tikteb li r-regoli tar-robots.txt jistgħu ma japplikawx għal azzjonijiet bħal dawn.
• Anthropic: ClaudeBot jiġbor kontenut li jista' jgħin biex jitħarrġu l-mudelli tagħha, Claude-SearchBot itejjeb ir-riżultati tat-tfittxija, u Claude-User iġib paġni meta mistoqsija ta' utent teħtieġ dan. Skont Anthropic, it-tlieta jirrispettaw ir-robots.txt.
• Perplexity: PerplexityBot juri u jorbot siti web fir-riżultati tat-tfittxija ta' Perplexity u, skont Perplexity, ma jintużax biex jiġbor kontenut għal mudelli bażiċi tal-AI. Perplexity-User iġib paġni meta utent jistaqsi u, kif tikteb Perplexity, ġeneralment jinjora r-robots.txt.
• Google: Google-Extended mhuwiex crawler separat iżda token fir-robots.txt. Jikkontrolla jekk il-kontenut li Google jiġbor jistax jintuża biex jitħarrġu mudelli futuri ta' Gemini u għall-grounding f'Gemini. Skont Google, ma jaffettwax l-inklużjoni jew il-ranking f'Google Search.
• Apple: Applebot-Extended lanqas ma jiġbor paġni. Jikkontrolla jekk id-data miġbura minn Applebot tistax tintuża biex jitħarrġu l-mudelli tal-AI ġenerattiva ta' Apple. Paġni li jimblukkawh xorta jistgħu jidhru fir-riżultati tat-tfittxija ta' Apple.

Operaturi oħra, bħal Common Crawl, Meta, Amazon u DuckDuckGo, jippubblikaw it-tokens tagħhom stess. L-ismijiet jinbidlu, għalhekk iċċekkja d-dokumentazzjoni tal-operatur.

Kif jaħdmu r-regoli

• Il-fajl jinsab fl-għerq tal-host, bħal https://example.com/robots.txt, u japplika biss għal dak il-protokoll, host u port.
• Ir-regoli jinsabu fi gruppi taħt linji User-agent. Skont Google, crawler isegwi biss l-iktar grupp speċifiku li jaqbel miegħu. Jekk grupp isemmih, il-grupp għall-crawlers kollha (*) ma jibqax japplika għalih.
• L-ismijiet tal-aġenti ma jagħmlux distinzjoni bejn ittri kbar u żgħar. Fi ħdan grupp, l-itwal regola li taqbel tirbaħ; jekk allow u disallow huma speċifiċi bl-istess mod, Google juża allow.
• Google jaqra l-aktar 500 KiB tal-fajl. Jekk ir-robots.txt iwieġeb bi status 4xx għajr 429, Google jittratta s-sit bħallikieku ma hemm l-ebda fajl, għalhekk kollox jista' jinġabar.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

F'dan l-eżempju, il-bots tat-taħriġ ta' tliet operaturi ma jistgħu jġibu xejn, il-crawlers tat-tfittxija jistgħu jġibu kollox ħlief /admin/, u l-crawlers l-oħra kollha jsegwu l-ewwel grupp. Il-crawlers tat-tfittxija jirrepetu Disallow: /admin/ għax ir-regoli għal * ma jibqgħux japplikaw għalihom.

X'tfisser l-imblukkar għall-viżibbiltà tiegħek

Kull grupp jaffettwa tip differenti ta' viżibbiltà. Jekk timblokka crawler tat-taħriġ, titlob lill-operatur tiegħu biex ma jużax il-kontenut tiegħek għat-taħriġ; Anthropic, pereżempju, tiddeskrivi l-imblukkar ta' ClaudeBot bħala sinjal għal materjal futur. Jekk timblokka crawler tat-tfittxija, il-paġni tiegħek jistgħu ma jidhrux fit-tfittxija tal-AI ta' dak l-operatur. OpenAI tikteb li siti li jimblukkaw OAI-SearchBot ma jintwerewx fit-tweġibiet tat-tfittxija ta' ChatGPT, iżda xorta jistgħu jidhru bħala links ta' navigazzjoni. Jekk timblokka l-fetchers tal-utenti, l-assistenti li jirrispettaw ir-regola ma jistgħux jiftħu l-paġna tiegħek meta xi ħadd jistaqsi dwarha.

Google huwa każ speċjali. L-imblukkar ta' Google-Extended ma jneħħix is-sit tiegħek minn Google Search. AI Overviews u AI Mode huma parti minn Google Search: skont Google, paġna trid tkun indiċjata u eliġibbli biex tintwera bi snippet, u ma hemmx bżonn fajls jew markup speċjali. Biex tillimita dak li juri Google minn paġna, Google isemmi nosnippet, data-nosnippet, max-snippet u noindex. Dawn japplikaw għal Search kollu, mhux biss għall-funzjonijiet tal-AI.

robots.txt u llms.txt

Iż-żewġ fajls jagħmlu xogħlijiet differenti. Ir-robots.txt jgħid liema aċċess awtomatizzat taċċetta. L-llms.txt huwa proposta għal fajl Markdown li jagħti lill-assistenti tal-AI ħarsa ġenerali qasira lejn l-iktar paġni importanti tiegħek, prinċipalment fil-mument li xi ħadd jagħmel mistoqsija; il-gwida tagħna dwar l-llms.txt tispjega l-format. Skont llmstxt.org, l-llms.txt jista' jikkumplimenta r-robots.txt billi jagħti kuntest għall-kontenut permess, iżda ma jissostitwihx. Iddeċiedi l-aċċess fir-robots.txt l-ewwel.

Ordni sensibbli

1. 1Iddeċiedi għal kull grupp x'trid: taħriġ, tfittxija tal-AI u fetches tal-utenti. Għażla waħda possibbli: imblokka t-taħriġ, ippermetti t-tfittxija u l-fetches tal-utenti.
2. 2Aqra r-robots.txt attwali tiegħek: liema gruppi jeżistu u x'jimblokka l-grupp għall-crawlers kollha.
3. 3Żid grupp għal kull deċiżjoni u rrepeti r-regoli mill-grupp * li għandhom jibqgħu japplikaw.
4. 4Wara li tippubblika, iftaħ /robots.txt fil-browser u ċċekkja l-fajl.
5. 5Irrevedi l-lista tiegħek minn żmien għal żmien. L-operaturi jżidu, jibdlu l-isem u jirtiraw il-bots.

Ibni r-regoli tiegħek b'Do4U

L-għodda Crawlers tal-AI fir-robots.txt iżżomm lista ta' crawlers tal-AI bl-operatur, l-iskop u link għad-dokumentazzjoni, fi tliet gruppi: taħriġ tal-mudelli, tfittxija, u fetches fuq talba ta' utent. Tagħżel għal kull grupp jew għal kull crawler: ippermetti, imblokka jew ħalli kif inhu, jekk trid għal mogħdijiet magħżula. Jekk iddaħħal is-sit web tiegħek, Do4U jaqra r-robots.txt tiegħek, juri għal kull crawler tal-AI l-istat qabel u wara, u jżid taqsima tal-AI immarkata fl-aħħar. Il-gruppi l-oħra tiegħek u l-linji tas-sitemap jibqgħu kif inhuma. Il-fetchers li l-operaturi tagħhom jgħidu li jistgħu jinjoraw ir-robots.txt huma mmarkati. Imbagħad il-kodiċi jerġa' jiċċekkja l-fajl il-ġdid. Jaħdem mingħajr AI u huwa b'xejn.

Do4U jibni l-abbozz, int tiċċekkja u tiddeċiedi. Ir-robots.txt jibqa' talba: jekk crawler isegwihx, Do4U ma jistax jiċċekkja.