Crálaithe AI agus robots.txt: cad is féidir leat a rialú

Trí chineál bot AI

Ní dhéanann gach bot AI an jab céanna. Bailíonn crálaithe traenála ábhar a d’fhéadfaí a úsáid chun samhlacha AI a thraenáil. Tógann crálaithe cuardaigh innéacs as a bhfreagraíonn gnéithe cuardaigh AI ceisteanna agus as a nascann siad le foinsí. Ní osclaíonn fáltóirí úsáideora leathanach ach amháin nuair a fhiafraíonn úsáideoir rud a dteastaíonn sé ina chomhair. Úsáideann na hoibreoirí móra comhartha ar leith do gach jab, mar sin is féidir leat cinneadh in aghaidh an jab. Scríobhann OpenAI, mar shampla, go bhfuil a shocruithe neamhspleách: is féidir leat traenáil a bhac agus fós a bheith le feiceáil ina chuardach.

Cé na comharthaí atá ann

Amhail an 30 Deireadh Fómhair 2026, déanann na hoibreoirí cur síos ar a gcuid bot mar seo:

• OpenAI: bailíonn GPTBot ábhar a d’fhéadfaí a úsáid chun a bhunsamhlacha a thraenáil, úsáidtear OAI-SearchBot do ghnéithe cuardaigh ChatGPT, agus tugann ChatGPT-User cuairt ar leathanaigh do ghníomhartha a thosaíonn úsáideoir. Scríobhann OpenAI go mb’fhéidir nach mbaineann rialacha robots.txt le gníomhartha den sórt sin.
• Anthropic: bailíonn ClaudeBot ábhar a d’fhéadfadh cabhrú lena shamhlacha a thraenáil, feabhsaíonn Claude-SearchBot torthaí cuardaigh, agus faigheann Claude-User leathanaigh nuair a éilíonn ceist úsáideora é. De réir Anthropic, urramaíonn an trí cinn robots.txt.
• Perplexity: taispeánann agus nascann PerplexityBot suíomhanna gréasáin i dtorthaí cuardaigh Perplexity agus, de réir Perplexity, ní úsáidtear é chun ábhar a chrálú do bhunsamhlacha AI. Faigheann Perplexity-User leathanaigh nuair a fhiafraíonn úsáideoir agus, mar a scríobhann Perplexity, déanann sé neamhaird ar robots.txt de ghnáth.
• Google: ní crálaí ar leith é Google-Extended ach comhartha in robots.txt. Rialaíonn sé an féidir ábhar a chrálaíonn Google a úsáid chun samhlacha Gemini amach anseo a thraenáil agus le haghaidh bunú (grounding) in Gemini. De réir Google, ní théann sé i bhfeidhm ar chuimsiú ná ar rangú i gCuardach Google.
• Apple: ní chrálaíonn Applebot-Extended leathanaigh ach oiread. Rialaíonn sé an féidir sonraí a chrálaigh Applebot a úsáid chun samhlacha AI giniúna Apple a thraenáil. Is féidir le leathanaigh a bhacann é a bheith le feiceáil fós i dtorthaí cuardaigh Apple.

Foilsíonn oibreoirí eile, mar Common Crawl, Meta, Amazon agus DuckDuckGo, a gcomharthaí féin. Athraíonn ainmneacha, mar sin seiceáil doiciméadú an oibreora.

Conas a oibríonn na rialacha

• Bíonn an comhad ag fréamh an óstaigh, mar https://example.com/robots.txt, agus ní bhaineann sé ach leis an bprótacal, leis an óstach agus leis an bport sin.
• Seasann rialacha i ngrúpaí faoi línte User-agent. De réir Google, ní leanann crálaí ach an grúpa is sainiúla a mheaitseálann é. Má ainmníonn grúpa é, ní bhaineann an grúpa do gach crálaí (*) leis a thuilleadh.
• Ní bhíonn ainmneacha gníomhairí cásíogair. Laistigh de ghrúpa, buann an riail mheaitseála is faide; má bhíonn allow agus disallow chomh sainiúil céanna, úsáideann Google allow.
• Ní léann Google ach 500 KiB den chomhad ar a mhéad. Má fhreagraíonn robots.txt le stádas 4xx seachas 429, caitheann Google leis an suíomh amhail is nach raibh aon chomhad ann, mar sin is féidir gach rud a chrálú.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Sa sampla seo, ní féidir le botanna traenála trí oibreoir aon rud a fháil, is féidir leis na crálaithe cuardaigh gach rud a fháil seachas /admin/, agus leanann gach crálaí eile an chéad ghrúpa. Athdhéanann na crálaithe cuardaigh Disallow: /admin/ mar nach mbaineann na rialacha do * leo a thuilleadh.

Cad a chiallaíonn bac do d’infheictheacht

Téann gach grúpa i bhfeidhm ar chineál eile infheictheachta. Má bhacann tú crálaí traenála, iarrann tú ar a oibreoir gan d’ábhar a úsáid le haghaidh traenála; déanann Anthropic, mar shampla, cur síos ar bhac ar ClaudeBot mar chomhartha d’ábhar amach anseo. Má bhacann tú crálaí cuardaigh, d’fhéadfadh nach mbeadh do leathanaigh le feiceáil i gcuardach AI an oibreora sin. Scríobhann OpenAI nach dtaispeántar suíomhanna a bhacann OAI-SearchBot i bhfreagraí cuardaigh ChatGPT, ach go bhféadfaidís a bheith le feiceáil fós mar naisc nascleanúna. Má bhacann tú fáltóirí úsáideora, ní féidir le cúntóirí a urramaíonn an riail do leathanach a oscailt nuair a fhiafraíonn duine faoi.

Is cás speisialta é Google. Ní bhaineann bac ar Google-Extended do shuíomh as Cuardach Google. Is cuid de Chuardach Google iad AI Overviews agus AI Mode: de réir Google, ní mór do leathanach a bheith innéacsaithe agus incháilithe le taispeáint le sliocht, agus ní theastaíonn comhaid ná marcáil speisialta. Chun teorainn a chur leis an méid a thaispeánann Google ó leathanach, ainmníonn Google nosnippet, data-nosnippet, max-snippet agus noindex. Baineann siad seo le Cuardach ina iomláine, ní le gnéithe AI amháin.

robots.txt agus llms.txt

Déanann an dá chomhad jabanna difriúla. Deir robots.txt cén rochtain uathoibrithe a ghlacann tú leis. Is moladh é llms.txt do chomhad Markdown a thugann forléargas gearr do chúntóirí AI ar do leathanaigh is tábhachtaí, go príomha nuair a chuireann duine ceist; míníonn ár dtreoir ar llms.txt an fhormáid. De réir llmstxt.org, is féidir le llms.txt cur le robots.txt trí chomhthéacs a thabhairt d’ábhar atá ceadaithe, ach ní ghlacann sé a áit. Socraigh an rochtain in robots.txt ar dtús.

Ord ciallmhar

1. 1Cinn in aghaidh an ghrúpa cad atá uait: traenáil, cuardach AI agus iarratais úsáideoirí. Rogha amháin is féidir: traenáil a bhac, cuardach agus iarratais úsáideoirí a cheadú.
2. 2Léigh do robots.txt reatha: cé na grúpaí atá ann agus cad a bhacann an grúpa do gach crálaí.
3. 3Cuir grúpa leis do gach cinneadh agus athdhéan na rialacha ón ngrúpa * ar cheart dóibh a bheith i bhfeidhm fós.
4. 4Tar éis foilsithe, oscail /robots.txt sa bhrabhsálaí agus seiceáil an comhad.
5. 5Athbhreithnigh do liosta ó am go chéile. Cuireann oibreoirí botanna leis, athainmníonn siad iad agus scoireann siad iad.

Tóg do rialacha le Do4U

Coinníonn an uirlis Crálaithe AI in robots.txt liosta de chrálaithe AI le hoibreoir, cuspóir agus nasc chuig an doiciméadú, i dtrí ghrúpa: traenáil samhlacha, cuardach, agus iarratais ar éileamh úsáideora. Roghnaíonn tú in aghaidh an ghrúpa nó in aghaidh an chrálaí: ceadaigh, bac nó fág gan athrú, más mian leat do chosáin roghnaithe. Má chuireann tú isteach do shuíomh gréasáin, léann Do4U do robots.txt, taispeánann sé do gach crálaí AI an staid roimh agus tar éis, agus cuireann sé rannán AI marcáilte leis ag an deireadh. Fanann do ghrúpaí eile agus do línte sitemap mar atá siad. Marcáiltear fáltóirí a deir a n-oibreoirí go bhféadfaidís neamhaird a dhéanamh ar robots.txt. Seiceálann an cód an comhad nua arís ansin. Ritheann sé gan AI agus tá sé saor in aisce.

Tógann Do4U an dréacht, seiceálann tusa agus cinneann tusa. Fanann robots.txt ina iarratas: ní féidir le Do4U a sheiceáil an leanann crálaí é.