Crawlers tal-AI fir-robots.txt

Do4U jibni r-regoli għall-crawlers tal-AI fir-robots.txt tiegħek. Tagħżel għal kull grupp jew għal kull crawler: taħriġ tal-mudelli u datasets, indiċi tat-tfittxija u tat-tweġibiet, u qari fuq talba ta' utent. Kull crawler fil-lista jiġi bl-operatur tiegħu, l-iskop tiegħu u link għad-dokumentazzjoni tal-operatur. Jekk iddaħħal is-sit web tiegħek, Do4U jaqra r-robots.txt attwali tiegħek, juri liema crawlers tal-AI jippermetti jew jimblokka llum, u jżid taqsima tal-AI immarkata b'mod ċar fl-aħħar. Il-gruppi l-oħra tiegħek u l-linji tas-sitemap jibqgħu kif inhuma. Imbagħad il-kodiċi jerġa' jaqra l-fajl il-ġdid u jiċċekkja li kull crawler għandu r-regoli li għażilt. Kollox isir bil-kodiċi, mingħajr AI, u l-fajl isir fil-browser tiegħek.

Ipprova issa Prezzijiet

B'xejn u mingħajr kont: Verifika tal-crawlers tal-AI għar-robots.txt →

Għal min hi

Għas-sidien tas-siti web, l-aġenziji u l-iżviluppaturi li jridu jiddeċiedu liema crawlers tal-AI jistgħu jużaw il-kontenut tagħhom, mingħajr ma jkissru r-regoli li diġà għandhom.

Użi tipiċi

Imblokka l-crawlers tat-taħriġ tal-AI u xorta tinstab fit-tfittxija bl-AI
Iċċekkja liema crawlers tal-AI jippermetti r-robots.txt tiegħek illum
Żid taqsima tal-AI ma' robots.txt eżistenti mingħajr ma titlef regoli
Ippermetti l-crawlers tal-AI biss għal mogħdijiet magħżula

Eżempju

Input

Sit web: https://example.com Robots.txt attwali: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Għażla: imblokka t-taħriġ, ippermetti t-tfittxija, ippermetti l-qari fuq talba tal-utent

Riżultat

GPTBot: imblukkat (regoli tiegħu) → imblukkat ClaudeBot: imblukkat parzjalment (regoli għal kulħadd) → imblukkat OAI-SearchBot: imblukkat parzjalment (regoli għal kulħadd) → imblukkat parzjalment (regoli tiegħu, /admin/ jibqa' mblukkat) Ir-regola għall-crawlers kollha u l-linja tas-sitemap jibqgħu l-istess. Il-grupp il-qadim ta' GPTBot jibqa' fil-fajl bħala kumment, u t-taqsima l-ġdida tal-AI tiżdied fl-aħħar.

Eżempju fiss, imqassar. Ir-riżultati reali huma ġġenerati mill-AI: jekk jogħġbok iċċekkjahom.

Prezz u limiti

Prezz: b'xejn, mingħajr reġistrazzjoni
Disponibbli ma': B'xejn, B'pakkett
Limitu tal-input: Sa 60 000 karattru għal kull fajl

Privatezza

Ipproċessat fuq is-servers tagħna stess fl-UE (Polonja). L-inputs u r-riżultati jitħassru wara 7 jum (B'xejn) jew 30 jum (pakketti), jew eżatt wara li tara r-riżultat jekk tagħżel li ma taħżinhomx. L-istampi jitħassru eżatt wara l-ipproċessar.

Fl-API

Isem l-għodda: ai_robots_txt. Oħloq job b'POST /api/v1/jobs u ġib ir-riżultat b'GET /api/v1/jobs/{id}. Issib iċ-ċavetta tal-API tiegħek fil-kont tiegħek.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Dokumentazzjoni sħiħa tal-API →

Mistoqsijiet u tweġibiet

Ir-robots.txt verament iwaqqaf il-crawlers tal-AI?

L-ebda fajl ma jista' jġiegħel crawler. Li ssegwi r-robots.txt huwa volontarju, u kull crawler jiddeċiedi hu stess jekk jobdix ir-regoli. Xi fetchers li jaġixxu fuq talba ta' utent jistgħu jinjoraw ir-robots.txt, kif jgħidu l-operaturi tagħhom. Do4U jimmarkahom fil-lista.

Ir-regoli l-oħra tiegħi u s-sitemap tiegħi jinżammu?

Iva. Do4U iżomm il-gruppi l-oħra kollha u l-linji kollha tas-sitemap. Biss il-linji li jsemmu crawler li issa qed tiddeċiedi dwaru jsiru kummenti, biex ir-regoli l-qodma u l-ġodda ma jitħalltux. It-taqsima tal-AI hija mmarkata b'mod ċar fl-aħħar tal-fajl, u tħaddim ieħor jissostitwixxiha.

L-imblukkar ta' Google-Extended ineħħi s-sit tiegħi minn Google?

Le. Google-Extended mhuwiex crawler iżda token fir-robots.txt. Skont Google, jikkontrolla l-użu tal-kontenut tiegħek għall-mudelli Gemini u ma jaffettwax Google Search. Applebot-Extended jaħdem b'mod simili għal Apple.

It-test tiegħi jinħażen?

Biss sakemm ikun meħtieġ: 7 jum fuq B'xejn, 30 jum b'pakkett – jew xejn jekk tagħżel li ma taħżnux. L-ipproċessar isir fuq is-servers tagħna stess fl-UE (Polonja).

Nista' nuża r-riżultat minnufih?

Ir-riżultati huma ġġenerati mill-AI. Jekk jogħġbok aqrahom qabel tippubblikahom jew tibgħathom.

Għodod relatati

Ġeneratur ta' llms.txt
Aqra s-sit web tiegħek u ikseb fajl llms.txt lest għall-assistenti tal-AI: l-isem tas-sit web tiegħek, sommarju qasir u l-aktar paġni importanti tiegħek, kull waħda b'sentenza. Il-kodiċi jibni u jiċċekkja l-fajl; int tniżżlu jew tikkopjah.
Verifika tal-viżibbiltà fl-AI
Sir af kemm paġna twieġeb tajjeb il-mistoqsijiet li n-nies tipikament jagħmlu dwar is-suġġett tagħha. L-AI jipproponi l-mistoqsijiet u jivvaluta kull tweġiba b'kwotazzjoni eżatta mill-paġna tiegħek; il-kodiċi jiċċekkja l-kwotazzjonijiet u jikkalkula l-kopertura. Tara wkoll it-tweġibiet nieqsa u indikazzjonijiet dwar il-markup tal-FAQ, l-llms.txt u r-robots.txt. L-ebda wegħda ta' klassifikazzjoni.

L-għodod kollha →