DI robotai faile robots.txt

Do4U sukuria DI robotų taisykles tavo robots.txt faile. Pasirenki pagal grupę ar pagal robotą: modelių mokymas ir duomenų rinkiniai, paieškos ir atsakymų indeksas bei užklausos naudotojo prašymu. Prie kiekvieno sąrašo roboto nurodytas jo operatorius, paskirtis ir nuoroda į operatoriaus dokumentaciją. Jei įvedi savo svetainę, Do4U perskaito tavo dabartinį robots.txt, parodo, kuriuos DI robotus jis šiandien leidžia ar blokuoja, ir pabaigoje prideda aiškiai pažymėtą DI skyrių. Kitos tavo grupės ir svetainės žemėlapio eilutės lieka tokios, kokios yra. Tada kodas dar kartą perskaito naują failą ir patikrina, ar kiekvienas robotas turi tavo pasirinktas taisykles. Viskas vyksta kodu, be DI, o failas sukuriamas tavo naršyklėje.

Išbandyk dabar Kainos

Nemokamai ir be paskyros: DI robotų patikra faile robots.txt →

Kam skirta

Svetainių savininkams, agentūroms ir programuotojams, kurie nori nuspręsti, kurie DI robotai gali naudoti jų turinį, nesugadindami jau turimų taisyklių.

Tipiniai panaudojimai

Blokuok DI mokymo robotus ir vis tiek būk randamas(-a) DI paieškoje
Patikrink, kuriuos DI robotus tavo robots.txt šiandien leidžia
Pridėk DI skyrių į esamą robots.txt neprarasdamas(-a) taisyklių
Leisk DI robotams tik pasirinktus kelius

Pavyzdys

Įvestis

Svetainė: https://example.com Dabartinis robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Pasirinkimas: blokuoti mokymą, leisti paiešką, leisti užklausas naudotojo prašymu

Rezultatas

GPTBot: blokuojama (savos taisyklės) → blokuojama ClaudeBot: iš dalies blokuojama (taisyklės visiems) → blokuojama OAI-SearchBot: iš dalies blokuojama (taisyklės visiems) → iš dalies blokuojama (savos taisyklės, /admin/ lieka blokuojamas) Taisyklė visiems robotams ir svetainės žemėlapio eilutė lieka nepakitusios. Senoji GPTBot grupė lieka faile kaip komentaras, o naujas DI skyrius pridedamas pabaigoje.

Fiksuotas, sutrumpintas pavyzdys. Tikrus rezultatus sukuria DI: patikrink juos.

Kaina ir limitai

Kaina: nemokamai, be registracijos
Prieinama su: Nemokamas, Su paketu
Įvesties limitas: Iki 60 000 simbolių faile

Privatumas

Apdorojama mūsų pačių serveriuose ES (Lenkijoje). Įvestis ir rezultatai ištrinami po 7 d. (nemokamas) arba 30 d. (paketai), o jei pasirenki jų nesaugoti – iškart po to, kai pamatai rezultatą. Paveikslėliai ištrinami iškart po apdorojimo.

API

Įrankio pavadinimas: ai_robots_txt. Sukurk užduotį su POST /api/v1/jobs ir gauk rezultatą su GET /api/v1/jobs/{id}. Savo API raktą rasi savo paskyroje.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Visa API dokumentacija →

Klausimai ir atsakymai

Ar robots.txt tikrai sustabdo DI robotus?

Joks failas negali priversti roboto. robots.txt laikymasis yra savanoriškas, ir kiekvienas robotas pats sprendžia, ar paisyti taisyklių. Kai kurie užklausų įrankiai, veikiantys naudotojo prašymu, gali ignoruoti robots.txt, kaip teigia jų operatoriai. Do4U juos sąraše pažymi.

Ar mano kitos taisyklės ir svetainės žemėlapis bus išsaugoti?

Taip. Do4U išsaugo visas kitas grupes ir visas svetainės žemėlapio eilutes. Komentarais tampa tik eilutės, kuriose nurodytas robotas, dėl kurio dabar sprendi, kad senos ir naujos taisyklės nesusimaišytų. DI skyrius aiškiai pažymėtas failo pabaigoje, o paleidus dar kartą jis pakeičiamas.

Ar užblokavus Google-Extended mano svetainė dings iš Google?

Ne. Google-Extended nėra robotas, tai žetonas robots.txt faile. Pasak Google, jis valdo tavo turinio naudojimą Gemini modeliams ir neturi įtakos Google paieškai. Applebot-Extended panašiai veikia Apple atveju.

Ar mano tekstas saugomas?

Tik tiek, kiek reikia: 7 d. nemokamame plane, 30 d. su paketu – arba išvis ne, jei pasirinksi jo nesaugoti. Apdorojimas vyksta mūsų pačių serveriuose ES (Lenkijoje).

Ar rezultatą galiu naudoti iškart?

Rezultatai sukuriami DI. Prieš skelbdamas ar siųsdamas juos perskaityk.

Susiję įrankiai

llms.txt generatorius
Perskaito tavo svetainę ir sukuria paruoštą llms.txt failą DI asistentams: svetainės pavadinimą, trumpą santrauką ir svarbiausius puslapius, kiekvieną su vienu sakiniu. Kodas sukuria ir patikrina failą; tu jį atsisiunti arba nukopijuoji.
DI matomumo patikra
Sužinok, kaip gerai puslapis atsako į klausimus, kuriuos žmonės dažniausiai užduoda apie jo temą. DI pasiūlo klausimus ir įvertina kiekvieną atsakymą su tiksliu citata iš tavo puslapio; kodas patikrina citatas ir apskaičiuoja aprėptį. Taip pat matai trūkstamus atsakymus ir patarimus dėl DUK žymėjimo, llms.txt ir robots.txt. Jokių pažadų dėl reitingo.

Visi įrankiai →