Mine sisu juurde
Alusta

TI-roomikud failis robots.txt

Do4U koostab sinu robots.txt-faili jaoks TI-roomikute reeglid. Valid rühma või roomiku kaupa: mudelite treenimine ja andmekogumid, otsingu- ja vastuseindeks ning päringud kasutaja soovil. Iga loendis oleva roomikuga on kaasas selle haldaja, eesmärk ja link haldaja dokumentatsioonile. Kui sisestad oma veebisaidi, loeb Do4U sinu praeguse robots.txt-faili, näitab, milliseid TI-roomikuid see täna lubab või blokeerib, ja lisab lõppu selgelt tähistatud TI-jaotise. Sinu muud rühmad ja saidikaardi read jäävad samaks. Seejärel loeb kood uue faili uuesti ja kontrollib, et igal roomikul on sinu valitud reeglid. Kõik toimub koodis, ilma TI-ta, ja fail luuakse sinu brauseris.

Proovi kohe Hinnad

Tasuta ja ilma kontota: TI-roomikute kontroll failile robots.txt →

Kellele see on

Veebisaitide omanikele, agentuuridele ja arendajatele, kes soovivad otsustada, millised TI-roomikud tohivad nende sisu kasutada, rikkumata juba olemasolevaid reegleid.

Tüüpilised kasutusviisid

  • Blokeeri TI treenimisroomikud ja ole siiski TI-otsingus leitav
  • Kontrolli, milliseid TI-roomikuid sinu robots.txt täna lubab
  • Lisa olemasolevasse robots.txt-faili TI-jaotis reegleid kaotamata
  • Luba TI-roomikuid ainult valitud teedel

Näide

Sisend

Veebisait: https://example.com Praegune robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Valik: blokeeri treenimine, luba otsing, luba kasutaja päringud

Tulemus

GPTBot: blokeeritud (oma reeglid) → blokeeritud ClaudeBot: osaliselt blokeeritud (reeglid kõigile) → blokeeritud OAI-SearchBot: osaliselt blokeeritud (reeglid kõigile) → osaliselt blokeeritud (oma reeglid, /admin/ jääb blokeerituks) Kõigi roomikute reegel ja saidikaardi rida jäävad muutmata. Vana GPTBoti rühm jääb faili kommentaarina ja uus TI-jaotis lisatakse lõppu.

Kindel näide, lühendatud. Päris tulemused on loonud TI: palun kontrolli neid.

Hind ja piirangud

Hind
tasuta, ilma registreerumiseta
Saadaval
Tasuta, Paketiga
Sisendipiirang
Kuni 60 000 märki faili kohta

Privaatsus

Töötlus meie oma serverites ELis (Poolas). Sisendid ja tulemused kustutatakse 7 päeva (tasuta) või 30 päeva (paketid) järel või kohe pärast tulemuse nägemist, kui valid nende mittesalvestamise. Pildid kustutatakse kohe pärast töötlemist.

API-s

Tööriista nimi: ai_robots_txt. Loo töö päringuga POST /api/v1/jobs ja too tulemus päringuga GET /api/v1/jobs/{id}. Oma API-võtme leiad oma kontolt.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Täielik API dokumentatsioon →

Küsimused ja vastused

Kas robots.txt peatab TI-roomikud tõesti?

Ükski fail ei saa roomikut sundida. robots.txt järgimine on vabatahtlik ja iga roomik otsustab ise, kas see järgib reegleid. Mõned kasutaja soovil toimivad päringutegijad võivad robots.txt-faili oma haldajate sõnul eirata. Do4U märgib need loendis.

Kas minu muud reeglid ja saidikaart säilivad?

Jah. Do4U säilitab kõik muud rühmad ja kõik saidikaardi read. Ainult read, mis nimetavad roomikut, mille kohta sa nüüd otsustad, muutuvad kommentaarideks, et vanad ja uued reeglid ei seguneks. TI-jaotis on faili lõpus selgelt tähistatud ja teine käivitus asendab selle.

Kas Google-Extendedi blokeerimine eemaldab minu saidi Google'ist?

Ei. Google-Extended ei ole roomik, vaid tunnus robots.txt-failis. Google'i sõnul juhib see sinu sisu kasutamist Gemini mudelite jaoks ega mõjuta Google'i otsingut. Applebot-Extended toimib Apple'i puhul sarnaselt.

Kas minu tekst salvestatakse?

Ainult nii kaua, kui vaja: tasuta paketis 7 päeva, paketiga 30 päeva – või üldse mitte, kui valid mittesalvestamise. Töötlus toimub meie oma serverites ELis (Poolas).

Kas saan tulemust kohe kasutada?

Tulemused on loonud TI. Palun loe need läbi, enne kui need avaldad või saadad.

Seotud tööriistad

  • llms.txt generaator

    Lase oma veebisait läbi lugeda ja saa TI-assistentidele valmis llms.txt-fail: sinu veebisaidi nimi, lühike kokkuvõte ja sinu kõige olulisemad lehed, igaüks ühe lausega. Kood loob ja kontrollib faili; sina laadid selle alla või kopeerid.

  • TI-nähtavuse kontroll

    Uuri välja, kui hästi leht vastab küsimustele, mida inimesed selle teema kohta tavaliselt küsivad. TI pakub küsimused välja ja hindab iga vastust täpse tsitaadiga sinu lehelt; kood kontrollib tsitaate ja arvutab kaetuse. Näed ka puuduvaid vastuseid ja vihjeid KKK-märgistuse, llms.txt ja robots.txt kohta. Paremusjärjestuse lubadust ei anta.

Kõik tööriistad →