Pajki UI v robots.txt

Do4U sestavi pravila za pajke UI v tvoji datoteki robots.txt. Izbiraš po skupinah ali po posameznem pajku: učenje modelov in nabori podatkov, iskalni in odgovorni indeks ter pridobivanje na zahtevo uporabnika. Vsak pajek na seznamu ima navedenega upravljavca, namen in povezavo do dokumentacije upravljavca. Če vneseš svoje spletno mesto, Do4U prebere tvoj trenutni robots.txt, pokaže, katere pajke UI danes dovoljuje ali blokira, in na koncu doda jasno označen razdelek za UI. Tvoje druge skupine in vrstice sitemap ostanejo nespremenjene. Koda nato novo datoteko znova prebere in preveri, ali ima vsak pajek pravila, ki si jih izbral. Vse poteka v kodi, brez UI, datoteka pa nastane v tvojem brskalniku.

Preizkusi zdaj Cenik

Brezplačno in brez računa: Preverjanje pajkov UI v robots.txt →

Za koga je

Za lastnike spletnih mest, agencije in razvijalce, ki želijo odločiti, kateri pajki UI smejo uporabljati njihovo vsebino, ne da bi pokvarili pravila, ki jih že imajo.

Običajne uporabe

Blokiraj pajke za učenje UI in ostani najdljiv v iskanju UI
Preveri, katere pajke UI tvoj robots.txt danes dovoljuje
Obstoječemu robots.txt dodaj razdelek za UI, ne da bi izgubil pravila
Pajkom UI dovoli samo izbrane poti

Primer

Vnos

Spletno mesto: https://example.com Trenutni robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Izbira: blokiraj učenje, dovoli iskanje, dovoli pridobivanje na zahtevo uporabnikov

Rezultat

GPTBot: blokiran (lastna pravila) → blokiran ClaudeBot: delno blokiran (pravila za vse) → blokiran OAI-SearchBot: delno blokiran (pravila za vse) → delno blokiran (lastna pravila, /admin/ ostane blokiran) Pravilo za vse pajke in vrstica sitemap ostaneta nespremenjena. Stara skupina GPTBot ostane v datoteki kot komentar, novi razdelek za UI pa se doda na konec.

Fiksen primer, skrajšan. Pravi rezultati so ustvarjeni z umetno inteligenco: preveri jih.

Cena in omejitve

Cena: brezplačno, brez registracije
Na voljo z: Brezplačno, S paketom
Omejitev vnosa: Do 60 000 znakov na datoteko

Zasebnost

Obdelava na naših strežnikih v EU (Poljska). Vnosi in rezultati se izbrišejo po 7 dneh (brezplačno) ali 30 dneh (paketi) ali takoj, ko vidiš rezultat, če izbereš, da se ne shranijo. Slike se izbrišejo takoj po obdelavi.

V API

Ime orodja: ai_robots_txt. Opravilo ustvariš s POST /api/v1/jobs, rezultat pa dobiš z GET /api/v1/jobs/{id}. Svoj ključ API najdeš v svojem računu.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Celotna dokumentacija API →

Vprašanja in odgovori

Ali robots.txt res ustavi pajke UI?

Nobena datoteka ne more prisiliti pajka. Upoštevanje robots.txt je prostovoljno in vsak pajek sam odloči, ali bo pravila upošteval. Nekateri pridobivalniki, ki delujejo na zahtevo uporabnika, lahko po navedbah svojih upravljavcev robots.txt prezrejo. Do4U jih na seznamu označi.

Ali bodo moja druga pravila in moj sitemap ohranjeni?

Da. Do4U ohrani vse druge skupine in vse vrstice sitemap. V komentarje se spremenijo samo vrstice, ki navajajo pajka, o katerem zdaj odločaš, da se stara in nova pravila ne pomešajo. Razdelek za UI je jasno označen na koncu datoteke, drugi zagon pa ga zamenja.

Ali blokiranje Google-Extended odstrani moje spletno mesto iz Googla?

Ne. Google-Extended ni pajek, temveč žeton v robots.txt. Po navedbah Googla nadzoruje uporabo tvoje vsebine za modele Gemini in ne vpliva na Iskanje Google. Applebot-Extended deluje podobno za Apple.

Ali se moje besedilo shrani?

Samo toliko časa, kot je potrebno: 7 dni v brezplačnem paketu, 30 dni s plačljivim paketom – ali sploh ne, če se odločiš, da besedila ne shranimo. Obdelava poteka na naših lastnih strežnikih v EU (na Poljskem).

Ali lahko rezultat uporabim takoj?

Rezultate ustvari umetna inteligenca. Preberi jih, preden jih objaviš ali pošlješ.

Sorodna orodja

Generator llms.txt
Preberi svoje spletno mesto in dobi pripravljeno datoteko llms.txt za UI-pomočnike: ime tvojega spletnega mesta, kratek povzetek in tvoje najpomembnejše strani, vsako z enim stavkom. Datoteko sestavi in preveri koda; ti jo preneseš ali kopiraš.
Preverjanje vidnosti za UI
Ugotovi, kako dobro stran odgovarja na vprašanja, ki jih ljudje običajno postavljajo o njeni temi. UI predlaga vprašanja in vsak odgovor oceni z natančnim citatom z tvoje strani; koda preveri citate in izračuna pokritost. Vidiš tudi manjkajoče odgovore in namige o oznakah za pogosta vprašanja, llms.txt in robots.txt. Brez obljube uvrstitve.

Vsa orodja →