Crawlere IA în robots.txt

Do4U creează regulile pentru crawlerele IA în robots.txt-ul tău. Alegi pe grup sau pe crawler: antrenarea modelelor și seturi de date, index de căutare și răspunsuri și preluări la cererea unui utilizator. Fiecare crawler din listă vine cu operatorul său, scopul său și un link către documentația operatorului. Dacă introduci site-ul tău, Do4U citește robots.txt-ul tău actual, arată ce crawlere IA permite sau blochează azi și adaugă la sfârșit o secțiune IA marcată clar. Celelalte grupuri și rândurile sitemap rămân așa cum sunt. Apoi codul citește din nou fișierul nou și verifică dacă fiecare crawler are regulile alese de tine. Totul se întâmplă în cod, fără IA, iar fișierul este creat în browserul tău.

Încearcă acum Prețuri

Gratuit și fără cont: Verificarea crawlerelor IA în robots.txt →

Pentru cine este

Pentru proprietari de site-uri, agenții și dezvoltatori care vor să decidă ce crawlere IA le pot folosi conținutul, fără să strice regulile pe care le au deja.

Utilizări tipice

Blochează crawlerele de antrenare IA și rămâi totuși vizibil în căutarea IA
Verifică ce crawlere IA permite azi robots.txt-ul tău
Adaugă o secțiune IA într-un robots.txt existent fără să pierzi reguli
Permite crawlerele IA doar pentru anumite căi

Exemplu

Intrare

Site: https://example.com robots.txt actual: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Alegere: blochează antrenarea, permite căutarea, permite preluările la cererea utilizatorilor

Rezultat

GPTBot: blocat (reguli proprii) → blocat ClaudeBot: blocat parțial (reguli pentru toți) → blocat OAI-SearchBot: blocat parțial (reguli pentru toți) → blocat parțial (reguli proprii, /admin/ rămâne blocat) Regula pentru toate crawlerele și rândul sitemap rămân neschimbate. Vechiul grup GPTBot rămâne în fișier ca un comentariu, iar noua secțiune IA este adăugată la sfârșit.

Un exemplu fix, scurtat. Rezultatele reale sunt generate de AI: verifică-le.

Preț și limite

Preț: gratuit, fără înregistrare
Disponibil cu: Gratuit, Cu pachet
Limită de intrare: Până la 60 000 de caractere pe fișier

Confidențialitate

Procesare pe serverele noastre din UE (Polonia). Intrările și rezultatele se șterg după 7 zile (Gratuit) sau 30 zile (pachete), ori imediat după ce vezi rezultatul, dacă alegi să nu fie salvate. Imaginile se șterg imediat după procesare.

În API

Numele instrumentului: ai_robots_txt. Creează o sarcină cu POST /api/v1/jobs și preia rezultatul cu GET /api/v1/jobs/{id}. Cheia ta API o găsești în contul tău.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Documentația completă a API →

Întrebări și răspunsuri

Oprește robots.txt cu adevărat crawlerele IA?

Niciun fișier nu poate forța un crawler. Respectarea robots.txt este voluntară, iar fiecare crawler decide singur dacă respectă regulile. Unele instrumente de preluare care acționează la cererea unui utilizator pot ignora robots.txt, după cum spun operatorii lor. Do4U le marchează în listă.

Se păstrează celelalte reguli și sitemap-ul meu?

Da. Do4U păstrează toate celelalte grupuri și toate rândurile sitemap. Doar rândurile care numesc un crawler despre care decizi acum devin comentarii, astfel încât regulile vechi și cele noi să nu se amestece. Secțiunea IA este marcată clar la sfârșitul fișierului, iar o a doua rulare o înlocuiește.

Blocarea Google-Extended îmi elimină site-ul din Google?

Nu. Google-Extended nu este un crawler, ci un token în robots.txt. Potrivit Google, controlează folosirea conținutului tău pentru modelele Gemini și nu afectează Google Search. Applebot-Extended funcționează asemănător pentru Apple.

Textul meu este stocat?

Numai cât timp este necesar: 7 zile în planul Free, 30 zile cu un pachet – sau deloc, dacă alegi să nu fie stocat. Procesarea are loc pe serverele noastre din UE (Polonia).

Pot folosi rezultatul imediat?

Rezultatele sunt generate de AI. Te rugăm să le citești înainte de a le publica sau de a le trimite.

Instrumente asemănătoare

Generator llms.txt
Citește site-ul tău și primești un fișier llms.txt gata de folosit pentru asistenți IA: numele site-ului, un scurt rezumat și paginile tale cele mai importante, fiecare cu o propoziție. Codul creează și verifică fișierul; tu îl descarci sau îl copiezi.
Verificarea vizibilității în IA
Află cât de bine răspunde o pagină la întrebările pe care oamenii le pun de obicei despre subiectul ei. IA propune întrebările și evaluează fiecare răspuns cu un citat exact din pagina ta; codul verifică citatele și calculează acoperirea. Vezi și răspunsurile lipsă și indicii despre marcajul FAQ, llms.txt și robots.txt. Fără promisiuni de clasare.

Toate instrumentele →