AI rāpuļi failā robots.txt

Do4U izveido noteikumus AI rāpuļiem tavā robots.txt. Tu izvēlies pa grupām vai pa rāpuļiem: modeļu apmācība un datu kopas, meklēšanas un atbilžu indekss un pieprasījumi pēc lietotāja lūguma. Katram rāpulim sarakstā ir norādīts tā operators, mērķis un saite uz operatora dokumentāciju. Ja ievadi savu vietni, Do4U nolasa tavu pašreizējo robots.txt, parāda, kurus AI rāpuļus tas šodien atļauj vai bloķē, un faila beigās pievieno skaidri atzīmētu AI sadaļu. Tavas pārējās grupas un sitemap rindas paliek nemainīgas. Pēc tam kods vēlreiz nolasa jauno failu un pārbauda, vai katram rāpulim ir tevis izvēlētie noteikumi. Viss notiek kodā, bez AI, un fails tiek izveidots tavā pārlūkā.

Izmēģini tagad Cenas

Bez maksas un bez konta: AI rāpuļu pārbaude failam robots.txt →

Kam tas paredzēts

Vietņu īpašniekiem, aģentūrām un izstrādātājiem, kas vēlas izlemt, kuri AI rāpuļi drīkst izmantot viņu saturu, nesabojājot jau esošos noteikumus.

Tipiski lietojumi

Bloķē AI apmācības rāpuļus un joprojām esi atrodams AI meklēšanā
Pārbaudi, kurus AI rāpuļus tavs robots.txt šodien atļauj
Pievieno AI sadaļu esošam robots.txt, nezaudējot noteikumus
Atļauj AI rāpuļus tikai izvēlētiem ceļiem

Piemērs

Ievade

Vietne: https://example.com Pašreizējais robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Izvēle: bloķēt apmācību, atļaut meklēšanu, atļaut lietotāju pieprasījumus

Rezultāts

GPTBot: bloķēts (savi noteikumi) → bloķēts ClaudeBot: daļēji bloķēts (noteikumi visiem) → bloķēts OAI-SearchBot: daļēji bloķēts (noteikumi visiem) → daļēji bloķēts (savi noteikumi, /admin/ paliek bloķēts) Noteikums visiem rāpuļiem un sitemap rinda paliek nemainīgi. Vecā GPTBot grupa paliek failā kā komentārs, un jaunā AI sadaļa tiek pievienota beigās.

Fiksēts piemērs, saīsināts. Īstos rezultātus ģenerē AI: lūdzu, pārbaudi tos.

Cena un limiti

Cena: bez maksas, bez reģistrācijas
Pieejams ar: Free, Ar paketi
Ievades limits: Līdz 60 000 rakstzīmēm vienā failā

Privātums

Apstrāde mūsu pašu serveros ES (Polijā). Ievades un rezultāti tiek dzēsti pēc 7 dienām (Free) vai 30 dienām (paketes), vai uzreiz pēc tam, kad esi redzējis rezultātu, ja izvēlies tos nesaglabāt. Attēli tiek dzēsti uzreiz pēc apstrādes.

API

Rīka nosaukums: ai_robots_txt. Izveido darbu ar POST /api/v1/jobs un iegūsti rezultātu ar GET /api/v1/jobs/{id}. Savu API atslēgu atradīsi savā kontā.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Pilna API dokumentācija →

Jautājumi un atbildes

Vai robots.txt tiešām aptur AI rāpuļus?

Neviens fails nevar piespiest rāpuli. robots.txt ievērošana ir brīvprātīga, un katrs rāpulis pats izlemj, vai ievēro noteikumus. Daži rīki, kas darbojas pēc lietotāja pieprasījuma, var ignorēt robots.txt, kā norāda to operatori. Do4U tos sarakstā atzīmē.

Vai mani pārējie noteikumi un mana vietnes karte tiks saglabāti?

Jā. Do4U saglabā visas pārējās grupas un visas sitemap rindas. Tikai rindas, kas nosauc rāpuli, par kuru tu tagad lem, kļūst par komentāriem, lai vecie un jaunie noteikumi nesajauktos. AI sadaļa ir skaidri atzīmēta faila beigās, un nākamā palaišana to aizstāj.

Vai Google-Extended bloķēšana izņem manu vietni no Google?

Nē. Google-Extended nav rāpulis, bet marķieris robots.txt. Saskaņā ar Google teikto tas kontrolē tava satura izmantošanu Gemini modeļiem un neietekmē Google meklēšanu. Applebot-Extended līdzīgi darbojas Apple.

Vai mans teksts tiek glabāts?

Tikai tik ilgi, cik vajag: 7 dienas plānā Free, 30 dienas ar paketi – vai nemaz, ja izvēlies to neglabāt. Apstrāde notiek mūsu pašu serveros ES (Polijā).

Vai rezultātu varu izmantot uzreiz?

Rezultātus ģenerē AI. Lūdzu, izlasi tos, pirms publicē vai nosūti.

Saistītie rīki

llms.txt ģenerators
Nolasi savu vietni un saņem gatavu llms.txt failu AI asistentiem: tavas vietnes nosaukumu, īsu kopsavilkumu un svarīgākās lapas, katru ar vienu teikumu. Kods izveido un pārbauda failu; tu to lejupielādē vai nokopē.
AI redzamības pārbaude
Uzzini, cik labi lapa atbild uz jautājumiem, ko cilvēki parasti uzdod par tās tēmu. AI piedāvā jautājumus un novērtē katru atbildi ar precīzu citātu no tavas lapas; kods pārbauda citātus un aprēķina pārklājumu. Tu redzi arī trūkstošās atbildes un norādes par BUJ iezīmēšanu, llms.txt un robots.txt. Bez solījumiem par pozīcijām meklēšanā.

Visi rīki →