AI crawleri u robots.txt

Do4U izrađuje pravila za AI crawlere u tvom robots.txt. Biraš po skupini ili po crawleru: treniranje modela i skupovi podataka, indeks za pretraživanje i odgovore te dohvaćanje na zahtjev korisnika. Svaki crawler na popisu dolazi s operaterom, svrhom i poveznicom na dokumentaciju operatera. Ako uneseš svoje web-mjesto, Do4U čita tvoj trenutačni robots.txt, pokazuje koje AI crawlere danas dopušta ili blokira i na kraj dodaje jasno označen AI odjeljak. Tvoje ostale skupine i retci sa sitemapom ostaju kakvi jesu. Kôd zatim ponovno čita novu datoteku i provjerava ima li svaki crawler pravila koja si odabrao/la. Sve se događa u kôdu, bez AI-ja, a datoteka se izrađuje u tvom pregledniku.

Isprobaj odmah Cijene

Besplatno i bez računa: Provjera AI crawlera za robots.txt →

Za koga je

Za vlasnike web-mjesta, agencije i programere koji žele odlučiti koji AI crawleri smiju koristiti njihov sadržaj, a da ne naruše pravila koja već imaju.

Tipične primjene

Blokiraj AI crawlere za treniranje, a ostani vidljiv/a u AI pretraživanju
Provjeri koje AI crawlere tvoj robots.txt danas dopušta
Dodaj AI odjeljak u postojeći robots.txt bez gubitka pravila
Dopusti AI crawlere samo za odabrane putanje

Primjer

Unos

Web-mjesto: https://example.com Trenutačni robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Izbor: blokiraj treniranje, dopusti pretraživanje, dopusti dohvaćanje za korisnike

Rezultat

GPTBot: blokirano (vlastita pravila) → blokirano ClaudeBot: djelomično blokirano (pravila za sve) → blokirano OAI-SearchBot: djelomično blokirano (pravila za sve) → djelomično blokirano (vlastita pravila, /admin/ ostaje blokiran) Pravilo za sve crawlere i redak sa sitemapom ostaju nepromijenjeni. Stara skupina GPTBot ostaje u datoteci kao komentar, a novi AI odjeljak dodaje se na kraj.

Fiksni primjer, skraćen. Stvarne rezultate generira AI: provjeri ih.

Cijena i ograničenja

Cijena: besplatno, bez registracije
Dostupno uz: Besplatno, Uz paket
Ograničenje unosa: Do 60 000 znakova po datoteci

Privatnost

Obrada na našim vlastitim poslužiteljima u EU-u (Poljska). Unosi i rezultati brišu se nakon 7 dana (Free) ili 30 dana (paketi), ili odmah nakon što vidiš rezultat ako odabereš da se ne spremaju. Slike se brišu odmah nakon obrade.

U API-ju

Naziv alata: ai_robots_txt. Izradi zadatak s POST /api/v1/jobs i dohvati rezultat s GET /api/v1/jobs/{id}. Svoj API ključ pronaći ćeš u svom računu.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Potpuna API dokumentacija →

Pitanja i odgovori

Zaustavlja li robots.txt zaista AI crawlere?

Nijedna datoteka ne može prisiliti crawler. Poštovanje datoteke robots.txt je dobrovoljno i svaki crawler sam odlučuje hoće li slijediti pravila. Neki alati za dohvaćanje koji rade na zahtjev korisnika mogu zanemariti robots.txt, kako navode njihovi operateri. Do4U ih označava na popisu.

Hoće li moja ostala pravila i sitemap ostati?

Da. Do4U zadržava sve ostale skupine i sve retke sa sitemapom. Samo retci koji navode crawler o kojem sada odlučuješ postaju komentari, kako se stara i nova pravila ne bi miješala. AI odjeljak jasno je označen na kraju datoteke, a drugo pokretanje ga zamjenjuje.

Uklanja li blokiranje Google-Extended moje web-mjesto iz Googlea?

Ne. Google-Extended nije crawler, nego token u robots.txt. Prema Googleu, on upravlja korištenjem tvog sadržaja za modele Gemini i ne utječe na Google pretraživanje. Applebot-Extended na sličan način radi za Apple.

Pohranjuje li se moj tekst?

Samo onoliko dugo koliko je potrebno: 7 dana u paketu Free, 30 dana uz paket – ili uopće ne, ako odabereš da se ne pohranjuje. Obrada se odvija na našim vlastitim poslužiteljima u EU (Poljska).

Mogu li rezultat odmah upotrijebiti?

Rezultate generira UI. Pročitaj ih prije nego što ih objaviš ili pošalješ.

Srodni alati

Generator datoteke llms.txt
Pročitaj svoju web-stranicu i dobij gotovu datoteku llms.txt za AI asistente: naziv web-stranice, kratak sažetak i tvoje najvažnije stranice, svaku s jednom rečenicom. Kôd izrađuje i provjerava datoteku; ti je preuzimaš ili kopiraš.
Provjera vidljivosti za AI
Saznaj koliko dobro stranica odgovara na pitanja koja ljudi obično postavljaju o njezinoj temi. AI predlaže pitanja i ocjenjuje svaki odgovor točnim citatom s tvoje stranice; kôd provjerava citate i izračunava pokrivenost. Vidiš i nedostajuće odgovore te savjete o FAQ oznakama, llms.txt i robots.txt. Bez obećanja o rangiranju.

Svi alati →