AI-crawlerek a robots.txt-ben

A Do4U elkészíti az AI-crawlerekre vonatkozó szabályokat a robots.txt-dben. Csoportonként vagy crawlerenként választasz: modelltanítás és adatkészletek, kereső- és válaszindex, valamint felhasználói kérésre történő lekérések. A listában minden crawlerhez megadjuk az üzemeltetőjét, a célját és egy linket az üzemeltető dokumentációjához. Ha megadod a weboldaladat, a Do4U beolvassa a jelenlegi robots.txt-det, megmutatja, mely AI-crawlereket engedi vagy tiltja ma, és a végére egy egyértelműen jelölt AI-szakaszt ad hozzá. A többi csoportod és a sitemap-sorok változatlanok maradnak. A kód ezután újra beolvassa az új fájlt, és ellenőrzi, hogy minden crawlerre az általad választott szabályok vonatkoznak-e. Minden kóddal történik, AI nélkül, és a fájl a böngésződben készül.

Próbáld ki most Árak

Ingyenesen és fiók nélkül: AI-crawler-ellenőrzés robots.txt-hez →

Kinek szól

Weboldal-tulajdonosoknak, ügynökségeknek és fejlesztőknek, akik el szeretnék dönteni, mely AI-crawlerek használhatják a tartalmukat, anélkül hogy elrontanák a már meglévő szabályaikat.

Tipikus felhasználások

AI-tanító crawlerek tiltása úgy, hogy az AI-keresésben továbbra is megtaláljanak
Annak ellenőrzése, mely AI-crawlereket engedi ma a robots.txt-d
AI-szakasz hozzáadása egy meglévő robots.txt-hez szabályok elvesztése nélkül
AI-crawlerek engedélyezése csak kiválasztott útvonalakra

Példa

Bemenet

Weboldal: https://example.com Jelenlegi robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Választás: tanítás tiltása, keresés engedése, felhasználói lekérések engedése

Eredmény

GPTBot: tiltva (saját szabályok) → tiltva ClaudeBot: részben tiltva (mindenkire vonatkozó szabályok) → tiltva OAI-SearchBot: részben tiltva (mindenkire vonatkozó szabályok) → részben tiltva (saját szabályok, az /admin/ tiltva marad) A minden crawlerre vonatkozó szabály és a sitemap-sor változatlan marad. A régi GPTBot-csoport megjegyzésként a fájlban marad, az új AI-szakasz pedig a végére kerül.

Rögzített, rövidített példa. A valódi eredményeket MI állítja elő: kérlek, ellenőrizd őket.

Ár és korlátok

Ár: ingyenes, regisztráció nélkül
Elérhető ezzel: Ingyenes, Csomaggal
Bemeneti korlát: Fájlonként legfeljebb 60 000 karakter

Adatvédelem

Saját szervereinken dolgozzuk fel az EU-ban (Lengyelország). A bemenetek és az eredmények 7 nap (Ingyenes) vagy 30 nap (csomagok) után törlődnek, illetve közvetlenül az eredmény megtekintése után, ha a tárolás mellőzését választod. A képek a feldolgozás után azonnal törlődnek.

Az API-ban

Az eszköz neve: ai_robots_txt. Hozz létre egy feladatot a POST /api/v1/jobs híváshoz, és kérd le az eredményt a GET /api/v1/jobs/{id} hívással. Az API-kulcsodat a fiókodban találod.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Teljes API-dokumentáció →

Kérdések és válaszok

Tényleg megállítja a robots.txt az AI-crawlereket?

Egyetlen fájl sem kényszeríthet egy crawlert. A robots.txt követése önkéntes, és minden crawler maga dönti el, betartja-e a szabályokat. Egyes, felhasználói kérésre működő lekérők az üzemeltetőik szerint figyelmen kívül hagyhatják a robots.txt-t. A Do4U ezeket megjelöli a listában.

Megmaradnak a többi szabályom és a sitemapem?

Igen. A Do4U megtartja az összes többi csoportot és az összes sitemap-sort. Csak azok a sorok válnak megjegyzéssé, amelyek olyan crawlert neveznek meg, amelyről most döntesz, hogy a régi és az új szabályok ne keveredjenek. Az AI-szakasz egyértelműen jelölve van a fájl végén, és egy második futtatás lecseréli.

Eltávolítja a Google-Extended tiltása az oldalamat a Google-ből?

Nem. A Google-Extended nem crawler, hanem egy token a robots.txt-ben. A Google szerint azt szabályozza, hogy a tartalmadat felhasználják-e a Gemini-modellekhez, és nincs hatása a Google Keresőre. Az Applebot-Extended hasonlóan működik az Apple esetében.

Eltárolják a szövegemet?

Csak addig, amíg szükséges: 7 napig a Free csomagban, 30 napig fizetős csomaggal – vagy egyáltalán nem, ha úgy döntesz, hogy nem kéred a tárolást. A feldolgozás a saját szervereinken történik az EU-ban (Lengyelország).

Használhatom az eredményt azonnal?

Az eredményeket MI állítja elő. Kérjük, olvasd át őket, mielőtt közzéteszed vagy elküldöd.

Kapcsolódó eszközök

llms.txt-generátor
Beolvassa a weboldaladat, és kész llms.txt fájlt ad az AI-asszisztensek számára: a weboldalad nevét, rövid összefoglalót és a legfontosabb oldalaidat, mindegyikhez egy mondattal. A fájlt a kód építi fel és ellenőrzi; te letöltöd vagy kimásolod.
AI-láthatósági ellenőrzés
Derítsd ki, mennyire jól válaszol egy oldal azokra a kérdésekre, amelyeket az emberek jellemzően feltesznek a témájáról. Az AI javasolja a kérdéseket, és az oldaladról vett pontos idézettel értékeli az egyes válaszokat; a kód ellenőrzi az idézeteket, és kiszámítja a lefedettséget. Látod a hiányzó válaszokat is, valamint tippeket a GYIK-jelöléshez, az llms.txt-hez és a robots.txt-hez. Rangsorolási ígéret nélkül.

Minden eszköz →