AI-crawlers i robots.txt

Do4U bygger reglerna för AI-crawlers i din robots.txt. Du väljer per grupp eller per crawler: modellträning och datamängder, sök- och svarsindex samt hämtningar på begäran av en användare. Varje crawler i listan visas med sin operatör, sitt syfte och en länk till operatörens dokumentation. Om du anger din webbplats läser Do4U din nuvarande robots.txt, visar vilka AI-crawlers den tillåter eller blockerar i dag och lägger till ett tydligt markerat AI-avsnitt i slutet. Dina andra grupper och sitemap-rader förblir som de är. Koden läser sedan den nya filen igen och kontrollerar att varje crawler har de regler du valde. Allt sker i kod, utan AI, och filen skapas i din webbläsare.

Testa nu Priser

Gratis och utan konto: Kontroll av AI-crawlers i robots.txt →

Vem det är till för

För webbplatsägare, byråer och utvecklare som vill bestämma vilka AI-crawlers som får använda deras innehåll, utan att förstöra de regler de redan har.

Typiska användningar

Blockera AI-crawlers för träning och syns ändå i AI-sökning
Kontrollera vilka AI-crawlers din robots.txt tillåter i dag
Lägg till ett AI-avsnitt i en befintlig robots.txt utan att förlora regler
Tillåt AI-crawlers bara för utvalda sökvägar

Exempel

Inmatning

Webbplats: https://example.com Nuvarande robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Val: blockera träning, tillåt sökning, tillåt hämtningar på begäran av användare

Resultat

GPTBot: blockerad (egna regler) → blockerad ClaudeBot: delvis blockerad (regler för alla) → blockerad OAI-SearchBot: delvis blockerad (regler för alla) → delvis blockerad (egna regler, /admin/ förblir blockerad) Regeln för alla crawlers och sitemap-raden förblir oförändrade. Den gamla GPTBot-gruppen finns kvar i filen som kommentar, och det nya AI-avsnittet läggs till i slutet.

Ett fast exempel, förkortat. Riktiga resultat är AI-genererade: kontrollera dem.

Pris och gränser

Pris: gratis, utan registrering
Tillgängligt med: Gratis, Med paket
Inmatningsgräns: Upp till 60 000 tecken per fil

Integritet

Behandlas på våra egna servrar i EU (Polen). Inmatningar och resultat raderas efter 7 dagar (Gratis) eller 30 dagar (paket), eller direkt efter att du har sett resultatet om du väljer att inte spara dem. Bilder raderas direkt efter bearbetningen.

I API:et

Verktygsnamn: ai_robots_txt. Skapa ett jobb med POST /api/v1/jobs och hämta resultatet med GET /api/v1/jobs/{id}. Du hittar din API-nyckel i ditt konto.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Fullständig API-dokumentation →

Frågor och svar

Stoppar robots.txt verkligen AI-crawlers?

Ingen fil kan tvinga en crawler. Att följa robots.txt är frivilligt, och varje crawler bestämmer själv om den följer reglerna. Vissa hämtare som agerar på begäran av en användare kan ignorera robots.txt, enligt deras operatörer. Do4U markerar dem i listan.

Behålls mina andra regler och min sitemap?

Ja. Do4U behåller alla andra grupper och alla sitemap-rader. Bara rader som namnger en crawler som du nu tar beslut om blir kommentarer, så att gamla och nya regler inte blandas. AI-avsnittet är tydligt markerat i slutet av filen, och en ny körning ersätter det.

Tar en blockering av Google-Extended bort min webbplats från Google?

Nej. Google-Extended är ingen crawler utan en token i robots.txt. Enligt Google styr den användningen av ditt innehåll för Gemini-modeller och påverkar inte Google Sök. Applebot-Extended fungerar på liknande sätt för Apple.

Sparas min text?

Bara så länge det behövs: 7 dagar med Free, 30 dagar med ett paket – eller inte alls om du väljer att inte spara den. Behandlingen sker på våra egna servrar i EU (Polen).

Kan jag använda resultatet direkt?

Resultaten är AI-genererade. Läs igenom dem innan du publicerar eller skickar dem.

Relaterade verktyg

llms.txt-generator
Läs din webbplats och få en färdig llms.txt-fil för AI-assistenter: webbplatsens namn, en kort sammanfattning och dina viktigaste sidor, var och en med en mening. Koden bygger och kontrollerar filen. Du laddar ned eller kopierar den.
Kontroll av AI-synlighet
Ta reda på hur väl en sida besvarar de frågor som människor vanligtvis ställer om dess ämne. AI:n föreslår frågorna och bedömer varje svar med ett exakt citat från din sida. Koden kontrollerar citaten och beräknar täckningen. Du ser också saknade svar och tips om FAQ-markup, llms.txt och robots.txt. Inget löfte om ranking.

Alla verktyg →