AI-crawlers och robots.txt: vad du kan styra

Tre sorters AI-botar

Alla AI-botar gör inte samma jobb. Träningscrawlers samlar in innehåll som kan användas för att träna AI-modeller. Sökcrawlers bygger ett index som AI-sökfunktioner använder för att besvara frågor och länka till källor. Användarhämtare öppnar en sida bara när en användare frågar något som kräver det. De stora aktörerna använder en egen token för varje jobb, så att du kan bestämma per jobb. OpenAI skriver till exempel att inställningarna är oberoende av varandra: du kan blockera träning och ändå synas i deras sök.

Vilka tokens som finns

Den 30 oktober 2026 beskriver aktörerna sina botar så här:

• OpenAI: GPTBot samlar in innehåll som kan användas för att träna deras grundmodeller, OAI-SearchBot används för sökfunktionerna i ChatGPT, och ChatGPT-User besöker sidor vid åtgärder som en användare startar. OpenAI skriver att robots.txt-regler kanske inte gäller för sådana åtgärder.
• Anthropic: ClaudeBot samlar in innehåll som kan hjälpa till att träna deras modeller, Claude-SearchBot förbättrar sökresultat, och Claude-User hämtar sidor när en användares fråga kräver det. Enligt Anthropic respekterar alla tre robots.txt.
• Perplexity: PerplexityBot visar och länkar webbplatser i Perplexitys sökresultat och används enligt Perplexity inte för att crawla innehåll för grundmodeller för AI. Perplexity-User hämtar sidor när en användare frågar och ignorerar, som Perplexity skriver, i regel robots.txt.
• Google: Google-Extended är ingen egen crawler utan en token i robots.txt. Den styr om innehåll som Google crawlar får användas för att träna framtida Gemini-modeller och för grounding i Gemini. Enligt Google påverkar den inte om eller hur högt en sida visas i Google Sök.
• Apple: inte heller Applebot-Extended crawlar sidor. Den styr om data som Applebot har crawlat får användas för att träna Apples generativa AI-modeller. Sidor som blockerar den kan fortfarande synas i Apples sökresultat.

Andra aktörer, som Common Crawl, Meta, Amazon och DuckDuckGo, publicerar egna tokens. Namnen ändras, så kontrollera aktörens dokumentation.

Så fungerar reglerna

• Filen ligger i värdens rot, till exempel https://example.com/robots.txt, och gäller bara för just det protokollet, den värden och den porten.
• Reglerna står i grupper under User-agent-rader. Enligt Google följer en crawler bara den mest specifika grupp som matchar den. Om en grupp nämner den gäller gruppen för alla crawlers (*) inte längre för den.
• Agentnamn är inte skiftlägeskänsliga. Inom en grupp vinner den längsta matchande regeln; om allow och disallow är lika specifika använder Google allow.
• Google läser högst 500 KiB av filen. Om robots.txt svarar med en 4xx-status annan än 429 behandlar Google webbplatsen som om det inte fanns någon fil, så allt får crawlas.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

I det här exemplet får tre aktörers träningsbotar inte hämta någonting, sökcrawlerna får hämta allt utom /admin/, och alla andra crawlers följer den första gruppen. Sökcrawlerna upprepar Disallow: /admin/ eftersom reglerna för * inte längre gäller för dem.

Vad en blockering betyder för din synlighet

Varje grupp påverkar en annan sorts synlighet. Om du blockerar en träningscrawler ber du aktören att inte använda ditt innehåll för träning; Anthropic beskriver till exempel en blockering av ClaudeBot som en signal för framtida material. Om du blockerar en sökcrawler kanske dina sidor inte syns i den aktörens AI-sök. OpenAI skriver att webbplatser som blockerar OAI-SearchBot inte visas i ChatGPT:s söksvar, men ändå kan synas som navigeringslänkar. Om du blockerar användarhämtare kan assistenter som respekterar regeln inte öppna din sida när någon frågar om den.

Google är ett specialfall. En blockering av Google-Extended tar inte bort din webbplats från Google Sök. AI-översikter och AI-läge är en del av Google Sök: enligt Google måste en sida vara indexerad och kunna visas med ett utdrag, och inga särskilda filer eller märkningar behövs. För att begränsa vad Google visar från en sida nämner Google nosnippet, data-nosnippet, max-snippet och noindex. De gäller för Sök som helhet, inte bara för AI-funktionerna.

robots.txt och llms.txt

De två filerna gör olika jobb. robots.txt säger vilken automatisk åtkomst du godtar. llms.txt är ett förslag på en Markdown-fil som ger AI-assistenter en kort översikt över dina viktigaste sidor, främst i det ögonblick någon ställer en fråga; vår guide om llms.txt förklarar formatet. Enligt llmstxt.org kan llms.txt komplettera robots.txt genom att ge sammanhang för innehåll som är tillåtet, men den ersätter den inte. Bestäm åtkomsten i robots.txt först.

En rimlig ordning

1. 1Bestäm per grupp vad du vill: träning, AI-sök och hämtningar åt användare. Ett möjligt val: blockera träning, tillåt sök och hämtningar åt användare.
2. 2Läs din nuvarande robots.txt: vilka grupper som finns och vad gruppen för alla crawlers blockerar.
3. 3Lägg till en grupp för varje beslut och upprepa reglerna från *-gruppen som fortfarande ska gälla.
4. 4Öppna /robots.txt i webbläsaren efter publiceringen och kontrollera filen.
5. 5Se över din lista då och då. Aktörer lägger till, byter namn på och avvecklar botar.

Bygg dina regler med Do4U

Verktyget AI-crawlers i robots.txt har en lista över AI-crawlers med aktör, syfte och en länk till dokumentationen, i tre grupper: modellträning, sök och hämtningar på begäran av en användare. Du väljer per grupp eller per crawler: tillåt, blockera eller lämna oförändrat, valfritt för utvalda sökvägar. Om du anger din webbplats läser Do4U din robots.txt, visar läget före och efter för varje AI-crawler och lägger till ett märkt AI-avsnitt i slutet. Dina andra grupper och sitemap-rader förblir som de är. Hämtare vars aktörer säger att de kan ignorera robots.txt markeras. Koden kontrollerar sedan den nya filen igen. Det fungerar utan AI och är gratis.

Do4U bygger utkastet, du kontrollerar och bestämmer. robots.txt förblir en begäran: om en crawler följer den kan Do4U inte kontrollera.