AI-crawlere i robots.txt

Do4U bygger reglerne for AI-crawlere i din robots.txt. Du vælger pr. gruppe eller pr. crawler: modeltræning og datasæt, søge- og svarindeks og hentninger på en brugers anmodning. Hver crawler på listen har sin operatør, sit formål og et link til operatørens dokumentation. Hvis du indtaster dit website, læser Do4U din nuværende robots.txt, viser, hvilke AI-crawlere den tillader eller blokerer i dag, og tilføjer en tydeligt markeret AI-sektion til sidst. Dine andre grupper og sitemaplinjer forbliver, som de er. Koden læser derefter den nye fil igen og tjekker, at hver crawler har de regler, du har valgt. Alt sker i kode, uden AI, og filen laves i din browser.

Prøv det nu Priser

Gratis og uden konto: AI-crawler-tjek til robots.txt →

Hvem det er til

Til websiteejere, bureauer og udviklere, der vil bestemme, hvilke AI-crawlere der må bruge deres indhold, uden at ødelægge de regler, de allerede har.

Typiske anvendelser

Bloker AI-træningscrawlere, og bliv stadig fundet i AI-søgning
Tjek, hvilke AI-crawlere din robots.txt tillader i dag
Tilføj en AI-sektion til en eksisterende robots.txt uden at miste regler
Tillad kun AI-crawlere for udvalgte stier

Eksempel

Input

Website: https://example.com Nuværende robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Valg: bloker træning, tillad søgning, tillad hentninger for brugere

Resultat

GPTBot: blokeret (egne regler) → blokeret ClaudeBot: delvist blokeret (regler for alle) → blokeret OAI-SearchBot: delvist blokeret (regler for alle) → delvist blokeret (egne regler, /admin/ forbliver blokeret) Reglen for alle crawlere og sitemaplinjen forbliver uændrede. Den gamle GPTBot-gruppe bliver i filen som kommentar, og den nye AI-sektion tilføjes til sidst.

Et fast eksempel, forkortet. Rigtige resultater er genereret af AI: tjek dem.

Pris og grænser

Pris: gratis, uden tilmelding
Tilgængeligt med: Gratis, Med pakke
Inputgrænse: Op til 60 000 tegn pr. fil

Privatliv

Behandlet på vores egne servere i EU (Polen). Input og resultater slettes efter 7 dage (Gratis) eller 30 dage (pakker) eller umiddelbart efter, at du har set resultatet, hvis du vælger ikke at gemme dem. Billeder slettes umiddelbart efter behandlingen.

I API'et

Værktøjsnavn: ai_robots_txt. Opret et job med POST /api/v1/jobs, og hent resultatet med GET /api/v1/jobs/{id}. Du finder din API-nøgle i din konto.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Fuld API-dokumentation →

Spørgsmål og svar

Stopper robots.txt virkelig AI-crawlere?

Ingen fil kan tvinge en crawler. Det er frivilligt at følge robots.txt, og hver crawler afgør selv, om den overholder reglerne. Nogle hentere, der handler på en brugers anmodning, ignorerer muligvis robots.txt, som deres operatører selv siger. Do4U markerer dem på listen.

Bevares mine andre regler og mit sitemap?

Ja. Do4U beholder alle andre grupper og alle sitemaplinjer. Kun linjer, der nævner en crawler, du nu tager stilling til, bliver til kommentarer, så gamle og nye regler ikke blandes. AI-sektionen er tydeligt markeret i slutningen af filen, og en ny kørsel erstatter den.

Fjerner blokering af Google-Extended mit website fra Google?

Nej. Google-Extended er ikke en crawler, men et token i robots.txt. Ifølge Google styrer det brugen af dit indhold til Gemini-modeller og påvirker ikke Google Søgning. Applebot-Extended fungerer på lignende måde for Apple.

Bliver min tekst gemt?

Kun så længe det er nødvendigt: 7 dage med Free, 30 dage med en pakke – eller slet ikke, hvis du vælger ikke at gemme den. Behandlingen sker på vores egne servere i EU (Polen).

Kan jeg bruge resultatet med det samme?

Resultaterne er genereret af AI. Læs dem igennem, før du udgiver eller sender dem.

Relaterede værktøjer

llms.txt-generator
Læs dit websted, og få en færdig llms.txt-fil til AI-assistenter: dit websteds navn, en kort opsummering og dine vigtigste sider, hver med én sætning. Koden bygger og kontrollerer filen; du downloader eller kopierer den.
Tjek af AI-synlighed
Find ud af, hvor godt en side besvarer de spørgsmål, folk typisk stiller om dens emne. AI'en foreslår spørgsmålene og vurderer hvert svar med et præcist citat fra din side; koden kontrollerer citaterne og beregner dækningen. Du ser også manglende svar og tip om FAQ-markup, llms.txt og robots.txt. Intet løfte om placering.

Alle værktøjer →