Gå til innholdet
Kom i gang

KI-crawlere i robots.txt

Do4U lager reglene for KI-crawlere i robots.txt-filen din. Du velger per gruppe eller per crawler: modelltrening og datasett, søke- og svarindeks, og henting på forespørsel fra en bruker. Hver crawler i listen har sin operatør, sitt formål og en lenke til operatørens dokumentasjon. Hvis du skriver inn nettstedet ditt, leser Do4U den nåværende robots.txt-filen din, viser hvilke KI-crawlere den tillater eller blokkerer i dag, og legger til en tydelig merket KI-del på slutten. De andre gruppene og sitemap-linjene dine blir stående som de er. Koden leser deretter den nye filen på nytt og sjekker at hver crawler har reglene du valgte. Alt skjer i kode, uten KI, og filen lages i nettleseren din.

Prøv nå Priser

Gratis og uten konto: KI-crawler-sjekk for robots.txt →

Hvem det er for

For nettstedeiere, byråer og utviklere som vil bestemme hvilke KI-crawlere som kan bruke innholdet deres, uten å ødelegge reglene de allerede har.

Typisk bruk

  • Blokker KI-crawlere for trening og bli fortsatt funnet i KI-søk
  • Sjekk hvilke KI-crawlere robots.txt-filen din tillater i dag
  • Legg til en KI-del i en eksisterende robots.txt uten å miste regler
  • Tillat KI-crawlere bare for utvalgte stier

Eksempel

Inndata

Nettsted: https://example.com Nåværende robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Valg: blokker trening, tillat søk, tillat henting på forespørsel fra brukere

Resultat

GPTBot: blokkert (egne regler) → blokkert ClaudeBot: delvis blokkert (regler for alle) → blokkert OAI-SearchBot: delvis blokkert (regler for alle) → delvis blokkert (egne regler, /admin/ forblir blokkert) Regelen for alle crawlere og sitemap-linjen forblir uendret. Den gamle GPTBot-gruppen blir værende i filen som en kommentar, og den nye KI-delen legges til på slutten.

Et fast eksempel, forkortet. Ekte resultater er KI-generert: sjekk dem.

Pris og grenser

Pris
gratis, uten registrering
Tilgjengelig med
Gratis, Med pakke
Inndatagrense
Opptil 60 000 tegn per fil

Personvern

Behandles på våre egne servere i EU (Polen). Inndata og resultater slettes etter 7 dager (Gratis) eller 30 dager (pakker), eller rett etter at du har sett resultatet hvis du velger å ikke lagre dem. Bilder slettes rett etter behandlingen.

I API-et

Verktøynavn: ai_robots_txt. Opprett en jobb med POST /api/v1/jobs og hent resultatet med GET /api/v1/jobs/{id}. API-nøkkelen din finner du i kontoen din.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Fullstendig API-dokumentasjon →

Spørsmål og svar

Stopper robots.txt virkelig KI-crawlere?

Ingen fil kan tvinge en crawler. Å følge robots.txt er frivillig, og hver crawler avgjør selv om den følger reglene. Noen hentere som handler på forespørsel fra en bruker, kan ignorere robots.txt, ifølge operatørene deres. Do4U markerer disse i listen.

Blir de andre reglene mine og områdekartet mitt beholdt?

Ja. Do4U beholder alle andre grupper og alle sitemap-linjer. Bare linjer som nevner en crawler du nå tar stilling til, blir kommentarer, slik at gamle og nye regler ikke blandes. KI-delen er tydelig merket på slutten av filen, og en ny kjøring erstatter den.

Fjerner blokkering av Google-Extended nettstedet mitt fra Google?

Nei. Google-Extended er ikke en crawler, men et token i robots.txt. Ifølge Google styrer det bruken av innholdet ditt for Gemini-modeller og påvirker ikke Google Søk. Applebot-Extended fungerer på lignende måte for Apple.

Blir teksten min lagret?

Bare så lenge det trengs: 7 dager med Free, 30 dager med en pakke – eller slett ikke hvis du velger å ikke lagre den. Behandlingen skjer på våre egne servere i EU (Polen).

Kan jeg bruke resultatet med en gang?

Resultatene er laget av KI. Les dem gjennom før du publiserer eller sender dem.

Relaterte verktøy

  • llms.txt-generator

    Les nettstedet ditt og få en ferdig llms.txt-fil for KI-assistenter: navnet på nettstedet, et kort sammendrag og de viktigste sidene dine, hver med én setning. Koden bygger og kontrollerer filen. Du laster den ned eller kopierer den.

  • Sjekk av KI-synlighet

    Finn ut hvor godt en side svarer på spørsmålene folk vanligvis stiller om emnet. KI-en foreslår spørsmålene og vurderer hvert svar med et nøyaktig sitat fra siden din. Koden sjekker sitatene og regner ut dekningen. Du ser også manglende svar og tips om FAQ-markup, llms.txt og robots.txt. Ingen løfter om rangering.

Alle verktøy →