AI-crawlers in robots.txt

Do4U stelt de regels voor AI-crawlers in je robots.txt op. Je kiest per groep of per crawler: modeltraining en datasets, zoeken en antwoordindexering, en verzoeken op gebruikersverzoek. Elke crawler in de lijst komt met zijn operator, zijn doel en een link naar de documentatie van de operator. Als je je website invoert, leest Do4U je huidige robots.txt, laat zien welke AI-crawlers hij vandaag toestaat of blokkeert, en voegt een duidelijk gemarkeerde AI-sectie toe aan het einde. Je andere groepen en sitemap-regels blijven zoals ze zijn. De code leest vervolgens het nieuwe bestand opnieuw en controleert of elke crawler de regels heeft die jij hebt gekozen. Alles gebeurt in code, zonder AI, en het bestand wordt in je browser gemaakt.

Probeer het nu Prijzen

Gratis en zonder account: AI-crawler check voor robots.txt →

Voor wie het is

Voor website-eigenaren, bureaus en ontwikkelaars die willen beslissen welke AI-crawlers hun inhoud mogen gebruiken, zonder de regels te breken die ze al hebben.

Typische toepassingen

Blokkeer AI-trainingscrawlers en word nog steeds gevonden in AI-zoekopdrachten
Controleer welke AI-crawlers je robots.txt vandaag toestaat
Voeg een AI-sectie toe aan een bestaande robots.txt zonder regels te verliezen
Sta AI-crawlers alleen toe voor geselecteerde paden

Voorbeeld

Invoer

Website: https://example.com Huidige robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Keuze: training blokkeren, zoeken toestaan, gebruikersverzoeken toestaan

Result

GPTBot: geblokkeerd (eigen regels) → geblokkeerd ClaudeBot: gedeeltelijk geblokkeerd (regels voor iedereen) → geblokkeerd OAI-SearchBot: gedeeltelijk geblokkeerd (regels voor iedereen) → gedeeltelijk geblokkeerd (eigen regels, /admin/ blijft geblokkeerd) De regel voor alle crawlers en de sitemap-regel blijven ongewijzigd. De oude GPTBot-groep blijft als commentaar in het bestand staan, en de nieuwe AI-sectie wordt aan het einde toegevoegd.

Een vast voorbeeld, ingekort. Echte resultaten zijn door AI gegenereerd: controleer ze a.u.b.

Prijs en limieten

Prijs: gratis, zonder registratie
Beschikbaar met: Gratis, Met pakket
Inputlimiet: Tot 60 000 tekens per bestand

Privacy

Verwerkt op onze eigen servers in de EU (Polen). Inputs en resultaten worden verwijderd na 7 dagen (Gratis) of 30 dagen (pakketten), of direct nadat je het resultaat hebt bekeken als je ervoor kiest ze niet op te slaan. Afbeeldingen worden direct na verwerking verwijderd.

In de API

Toolnaam: ai_robots_txt. Maak een taak aan met POST /api/v1/jobs en haal het resultaat op met GET /api/v1/jobs/{id}. Je vindt je API-sleutel in je account.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Volledige API-documentatie →

Veelgestelde vragen

Stopt robots.txt echt AI-crawlers?

Geen enkel bestand kan een crawler dwingen. Het volgen van robots.txt is vrijwillig, en elke crawler beslist zelf of hij de regels naleeft. Sommige fetchers die handelen op verzoek van een gebruiker kunnen robots.txt negeren, zoals hun operators zeggen. Do4U markeert deze in de lijst.

Blijven mijn andere regels en mijn sitemap behouden?

Ja. Do4U behoudt alle andere groepen en alle sitemap-regels. Alleen regels die een crawler noemen waarover je nu beslist, worden commentaar, zodat oude en nieuwe regels niet door elkaar lopen. De AI-sectie is duidelijk gemarkeerd aan het einde van het bestand, en een tweede run vervangt deze.

Verwijdert het blokkeren van Google-Extended mijn site uit Google?

Nee. Google-Extended is geen crawler maar een token in robots.txt. Volgens Google reguleert het het gebruik van je inhoud voor Gemini-modellen en heeft het geen invloed op Google Search. Applebot-Extended werkt op een vergelijkbare manier voor Apple.

Wordt mijn tekst opgeslagen?

Alleen zo lang als nodig: 7 dagen op het gratis pakket, 30 dagen met een pakket – of helemaal niet als je ervoor kiest om het niet op te slaan. De verwerking vindt plaats op onze eigen servers in de EU (Polen).

Kan ik het resultaat direct gebruiken?

Resultaten zijn gegenereerd door AI. Lees ze alstublieft door voordat je ze publiceert of verstuurt.

Gerelateerde tools

llms.txt generator
Lees je website en krijg een kant-en-klaar llms.txt-bestand voor AI-assistenten: de naam van je website, een korte samenvatting en je belangrijkste pagina's, elk met één zin. De code maakt het bestand aan en controleert het; jij downloadt of kopieert het.
AI-zichtbaarheidstest
Ontdek hoe goed een pagina de vragen beantwoordt die mensen meestal stellen over het onderwerp. De AI stelt de vragen voor en beoordeelt elk antwoord met een exact citaat van je pagina; de code controleert de citaten en berekent de dekking. Je ziet ook ontbrekende antwoorden en tips voor FAQ-markup, llms.txt en robots.txt. Geen garantie op ranking.

Alle tools →