Hoe Do4U webpagina's ophaalt

Do4U is een gereedschapskist voor websites. Sommige tools lezen een webpagina om hun werk te doen. Dit gebeurt alleen wanneer een klant zelf het adres invoert of een regelmatige controle van de eigen pagina's instelt. Wij crawlen niet zelf het web en we bouwen geen zoekindex op.

Onze user agents

Do4U-Reader/1.0 (+https://do4u.eu): Leest een enkele pagina waarvan iemand het adres in een tool heeft ingevoerd, bijvoorbeeld voor de websitecheck, de toegankelijkheidscheck of titel en beschrijving. Leest ook sitemaps voor interne links.
Do4U-Check/1.0 (+https://do4u.eu/bot): Leest robots.txt, de sitemap en verdere pagina's van dezelfde website voor de llms.txt-generator (limiet per taak: 8 pagina's).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Vertelt een klant dat een taak is voltooid, op een adres dat de klant heeft ingevoerd.

Hoe vaak

Eén pagina per taak. Alleen de llms.txt-generator leest meerdere pagina's, en dan maximaal één verzoek per seconde.
Sitemaps voor interne links: maximaal één verzoek per seconde per website.
Regelmatige controles (website watch) alleen voor pagina's die een klant heeft ingevoerd, elke 30 dagen.
We volgen maximaal drie redirects en halen nooit adressen op in interne netwerken.

robots.txt

De llms.txt-generator volgt robots.txt: hij leest geen pagina's die geblokkeerd zijn voor Do4U-Check of voor alle crawlers. Hij leest altijd de startpagina waarvan de klant het adres heeft ingevoerd.

Een enkele pagina waarvan iemand het adres rechtstreeks invoert, wordt gelezen zoals een browser dat doet, zonder naar robots.txt te vragen.

Om de llms.txt-generator voor je hele website te blokkeren:

User-agent: Do4U-Check
Disallow: /

Waar de verzoeken vandaan komen

De verzoeken komen van onze eigen servers in Polen, EU. We gebruiken wat we lezen alleen voor de betreffende taak en verwijderen het na de bewaartermijnen. Je kunt ze vinden in de Trust Center.

Contact

Heb je een verzoek van Do4U gezien dat er verkeerd uitziet? We zullen het onderzoeken en reageren. Schrijf alstublieft naar het adres van je website en vermeld de geschatte tijd naar support@do4u.eu.