Sådan henter Do4U websider

Do4U er en værktøjskasse til websteder. Nogle værktøjer læser en webside for at gøre deres arbejde. Det sker kun, når en kunde selv skriver adressen eller opsætter en jævnlig kontrol af egne sider. Vi crawler ikke nettet på egen hånd og bygger ikke noget søgeindeks.

Vores user agents

Do4U-Reader/1.0 (+https://do4u.eu): Læser én enkelt side, hvis adresse nogen har skrevet ind i et værktøj, f.eks. til webstedstjekket, tilgængelighedstjekket eller titel og beskrivelse. Læser også sitemaps til interne links.
Do4U-Check/1.0 (+https://do4u.eu/bot): Læser robots.txt, sitemap'et og yderligere sider fra det samme websted til llms.txt-generatoren (grænse pr. opgave: 8 sider).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Giver en kunde besked om, at en opgave er færdig, på en adresse, kunden har skrevet.

Hvor ofte

Én side pr. opgave. Kun llms.txt-generatoren læser flere sider, og så højst én forespørgsel i sekundet.
Sitemaps til interne links: højst én forespørgsel i sekundet pr. websted.
Jævnlige kontroller (webstedsovervågning) kun af sider, en kunde har skrevet, hver 30. dag.
Vi følger højst tre omdirigeringer og henter aldrig adresser i interne netværk.

robots.txt

llms.txt-generatoren følger robots.txt: den læser ikke sider, der er blokeret for Do4U-Check eller for alle crawlere. Den læser altid den forside, hvis adresse kunden har skrevet.

En enkelt side, hvis adresse nogen skriver direkte, læses, som en browser læser den, uden at spørge robots.txt.

Sådan blokerer du llms.txt-generatoren for hele dit websted:

User-agent: Do4U-Check
Disallow: /

Hvor forespørgslerne kommer fra

Forespørgslerne kommer fra vores egne servere i Polen, EU. Vi bruger det, vi læser, kun til den pågældende opgave og sletter det efter opbevaringsperioderne. Du finder dem i Trust Center.

Kontakt

Har du set en forespørgsel fra Do4U, der ser forkert ud? Vi undersøger det og svarer. Skriv venligst med dit websteds adresse og det omtrentlige tidspunkt til support@do4u.eu.