Hur Do4U hämtar webbsidor

Do4U är en verktygslåda för webbplatser. Vissa verktyg läser en webbsida för att kunna göra sitt jobb. Det sker bara när en kund själv anger adressen eller ställer in en regelbunden kontroll av sina egna sidor. Vi genomsöker inte webben på egen hand och bygger inget sökindex.

Våra user agents

Do4U-Reader/1.0 (+https://do4u.eu): Läser en enskild sida vars adress någon har angett i ett verktyg, till exempel för webbplatskontrollen, tillgänglighetskontrollen eller titel och beskrivning. Läser också sitemaps för interna länkar.
Do4U-Check/1.0 (+https://do4u.eu/bot): Läser robots.txt, sitemapen och fler sidor på samma webbplats för llms.txt-generatorn (gräns per uppgift: 8 sidor).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Talar om för en kund att en uppgift är klar, på en adress som kunden har angett.

Hur ofta

En sida per uppgift. Bara llms.txt-generatorn läser flera sidor, och då högst en förfrågan per sekund.
Sitemaps för interna länkar: högst en förfrågan per sekund och webbplats.
Regelbundna kontroller (webbplatsbevakning) bara för sidor som en kund har angett, var 30:e dag.
Vi följer högst tre omdirigeringar och hämtar aldrig adresser i interna nätverk.

robots.txt

llms.txt-generatorn följer robots.txt: den läser inte sidor som är blockerade för Do4U-Check eller för alla sökrobotar. Den läser alltid startsidan vars adress kunden angav.

En enskild sida vars adress någon anger direkt läses på samma sätt som en webbläsare läser den, utan att fråga robots.txt.

Så blockerar du llms.txt-generatorn för hela din webbplats:

User-agent: Do4U-Check
Disallow: /

Varifrån förfrågningarna kommer

Förfrågningarna kommer från våra egna servrar i Polen, EU. Vi använder det vi läser bara för den aktuella uppgiften och raderar det efter lagringstiderna. Du hittar dem i Trust Center.

Kontakt

Har du märkt en förfrågan från Do4U som ser fel ut? Vi tittar på det och svarar. Skriv med adressen till din webbplats och ungefärlig tidpunkt till support@do4u.eu.