Slik henter Do4U nettsider

Do4U er en verktøykasse for nettsteder. Noen verktøy leser en nettside for å gjøre jobben sin. Det skjer bare når en kunde selv skriver inn adressen eller setter opp en jevnlig kontroll av egne sider. Vi crawler ikke nettet på egen hånd, og vi bygger ingen søkeindeks.

Våre brukeragenter

Do4U-Reader/1.0 (+https://do4u.eu): Leser én enkelt side som noen har skrevet inn adressen til i et verktøy, for eksempel i nettstedskontrollen, tilgjengelighetskontrollen eller tittel og beskrivelse. Leser også områdekart for interne lenker.
Do4U-Check/1.0 (+https://do4u.eu/bot): Leser robots.txt, områdekartet og flere sider fra samme nettsted for llms.txt-generatoren (grense per oppgave: 8 sider).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Gir en kunde beskjed om at en oppgave er ferdig, på en adresse kunden har skrevet inn.

Hvor ofte

Én side per oppgave. Bare llms.txt-generatoren leser flere sider, og da høyst én forespørsel per sekund.
Områdekart for interne lenker: høyst én forespørsel per sekund per nettsted.
Jevnlige kontroller (nettstedsovervåking) bare for sider en kunde har lagt inn, hver 30. dag.
Vi følger høyst tre omdirigeringer og henter aldri adresser i interne nettverk.

robots.txt

llms.txt-generatoren følger robots.txt: den leser ikke sider som er blokkert for Do4U-Check eller for alle crawlere. Den leser alltid forsiden som kunden skrev inn adressen til.

En enkelt side som noen skriver inn adressen til direkte, leses slik en nettleser leser den, uten å spørre robots.txt.

Slik blokkerer du llms.txt-generatoren for hele nettstedet ditt:

User-agent: Do4U-Check
Disallow: /

Hvor forespørslene kommer fra

Forespørslene kommer fra våre egne servere i Polen, EU. Vi bruker det vi leser bare til den aktuelle oppgaven, og sletter det etter lagringstidene. Du finner dem i Trust Center.

Kontakt

Har du lagt merke til en forespørsel fra Do4U som ser feil ut? Vi ser på den og svarer deg. Skriv med adressen til nettstedet ditt og omtrent når det skjedde, til support@do4u.eu.