Come Do4U recupera le pagine web

Do4U è una cassetta degli attrezzi per i siti web. Alcuni strumenti leggono una pagina web per svolgere il proprio lavoro. Questo accade solo quando un cliente inserisce l'indirizzo personalmente o imposta un controllo regolare delle proprie pagine. Non scansioniamo il web autonomamente e non costruiamo un indice di ricerca.

I nostri user agent

Do4U-Reader/1.0 (+https://do4u.eu): Legge una singola pagina il cui indirizzo è stato inserito in uno strumento, ad esempio per il controllo del sito web, il controllo dell'accessibilità o titolo e descrizione. Legge anche le sitemap per i link interni.
Do4U-Check/1.0 (+https://do4u.eu/bot): Legge robots.txt, la sitemap e altre pagine dello stesso sito web per il generatore llms.txt (limite per task: 8 pagine).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Informa un cliente che un task è terminato, all'indirizzo inserito dal cliente.

Con quale frequenza

Una pagina per task. Solo il generatore llms.txt legge diverse pagine, e in quel caso al massimo una richiesta al secondo.
Sitemap per link interni: al massimo una richiesta al secondo per sito web.
Controlli regolari (monitoraggio sito web) solo per le pagine inserite da un cliente, ogni 30 giorni.
Seguiamo al massimo tre reindirizzamenti e non recuperiamo mai indirizzi in reti interne.

robots.txt

Il generatore llms.txt segue robots.txt: non legge le pagine bloccate per Do4U-Check o per tutti i crawler. Legge sempre la pagina iniziale il cui indirizzo è stato inserito dal cliente.

Una singola pagina il cui indirizzo viene inserito direttamente viene letta come la leggerebbe un browser, senza chiedere a robots.txt.

Per bloccare il generatore llms.txt per tutto il tuo sito web:

User-agent: Do4U-Check
Disallow: /

Da dove provengono le richieste

Le richieste provengono dai nostri server in Polonia, UE. Usiamo ciò che leggiamo solo per il task in questione e lo cancelliamo dopo i periodi di conservazione. Puoi trovarli in Centro per la fiducia.

Contatti

Hai notato una richiesta da Do4U che sembra errata? Indagheremo e risponderemo. Per favore, scrivi indicando l'indirizzo del tuo sito web e l'orario approssimativo a support@do4u.eu.