Jak Do4U pobiera strony internetowe

Do4U to zestaw narzędzi dla stron internetowych. Niektóre narzędzia czytają w tym celu stronę. Dzieje się to tylko wtedy, gdy klientka lub klient sam wpisze adres albo ustawi regularne sprawdzanie własnych stron. Nie przeszukujemy sieci na własną rękę i nie budujemy indeksu wyszukiwania.

Nasze identyfikatory (User-Agent)

Do4U-Reader/1.0 (+https://do4u.eu): Czyta jedną stronę, której adres ktoś wpisał w narzędzie, na przykład do sprawdzenia strony, sprawdzenia dostępności albo tytułu i opisu. Czyta też mapy stron do linkowania wewnętrznego.
Do4U-Check/1.0 (+https://do4u.eu/bot): Czyta dla generatora llms.txt plik robots.txt, mapę strony i kolejne strony tej samej witryny (limit na zadanie: 8).
Do4U-Webhook/1.0 (+https://do4u.eu/bot): Informuje klientkę, że zadanie jest gotowe, pod adresem, który sama podała.

Jak często

Jedna strona na zadanie. Tylko generator llms.txt czyta kilka stron, wtedy najwyżej jedno zapytanie na sekundę.
Mapy stron do linkowania wewnętrznego: najwyżej jedno zapytanie na sekundę na witrynę.
Regularne sprawdzanie (strażnik strony) tylko dla stron, które klientka sama wpisała, co 30 dni.
Podążamy za najwyżej trzema przekierowaniami i nigdy nie pobieramy adresów z sieci wewnętrznych.

robots.txt

Generator llms.txt przestrzega robots.txt: nie czyta stron zablokowanych dla Do4U-Check ani dla wszystkich robotów. Stronę główną, której adres wpisała klientka, czyta zawsze.

Pojedynczą stronę, której adres ktoś wpisuje bezpośrednio, czytamy tak jak przeglądarka, bez pytania robots.txt.

Tak zablokujesz generator llms.txt dla całej swojej witryny:

User-agent: Do4U-Check
Disallow: /

Skąd pochodzą zapytania

Zapytania pochodzą z naszych własnych serwerów w Polsce, UE. To, co przeczytamy, wykorzystujemy tylko do danego zadania i usuwamy po upływie terminów przechowywania. Terminy znajdziesz w dziale Centrum zaufania.

Kontakt

Widzisz zapytanie od Do4U, które wygląda nie tak? Sprawdzimy to i odpowiemy. Napisz do nas, podając adres swojej strony i przybliżoną godzinę, na adres support@do4u.eu.