Πώς το Do4U φορτώνει ιστοσελίδες

Οι user agents μας

Do4U-Reader/1.0 (+https://do4u.eu)

Διαβάζει μία σελίδα της οποίας τη διεύθυνση έγραψε κάποιος σε ένα εργαλείο, για παράδειγμα για τον έλεγχο ιστότοπου, τον έλεγχο προσβασιμότητας ή τον τίτλο και την περιγραφή. Διαβάζει επίσης sitemap για εσωτερικούς συνδέσμους.

Do4U-Check/1.0 (+https://do4u.eu/bot)

Διαβάζει το robots.txt, το sitemap και περισσότερες σελίδες του ίδιου ιστότοπου για τη δημιουργία llms.txt (όριο ανά εργασία: 8 σελίδες).

Do4U-Webhook/1.0 (+https://do4u.eu/bot)

Ειδοποιεί έναν πελάτη ότι μια εργασία ολοκληρώθηκε, σε διεύθυνση που έγραψε ο πελάτης.

Πόσο συχνά

• Μία σελίδα ανά εργασία. Μόνο η δημιουργία llms.txt διαβάζει περισσότερες σελίδες, και τότε το πολύ ένα αίτημα το δευτερόλεπτο.
• Sitemap για εσωτερικούς συνδέσμους: το πολύ ένα αίτημα το δευτερόλεπτο ανά ιστότοπο.
• Τακτικοί έλεγχοι (παρακολούθηση ιστότοπου) μόνο για σελίδες που έγραψε ο πελάτης, κάθε 30 ημέρες.
• Ακολουθούμε το πολύ τρεις ανακατευθύνσεις και δεν φορτώνουμε ποτέ διευθύνσεις σε εσωτερικά δίκτυα.

robots.txt

Η δημιουργία llms.txt ακολουθεί το robots.txt: δεν διαβάζει σελίδες που είναι μπλοκαρισμένες για το Do4U-Check ή για όλους τους crawlers. Διαβάζει πάντα την αρχική σελίδα της οποίας τη διεύθυνση έγραψε ο πελάτης.

Μία μεμονωμένη σελίδα της οποίας τη διεύθυνση γράφει κάποιος απευθείας διαβάζεται όπως τη διαβάζει ένας περιηγητής, χωρίς να ρωτηθεί το robots.txt.

Για να μπλοκάρεις τη δημιουργία llms.txt σε ολόκληρο τον ιστότοπό σου:

User-agent: Do4U-Check
Disallow: /