AI crawlers στο robots.txt

Αποφάσισε ποιοι crawlers ΤΝ μπορούν να επισκέπτονται τον ιστότοπό σου: για εκπαίδευση μοντέλων, για αναζήτηση με ΤΝ και για ανακτήσεις κατόπιν αιτήματος χρήστη. Το Do4U ενσωματώνει τους κανόνες στο robots.txt σου χωρίς να αγγίζει τους άλλους κανόνες σου. Δωρεάν, χωρίς ΤΝ.

Είσοδος

Ιστότοπος: https://example.com Τρέχον robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Επιλογή: αποκλεισμός εκπαίδευσης, επιτρέπεται η αναζήτηση, επιτρέπονται οι ανακτήσε…

Αποτέλεσμα

Το Do4U φτιάχνει τους κανόνες για τους crawlers ΤΝ στο robots.txt σου. Επιλέγεις ανά ομάδα ή ανά crawler: εκπαίδευση μοντέλων και σύνολα δεδομένων, ευρετήριο αναζήτησης και απαντήσεων και ανακτήσεις κατόπιν αιτήματος χρήστη. Κάθε crawler της λίστας συνοδεύεται από τον φορέα λειτουργίας του, τον σκοπό του και σύνδεσμο προς την τεκμηρίωση του φορέα. Αν γράψεις τον ιστότοπό σου, το Do4U διαβάζει το τρέχον robots.txt σου, δείχνει ποιους crawlers ΤΝ επιτρέπει ή αποκλείει σήμερα και προσθέτει στο τέλος μια σαφώς επισημασμένη ενότητα ΤΝ. Οι άλλες ομάδες σου και οι γραμμές sitemap μένουν ως έχουν. Έπειτα ο κώδικας διαβάζει ξανά το νέο αρχείο και ελέγχει ότι κάθε crawler έχει τους κανόνες που επέλεξες. Όλα γίνονται με κώδικα, χωρίς ΤΝ, και το αρχείο δημιουργείται στο πρόγραμμα περιήγησής σου.

Τα κείμενα, οι σελίδες και οι εικόνες σου επεξεργάζονται στους δικούς μας διακομιστές στην ΕΕ. Κέντρο εμπιστοσύνης

Δοκίμασέ το τώρα Τιμές

Δωρεάν και χωρίς λογαριασμό: Έλεγχος AI crawlers για robots.txt →

Για ποιον είναι

Για ιδιοκτήτες ιστότοπων, γραφεία και προγραμματιστές που θέλουν να αποφασίσουν ποιοι crawlers ΤΝ μπορούν να χρησιμοποιούν το περιεχόμενό τους, χωρίς να χαλάσουν τους κανόνες που ήδη έχουν.

Τυπικές χρήσεις

Απέκλεισε τους crawlers εκπαίδευσης ΤΝ και συνέχισε να εμφανίζεσαι στην αναζήτηση με ΤΝ
Έλεγξε ποιους crawlers ΤΝ επιτρέπει σήμερα το robots.txt σου
Πρόσθεσε μια ενότητα ΤΝ σε υπάρχον robots.txt χωρίς να χάσεις κανόνες
Επίτρεψε στους crawlers ΤΝ μόνο επιλεγμένες διαδρομές

Παράδειγμα

Είσοδος

Αποτέλεσμα

GPTBot: αποκλείεται (δικοί του κανόνες) → αποκλείεται ClaudeBot: αποκλείεται εν μέρει (κανόνες για όλους) → αποκλείεται OAI-SearchBot: αποκλείεται εν μέρει (κανόνες για όλους) → αποκλείεται εν μέρει (δικοί του κανόνες, το /admin/ μένει αποκλεισμένο) Ο κανόνας για όλους τους crawlers και η γραμμή sitemap μένουν αμετάβλητοι. Η παλιά ομάδα GPTBot μένει στο αρχείο ως σχόλιο και η νέα ενότητα ΤΝ προστίθεται στο τέλος.

Ένα σταθερό παράδειγμα, συντομευμένο. Τα πραγματικά αποτελέσματα δημιουργούνται από AI: έλεγξέ τα.

Τιμή και όρια

Τιμή: δωρεάν, με δωρεάν λογαριασμό
Διαθέσιμο με: Free, Με πακέτο
Όριο εισόδου: Έως 60 000 χαρακτήρες ανά αρχείο

Απόρρητο

Επεξεργασία στους δικούς μας διακομιστές στην ΕΕ (Πολωνία). Οι είσοδοι και τα αποτελέσματα διαγράφονται μετά από 7 ημέρες (Free) ή 30 ημέρες (πακέτα), ή αμέσως αφού δεις το αποτέλεσμα αν επιλέξεις να μην αποθηκευτούν. Οι εικόνες διαγράφονται αμέσως μετά την επεξεργασία.

Στο API

Όνομα εργαλείου: ai_robots_txt. Δημιούργησε μια εργασία με POST /api/v1/jobs και πάρε το αποτέλεσμα με GET /api/v1/jobs/{id}. Το κλειδί API σου θα το βρεις στον λογαριασμό σου.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Πλήρης τεκμηρίωση API →

Ερωτήσεις και απαντήσεις

Σταματά πραγματικά το robots.txt τους crawlers ΤΝ;

Κανένα αρχείο δεν μπορεί να εξαναγκάσει έναν crawler. Η τήρηση του robots.txt είναι εθελοντική και κάθε crawler αποφασίζει μόνος του αν θα ακολουθήσει τους κανόνες. Κάποιοι fetchers που ενεργούν κατόπιν αιτήματος χρήστη μπορεί να αγνοούν το robots.txt, όπως λένε οι φορείς τους. Το Do4U τους επισημαίνει στη λίστα.

Θα διατηρηθούν οι άλλοι κανόνες μου και το sitemap μου;

Ναι. Το Do4U διατηρεί όλες τις άλλες ομάδες και όλες τις γραμμές sitemap. Μόνο οι γραμμές που αναφέρουν crawler για τον οποίο αποφασίζεις τώρα γίνονται σχόλια, ώστε να μην αναμειγνύονται παλιοί και νέοι κανόνες. Η ενότητα ΤΝ επισημαίνεται σαφώς στο τέλος του αρχείου και μια δεύτερη εκτέλεση την αντικαθιστά.

Αφαιρεί ο αποκλεισμός του Google-Extended τον ιστότοπό μου από την Google;

Όχι. Το Google-Extended δεν είναι crawler αλλά ένα token στο robots.txt. Σύμφωνα με την Google, ελέγχει τη χρήση του περιεχομένου σου για τα μοντέλα Gemini και δεν επηρεάζει την Αναζήτηση Google. Το Applebot-Extended λειτουργεί με παρόμοιο τρόπο για την Apple.

Αποθηκεύεται το κείμενό μου;

Μόνο για όσο χρειάζεται: 7 ημέρες στο Free, 30 ημέρες με πακέτο – ή καθόλου, αν επιλέξεις να μην αποθηκεύεται. Η επεξεργασία γίνεται στους δικούς μας διακομιστές στην ΕΕ (Πολωνία).

Μπορώ να χρησιμοποιήσω το αποτέλεσμα αμέσως;

Τα αποτελέσματα δημιουργούνται από AI. Διάβασέ τα πριν τα δημοσιεύσεις ή τα στείλεις.

Σχετικά εργαλεία

Δημιουργία llms.txt
Διάβασε τον ιστότοπό σου και πάρε ένα έτοιμο αρχείο llms.txt για βοηθούς ΤΝ: το όνομα του ιστότοπού σου, μια σύντομη περίληψη και οι σημαντικότερες σελίδες σου, η καθεμία με μία πρόταση. Ο κώδικας δημιουργεί και ελέγχει το αρχείο· εσύ το κατεβάζεις ή το αντιγράφεις.
Έλεγχος ορατότητας στην ΤΝ
Δες πόσο καλά απαντά μια σελίδα στις ερωτήσεις που κάνουν συνήθως οι άνθρωποι για το θέμα της. Η ΤΝ προτείνει τις ερωτήσεις και βαθμολογεί κάθε απάντηση με ακριβή παράθεση από τη σελίδα σου· ο κώδικας ελέγχει τις παραθέσεις και υπολογίζει την κάλυψη. Βλέπεις επίσης απαντήσεις που λείπουν και υποδείξεις για τη σήμανση Συχνών ερωτήσεων, το llms.txt και το robots.txt. Καμία υπόσχεση κατάταξης.

Όλα τα εργαλεία →