AI crawlers και robots.txt: τι μπορείς να ελέγξεις

Τρία είδη bots ΤΝ

Δεν κάνει κάθε bot ΤΝ την ίδια δουλειά. Οι crawlers εκπαίδευσης συλλέγουν περιεχόμενο που μπορεί να χρησιμοποιηθεί για την εκπαίδευση μοντέλων ΤΝ. Οι crawlers αναζήτησης φτιάχνουν ένα ευρετήριο από το οποίο οι λειτουργίες αναζήτησης με ΤΝ απαντούν σε ερωτήσεις και παραπέμπουν σε πηγές. Οι μηχανισμοί ανάκτησης για χρήστες ανοίγουν μια σελίδα μόνο όταν ένας χρήστης ρωτά κάτι που τη χρειάζεται. Οι μεγάλοι πάροχοι χρησιμοποιούν ξεχωριστό token για κάθε δουλειά, οπότε μπορείς να αποφασίζεις ανά δουλειά. Η OpenAI, για παράδειγμα, γράφει ότι οι ρυθμίσεις της είναι ανεξάρτητες: μπορείς να αποκλείσεις την εκπαίδευση και να εμφανίζεσαι ακόμη στην αναζήτησή της.

Ποια tokens υπάρχουν

Στις 30 Οκτωβρίου 2026 οι πάροχοι περιγράφουν τα bots τους ως εξής:

• OpenAI: το GPTBot συλλέγει περιεχόμενο που μπορεί να χρησιμοποιηθεί για την εκπαίδευση των βασικών μοντέλων της, το OAI-SearchBot χρησιμοποιείται για τις λειτουργίες αναζήτησης του ChatGPT και το ChatGPT-User επισκέπτεται σελίδες για ενέργειες που ξεκινά ένας χρήστης. Η OpenAI γράφει ότι οι κανόνες του robots.txt μπορεί να μην ισχύουν για τέτοιες ενέργειες.
• Anthropic: το ClaudeBot συλλέγει περιεχόμενο που θα μπορούσε να βοηθήσει στην εκπαίδευση των μοντέλων της, το Claude-SearchBot βελτιώνει τα αποτελέσματα αναζήτησης και το Claude-User ανακτά σελίδες όταν το απαιτεί μια ερώτηση χρήστη. Σύμφωνα με την Anthropic, και τα τρία σέβονται το robots.txt.
• Perplexity: το PerplexityBot δείχνει και συνδέει ιστότοπους στα αποτελέσματα αναζήτησης του Perplexity και, σύμφωνα με την Perplexity, δεν χρησιμοποιείται για τη συλλογή περιεχομένου για βασικά μοντέλα ΤΝ. Το Perplexity-User ανακτά σελίδες όταν ρωτά ένας χρήστης και, όπως γράφει η Perplexity, γενικά αγνοεί το robots.txt.
• Google: το Google-Extended δεν είναι ξεχωριστός crawler αλλά token στο robots.txt. Ελέγχει αν το περιεχόμενο που ανιχνεύει η Google μπορεί να χρησιμοποιηθεί για την εκπαίδευση μελλοντικών μοντέλων Gemini και για τη θεμελίωση (grounding) στο Gemini. Σύμφωνα με την Google, δεν επηρεάζει τη συμπερίληψη ή την κατάταξη στην Αναζήτηση Google.
• Apple: ούτε το Applebot-Extended ανιχνεύει σελίδες. Ελέγχει αν τα δεδομένα που συλλέγει το Applebot μπορούν να χρησιμοποιηθούν για την εκπαίδευση των μοντέλων γενετικής ΤΝ της Apple. Σελίδες που το αποκλείουν μπορούν ακόμη να εμφανίζονται στα αποτελέσματα αναζήτησης της Apple.

Άλλοι πάροχοι, όπως το Common Crawl, η Meta, η Amazon και το DuckDuckGo, δημοσιεύουν τα δικά τους tokens. Τα ονόματα αλλάζουν, γι' αυτό έλεγξε την τεκμηρίωση του παρόχου.

Πώς λειτουργούν οι κανόνες

• Το αρχείο βρίσκεται στη ρίζα του host, όπως https://example.com/robots.txt, και ισχύει μόνο για αυτό το πρωτόκολλο, τον host και τη θύρα.
• Οι κανόνες βρίσκονται σε ομάδες κάτω από γραμμές User-agent. Σύμφωνα με την Google, ένας crawler ακολουθεί μόνο την πιο συγκεκριμένη ομάδα που του ταιριάζει. Αν μια ομάδα τον κατονομάζει, η ομάδα για όλους τους crawlers (*) δεν ισχύει πια για αυτόν.
• Τα ονόματα των agents δεν κάνουν διάκριση πεζών-κεφαλαίων. Μέσα σε μια ομάδα κερδίζει ο μακρύτερος κανόνας που ταιριάζει· αν allow και disallow είναι εξίσου συγκεκριμένοι, η Google χρησιμοποιεί το allow.
• Η Google διαβάζει το πολύ 500 KiB του αρχείου. Αν το robots.txt απαντά με κατάσταση 4xx εκτός από 429, η Google αντιμετωπίζει τον ιστότοπο σαν να μην υπήρχε αρχείο, οπότε όλα μπορούν να ανιχνευτούν.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Σε αυτό το παράδειγμα τα bots εκπαίδευσης τριών παρόχων δεν μπορούν να ανακτήσουν τίποτα, οι crawlers αναζήτησης μπορούν να ανακτήσουν τα πάντα εκτός από το /admin/ και όλοι οι άλλοι crawlers ακολουθούν την πρώτη ομάδα. Οι crawlers αναζήτησης επαναλαμβάνουν το Disallow: /admin/ επειδή οι κανόνες για το * δεν ισχύουν πια για αυτούς.

Τι σημαίνει ο αποκλεισμός για την ορατότητά σου

Κάθε ομάδα επηρεάζει διαφορετικό είδος ορατότητας. Αν αποκλείσεις έναν crawler εκπαίδευσης, ζητάς από τον πάροχό του να μη χρησιμοποιεί το περιεχόμενό σου για εκπαίδευση· η Anthropic, για παράδειγμα, περιγράφει τον αποκλεισμό του ClaudeBot ως σήμα για μελλοντικό υλικό. Αν αποκλείσεις έναν crawler αναζήτησης, οι σελίδες σου μπορεί να μην εμφανίζονται στην αναζήτηση με ΤΝ αυτού του παρόχου. Η OpenAI γράφει ότι οι ιστότοποι που αποκλείουν το OAI-SearchBot δεν εμφανίζονται στις απαντήσεις αναζήτησης του ChatGPT, αλλά μπορεί ακόμη να εμφανίζονται ως σύνδεσμοι πλοήγησης. Αν αποκλείσεις τους μηχανισμούς ανάκτησης για χρήστες, οι βοηθοί που σέβονται τον κανόνα δεν μπορούν να ανοίξουν τη σελίδα σου όταν κάποιος ρωτά γι' αυτήν.

Η Google είναι ειδική περίπτωση. Ο αποκλεισμός του Google-Extended δεν αφαιρεί τον ιστότοπό σου από την Αναζήτηση Google. Οι Επισκοπήσεις AI και η Λειτουργία AI είναι μέρος της Αναζήτησης Google: σύμφωνα με την Google, μια σελίδα πρέπει να είναι ευρετηριασμένη και επιλέξιμη για εμφάνιση με απόσπασμα, και δεν χρειάζονται ειδικά αρχεία ή σήμανση. Για να περιορίσεις τι δείχνει η Google από μια σελίδα, η Google αναφέρει τα nosnippet, data-nosnippet, max-snippet και noindex. Αυτά ισχύουν για την Αναζήτηση συνολικά, όχι μόνο για τις λειτουργίες AI.

robots.txt και llms.txt

Τα δύο αρχεία κάνουν διαφορετικές δουλειές. Το robots.txt λέει ποια αυτόματη πρόσβαση δέχεσαι. Το llms.txt είναι πρόταση για ένα αρχείο Markdown που δίνει στους βοηθούς ΤΝ μια σύντομη επισκόπηση των σημαντικότερων σελίδων σου, κυρίως τη στιγμή που κάποιος κάνει μια ερώτηση· ο οδηγός μας για το llms.txt εξηγεί τη μορφή. Σύμφωνα με το llmstxt.org, το llms.txt μπορεί να συμπληρώνει το robots.txt δίνοντας πλαίσιο για περιεχόμενο που επιτρέπεται, αλλά δεν το αντικαθιστά. Αποφάσισε πρώτα την πρόσβαση στο robots.txt.

Μια λογική σειρά

1. 1Αποφάσισε ανά ομάδα τι θέλεις: εκπαίδευση, αναζήτηση AI και ανακτήσεις για χρήστες. Μια πιθανή επιλογή: αποκλεισμός της εκπαίδευσης, άδεια για αναζήτηση και ανακτήσεις για χρήστες.
2. 2Διάβασε το τρέχον robots.txt σου: ποιες ομάδες υπάρχουν και τι αποκλείει η ομάδα για όλους τους crawlers.
3. 3Πρόσθεσε μια ομάδα για κάθε απόφαση και επανάλαβε τους κανόνες της ομάδας * που πρέπει να εξακολουθούν να ισχύουν.
4. 4Μετά τη δημοσίευση, άνοιξε το /robots.txt στον φυλλομετρητή και έλεγξε το αρχείο.
5. 5Ξανακοίτα τη λίστα σου κάθε τόσο. Οι πάροχοι προσθέτουν, μετονομάζουν και αποσύρουν bots.

Φτιάξε τους κανόνες σου με το Do4U

Το εργαλείο AI crawlers στο robots.txt διατηρεί μια λίστα με AI crawlers, με πάροχο, σκοπό και σύνδεσμο προς την τεκμηρίωση, σε τρεις ομάδες: εκπαίδευση μοντέλων, αναζήτηση και ανακτήσεις κατόπιν αιτήματος χρήστη. Επιλέγεις ανά ομάδα ή ανά crawler: άδεια, αποκλεισμός ή καμία αλλαγή, προαιρετικά για επιλεγμένες διαδρομές. Αν δώσεις τον ιστότοπό σου, το Do4U διαβάζει το robots.txt σου, δείχνει για κάθε AI crawler την κατάσταση πριν και μετά και προσθέτει μια σημειωμένη ενότητα AI στο τέλος. Οι άλλες ομάδες σου και οι γραμμές sitemap μένουν όπως είναι. Οι μηχανισμοί ανάκτησης των οποίων οι πάροχοι λένε ότι μπορεί να αγνοούν το robots.txt επισημαίνονται. Ο κώδικας ελέγχει μετά ξανά το νέο αρχείο. Λειτουργεί χωρίς ΤΝ και είναι δωρεάν.

Το Do4U φτιάχνει το προσχέδιο, εσύ ελέγχεις και αποφασίζεις. Το robots.txt παραμένει αίτημα: αν ένας crawler το ακολουθεί, το Do4U δεν μπορεί να το ελέγξει.