Tekoälyrobotit ja robots.txt: mitä voit hallita

Kolmenlaisia tekoälybotteja

Kaikki tekoälybotit eivät tee samaa työtä. Koulutusrobotit keräävät sisältöä, jota voidaan käyttää tekoälymallien kouluttamiseen. Hakurobotit rakentavat indeksin, josta tekoälyhaun toiminnot vastaavat kysymyksiin ja linkittävät lähteisiin. Käyttäjän puolesta hakevat botit avaavat sivun vain, kun käyttäjä kysyy jotain, mikä sitä edellyttää. Suuret toimijat käyttävät kullekin tehtävälle omaa tunnistetta, joten voit päättää tehtäväkohtaisesti. Esimerkiksi OpenAI kertoo, että sen asetukset ovat toisistaan riippumattomia: voit estää koulutuksen ja näkyä silti sen haussa.

Mitä tunnisteita on

30.10.2026 toimijat kuvaavat bottejaan näin:

• OpenAI: GPTBot kerää sisältöä, jota voidaan käyttää sen perusmallien kouluttamiseen, OAI-SearchBotia käytetään ChatGPT:n hakutoimintoihin, ja ChatGPT-User vierailee sivuilla käyttäjän käynnistämien toimintojen vuoksi. OpenAI kertoo, että robots.txt-säännöt eivät välttämättä koske tällaisia toimintoja.
• Anthropic: ClaudeBot kerää sisältöä, joka voisi auttaa sen mallien kouluttamisessa, Claude-SearchBot parantaa hakutuloksia, ja Claude-User hakee sivuja, kun käyttäjän kysymys sitä edellyttää. Anthropicin mukaan kaikki kolme noudattavat robots.txt-tiedostoa.
• Perplexity: PerplexityBot näyttää verkkosivustoja Perplexityn hakutuloksissa ja linkittää niihin, eikä sitä Perplexityn mukaan käytetä sisällön keräämiseen tekoälyn perusmalleja varten. Perplexity-User hakee sivuja käyttäjän pyynnöstä ja jättää Perplexityn mukaan robots.txt-tiedoston yleensä huomiotta.
• Google: Google-Extended ei ole erillinen robotti vaan robots.txt-tiedoston tunniste. Se ohjaa, saako Googlen keräämää sisältöä käyttää tulevien Gemini-mallien kouluttamiseen ja Geminin vastausten pohjana (grounding). Googlen mukaan se ei vaikuta mukaanottoon eikä sijoitukseen Google-haussa.
• Apple: myöskään Applebot-Extended ei indeksoi sivuja. Se ohjaa, saako Applebotin keräämiä tietoja käyttää Applen generatiivisten tekoälymallien kouluttamiseen. Sen estävät sivut voivat silti näkyä Applen hakutuloksissa.

Muut toimijat, kuten Common Crawl, Meta, Amazon ja DuckDuckGo, julkaisevat omat tunnisteensa. Nimet muuttuvat, joten tarkista toimijan dokumentaatio.

Miten säännöt toimivat

• Tiedosto sijaitsee palvelimen juuressa, esimerkiksi https://example.com/robots.txt, ja koskee vain kyseistä protokollaa, palvelinta ja porttia.
• Säännöt ovat ryhmissä User-agent-rivien alla. Googlen mukaan robotti noudattaa vain tarkinta ryhmää, joka vastaa sitä. Jos jokin ryhmä nimeää sen, kaikkien robottien ryhmä (*) ei enää koske sitä.
• Agenttien nimissä isoilla ja pienillä kirjaimilla ei ole merkitystä. Ryhmän sisällä pisin vastaava sääntö voittaa; jos allow ja disallow ovat yhtä tarkkoja, Google käyttää allow-sääntöä.
• Google lukee tiedostosta enintään 500 KiB. Jos robots.txt vastaa muulla 4xx-tilalla kuin 429, Google käsittelee sivustoa ikään kuin tiedostoa ei olisi, joten kaiken saa indeksoida.

User-agent: *
Disallow: /admin/

User-agent: GPTBot
User-agent: ClaudeBot
User-agent: Google-Extended
Disallow: /

User-agent: OAI-SearchBot
User-agent: Claude-SearchBot
User-agent: PerplexityBot
Disallow: /admin/

Sitemap: https://example.com/sitemap.xml

Tässä esimerkissä kolmen toimijan koulutusbotit eivät saa hakea mitään, hakurobotit saavat hakea kaiken paitsi /admin/, ja kaikki muut robotit noudattavat ensimmäistä ryhmää. Hakurobottien kohdalla Disallow: /admin/ toistetaan, koska *-ryhmän säännöt eivät enää koske niitä.

Mitä estäminen tarkoittaa näkyvyydellesi

Jokainen ryhmä vaikuttaa erilaiseen näkyvyyteen. Jos estät koulutusrobotin, pyydät sen ylläpitäjää olemaan käyttämättä sisältöäsi koulutukseen; esimerkiksi Anthropic kuvaa ClaudeBotin estämisen signaaliksi tulevaa materiaalia varten. Jos estät hakurobotin, sivusi eivät ehkä näy kyseisen toimijan tekoälyhaussa. OpenAI kertoo, että OAI-SearchBotin estäviä sivustoja ei näytetä ChatGPT:n hakuvastauksissa, mutta ne voivat silti näkyä navigointilinkkeinä. Jos estät käyttäjän puolesta hakevat botit, sääntöä noudattavat avustajat eivät voi avata sivuasi, kun joku kysyy siitä.

Google on erikoistapaus. Google-Extendedin estäminen ei poista sivustoasi Google-hausta. AI Overviews ja AI Mode ovat osa Google-hakua: Googlen mukaan sivun on oltava indeksoitu ja kelvollinen näytettäväksi tekstikatkelman kanssa, eikä erityisiä tiedostoja tai merkintöjä tarvita. Rajoittaakseen sitä, mitä Google näyttää sivulta, Google mainitsee nosnippet-, data-nosnippet-, max-snippet- ja noindex-ohjeet. Ne koskevat hakua kokonaisuutena, eivät vain tekoälytoimintoja.

robots.txt ja llms.txt

Tiedostoilla on eri tehtävät. robots.txt kertoo, mitä automaattista käyttöä hyväksyt. llms.txt on ehdotus Markdown-tiedostoksi, joka antaa tekoälyavustajille lyhyen yleiskuvan tärkeimmistä sivuistasi, lähinnä sillä hetkellä, kun joku esittää kysymyksen; llms.txt-oppaamme selittää muodon. llmstxt.org-sivuston mukaan llms.txt voi täydentää robots.txt-tiedostoa antamalla kontekstia sallitulle sisällölle, mutta se ei korvaa sitä. Päätä pääsystä ensin robots.txt-tiedostossa.

Järkevä järjestys

1. 1Päätä ryhmäkohtaisesti, mitä haluat: koulutus, tekoälyhaku ja käyttäjän haut. Yksi mahdollinen valinta: estä koulutus, salli haku ja käyttäjän haut.
2. 2Lue nykyinen robots.txt-tiedostosi: mitä ryhmiä siinä on ja mitä kaikkien robottien ryhmä estää.
3. 3Lisää ryhmä jokaista päätöstä varten ja toista ne *-ryhmän säännöt, joiden pitäisi edelleen olla voimassa.
4. 4Avaa julkaisemisen jälkeen /robots.txt selaimessa ja tarkista tiedosto.
5. 5Tarkista luettelosi aika ajoin. Toimijat lisäävät, nimeävät uudelleen ja poistavat botteja.

Rakenna sääntösi Do4U:lla

Tekoälyrobotit robots.txt-tiedostossa -työkalu ylläpitää luetteloa tekoälyroboteista toimijan, tarkoituksen ja dokumentaatiolinkin kera kolmessa ryhmässä: mallien koulutus, haku ja käyttäjän pyynnöstä tehtävät haut. Valitset ryhmä- tai robottikohtaisesti: salli, estä tai jätä ennalleen, halutessasi valituille poluille. Jos syötät verkkosivustosi, Do4U lukee robots.txt-tiedostosi, näyttää jokaisen tekoälyrobotin tilan ennen ja jälkeen ja lisää loppuun merkityn tekoälyosion. Muut ryhmäsi ja sitemap-rivisi pysyvät ennallaan. Hakijat, joiden ylläpitäjät sanovat voivansa jättää robots.txt-tiedoston huomiotta, merkitään. Koodi tarkistaa sitten uuden tiedoston uudelleen. Työkalu toimii ilman tekoälyä ja on ilmainen.

Do4U laatii luonnoksen, sinä tarkistat ja päätät. robots.txt on edelleen pyyntö: sitä, noudattaako robotti sitä, Do4U ei pysty tarkistamaan.