Tekoälyrobotit robots.txt-tiedostossa

Do4U rakentaa robots.txt-tiedostoosi säännöt tekoälyroboteille. Valitset ryhmittäin tai roboteittain: mallien koulutus ja aineistot, haku- ja vastausindeksi sekä käyttäjän pyynnöstä tehtävät haut. Jokaisen luettelon robotin kohdalla näkyy sen ylläpitäjä, tarkoitus ja linkki ylläpitäjän dokumentaatioon. Jos syötät verkkosivustosi, Do4U lukee nykyisen robots.txt-tiedostosi, näyttää, mitkä tekoälyrobotit se tällä hetkellä sallii tai estää, ja lisää loppuun selvästi merkityn tekoälyosion. Muut ryhmäsi ja sivustokarttarivisi pysyvät ennallaan. Sen jälkeen koodi lukee uuden tiedoston uudelleen ja tarkistaa, että jokaisella robotilla on valitsemasi säännöt. Kaikki tapahtuu koodilla, ilman tekoälyä, ja tiedosto luodaan selaimessasi.

Kokeile nyt Hinnat

Ilmaiseksi ja ilman tiliä: Tekoälyrobottien tarkistus robots.txt-tiedostolle →

Kenelle

Verkkosivustojen omistajille, toimistoille ja kehittäjille, jotka haluavat päättää, mitkä tekoälyrobotit saavat käyttää heidän sisältöään, rikkomatta jo olemassa olevia sääntöjä.

Tyypilliset käyttötavat

Estä tekoälyn koulutusrobotit ja löydy silti tekoälyhausta
Tarkista, mitkä tekoälyrobotit robots.txt-tiedostosi tällä hetkellä sallii
Lisää tekoälyosio olemassa olevaan robots.txt-tiedostoon menettämättä sääntöjä
Salli tekoälyrobotit vain valituille poluille

Esimerkki

Syöte

Verkkosivusto: https://example.com Nykyinen robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Valinta: estä koulutus, salli haku, salli käyttäjän pyytämät haut

Tulos

GPTBot: estetty (omat säännöt) → estetty ClaudeBot: osittain estetty (säännöt kaikille) → estetty OAI-SearchBot: osittain estetty (säännöt kaikille) → osittain estetty (omat säännöt, /admin/ pysyy estettynä) Kaikkia robotteja koskeva sääntö ja sivustokarttarivi pysyvät ennallaan. Vanha GPTBot-ryhmä jää tiedostoon kommenttina, ja uusi tekoälyosio lisätään loppuun.

Kiinteä, lyhennetty esimerkki. Todelliset tulokset on tuottanut tekoäly: tarkista ne.

Hinta ja rajat

Hinta: ilmainen, ilman rekisteröitymistä
Saatavilla paketilla: Ilmainen, Paketilla
Syötteen raja: Enintään 60 000 merkkiä tiedostoa kohden

Tietosuoja

Käsitellään omilla palvelimillamme EU:ssa (Puola). Syötteet ja tulokset poistetaan 7 päivän (Ilmainen) tai 30 päivän (paketit) kuluttua tai heti tuloksen näkemisen jälkeen, jos valitset, ettei niitä tallenneta. Kuvat poistetaan heti käsittelyn jälkeen.

API:ssa

Työkalun nimi: ai_robots_txt. Luo työ kutsulla POST /api/v1/jobs ja hae tulos kutsulla GET /api/v1/jobs/{id}. Löydät API-avaimesi tililtäsi.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Täydellinen API-dokumentaatio →

Kysymykset ja vastaukset

Pysäyttääkö robots.txt todella tekoälyrobotit?

Mikään tiedosto ei voi pakottaa robottia. robots.txt-tiedoston noudattaminen on vapaaehtoista, ja jokainen robotti päättää itse, noudattaako se sääntöjä. Jotkin käyttäjän pyynnöstä toimivat hakijat voivat ylläpitäjiensä mukaan ohittaa robots.txt-tiedoston. Do4U merkitsee ne luetteloon.

Säilyvätkö muut sääntöni ja sivustokarttani?

Kyllä. Do4U säilyttää kaikki muut ryhmät ja kaikki sivustokarttarivit. Vain rivit, jotka nimeävät robotin, josta nyt päätät, muutetaan kommenteiksi, jotta vanhat ja uudet säännöt eivät sekoitu. Tekoälyosio on selvästi merkitty tiedoston loppuun, ja toinen ajo korvaa sen.

Poistaako Google-Extendedin estäminen sivustoni Googlesta?

Ei. Google-Extended ei ole robotti vaan robots.txt-tiedoston tunniste. Googlen mukaan se ohjaa sisältösi käyttöä Gemini-malleissa eikä vaikuta Google-hakuun. Applebot-Extended toimii samaan tapaan Applen osalta.

Tallennetaanko tekstini?

Vain niin kauan kuin on tarpeen: 7 päivää Free-tasolla ja 30 päivää paketin kanssa – tai ei lainkaan, jos valitset, ettei tekstiä tallenneta. Käsittely tapahtuu omilla palvelimillamme EU:ssa (Puolassa).

Voinko käyttää tulosta heti?

Tulokset ovat tekoälyn tuottamia. Lue ne ennen kuin julkaiset tai lähetät ne.

Liittyvät työkalut

llms.txt-generaattori
Lue verkkosivustosi ja saat valmiin llms.txt-tiedoston tekoälyavustajille: sivustosi nimi, lyhyt yhteenveto ja tärkeimmät sivusi, kukin yhden lauseen kuvauksella. Koodi rakentaa ja tarkistaa tiedoston; sinä lataat tai kopioit sen.
Tekoälynäkyvyyden tarkistus
Selvitä, kuinka hyvin sivu vastaa kysymyksiin, joita ihmiset tyypillisesti esittävät sen aiheesta. Tekoäly ehdottaa kysymykset ja arvioi jokaisen vastauksen sivultasi otetulla tarkalla lainauksella; koodi tarkistaa lainaukset ja laskee kattavuuden. Näet myös puuttuvat vastaukset sekä vinkkejä UKK-merkintöihin, llms.txt-tiedostoon ja robots.txt-tiedostoon. Ei lupausta sijoituksesta.

Kaikki työkalut →