Provjera AI crawlera za robots.txt
Zalijepi svoj robots.txt i vidi koje poznate AI crawlere dopušta ili blokira.
Radi u našem kôdu, bez AI-ja. Tvoj se tekst ne pohranjuje. Samo brojimo provjere po danu (prema IP adresi ili računu, hashirano) i brojač brišemo nakon nekoliko dana.