AI-crawler-ellenőrzés robots.txt-hez
Illeszd be a robots.txt-det, és nézd meg, mely ismert AI-crawlereket enged vagy blokkol.
A kódunkban fut, MI nélkül. A szöveged nem kerül tárolásra. Csak az ellenőrzések napi számát tároljuk (IP-cím vagy fiók szerint, hash-elve), és a számlálót néhány nap után töröljük.