Roboty AI w robots.txt

Do4U tworzy reguły dla robotów AI w twoim robots.txt. Wybierasz dla każdej grupy lub każdego robota: trenowanie modeli i zbiory danych, wyszukiwanie i indeks odpowiedzi oraz pobrania na prośbę użytkownika. Przy każdym robocie na liście jest operator, cel i link do dokumentacji operatora. Jeśli podasz swoją stronę, Do4U odczyta twój obecny robots.txt, pokaże, które roboty AI dziś dopuszcza lub blokuje, i doda na końcu wyraźnie oznaczoną sekcję AI. Twoje pozostałe grupy i wiersze z mapą strony zostają bez zmian. Potem kod jeszcze raz odczytuje nowy plik i sprawdza, czy każdy robot ma wybrane reguły. Wszystko dzieje się w kodzie, bez AI, a plik powstaje w twojej przeglądarce.

Wypróbuj teraz Cennik

Za darmo i bez konta: Test robotów AI w robots.txt →

Dla kogo

Dla właścicieli stron, agencji i programistów, którzy chcą zdecydować, które roboty AI mogą korzystać z ich treści, bez psucia istniejących reguł.

Typowe zastosowania

Zablokuj roboty trenujące AI i nadal bądź widoczny w wyszukiwaniu AI
Sprawdź, które roboty AI twój robots.txt dziś dopuszcza
Dodaj sekcję AI do istniejącego robots.txt bez utraty reguł
Dopuść roboty AI tylko do wybranych ścieżek

Przykład

Dane wejściowe

Strona: https://example.com Obecny robots.txt: User-agent: * Disallow: /admin/ User-agent: GPTBot Disallow: / Sitemap: https://example.com/sitemap.xml Wybór: blokuj trenowanie, zezwól na wyszukiwanie, zezwól na pobrania użytkowników

Wynik

GPTBot: zablokowany (własne reguły) → zablokowany ClaudeBot: częściowo zablokowany (reguły dla wszystkich) → zablokowany OAI-SearchBot: częściowo zablokowany (reguły dla wszystkich) → częściowo zablokowany (własne reguły, /admin/ zostaje zablokowane) Reguła dla wszystkich robotów i wiersz z mapą strony zostają bez zmian. Stara grupa GPTBot zostaje w pliku jako komentarz, a nowa sekcja AI trafia na koniec.

Stały przykład, skrócony. Prawdziwe wyniki są generowane przez AI: sprawdź je.

Cena i limity

Cena: za darmo, bez rejestracji
Dostępne w: Free, Z pakietem
Limit danych wejściowych: Do 60 000 znaków na plik

Ochrona danych

Przetwarzane na własnych serwerach w UE (w Polsce). Dane wejściowe i wyniki usuwamy po 7 dniach (Free) lub 30 dniach (pakiety) – albo zaraz po wyświetleniu, jeśli wyłączysz zapisywanie. Obrazy usuwamy zaraz po przetworzeniu.

W API

Nazwa narzędzia: ai_robots_txt. Utwórz zadanie przez POST /api/v1/jobs i pobierz wynik przez GET /api/v1/jobs/{id}. Klucz API znajdziesz na swoim koncie.

curl -X POST https://do4u.eu/api/v1/jobs \
  -H "Authorization: Bearer d4u_…" -H "Content-Type: application/json" \
  -d '{"tool": "ai_robots_txt", "site_url": "https://example.com", "groups": {"training": "block", "search": "allow", "user": "allow"}}'

Pełna dokumentacja API →

Pytania i odpowiedzi

Czy robots.txt naprawdę zatrzymuje roboty AI?

Żaden plik nie zmusi robota. Przestrzeganie robots.txt jest dobrowolne i każdy robot sam decyduje, czy stosuje się do reguł. Niektóre pobrania na prośbę użytkownika mogą według ich operatorów pomijać robots.txt. Do4U oznacza je na liście.

Czy moje pozostałe reguły i mapa strony zostaną zachowane?

Tak. Do4U zachowuje wszystkie pozostałe grupy i wszystkie wiersze z mapą strony. Komentarzem stają się tylko wiersze, które wskazują robota, o którym teraz decydujesz, aby stare i nowe reguły się nie mieszały. Sekcja AI jest wyraźnie oznaczona na końcu pliku, a kolejne uruchomienie ją zastępuje.

Czy zablokowanie Google-Extended usuwa moją stronę z Google?

Nie. Google-Extended to nie robot, tylko token w robots.txt. Według Google decyduje o użyciu twoich treści dla modeli Gemini i nie wpływa na wyszukiwarkę Google. Applebot-Extended działa podobnie dla Apple.

Czy mój tekst jest przechowywany?

Tylko tak długo, jak trzeba: 7 dni w Free, 30 dni z pakietem – albo wcale, jeśli wyłączysz zapisywanie. Przetwarzanie odbywa się na własnych serwerach w UE (w Polsce).

Czy mogę od razu użyć wyniku?

Wyniki są generowane przez AI. Przeczytaj je, zanim je opublikujesz lub wyślesz.

Powiązane narzędzia

Generator llms.txt
Wczytaj swoją stronę i otrzymaj gotowy plik llms.txt dla asystentów AI: nazwę strony, krótkie streszczenie i najważniejsze podstrony, każdą z jednym zdaniem. Kod buduje i sprawdza plik, a ty go pobierasz lub kopiujesz.
Sprawdzenie widoczności dla AI
Dowiedz się, jak dobrze strona odpowiada na pytania, które ludzie zwykle zadają na jej temat. AI proponuje pytania i potwierdza każdą odpowiedź dokładnym cytatem z twojej strony; kod sprawdza cytaty i liczy pokrycie. Widzisz też brakujące odpowiedzi oraz wskazówki dotyczące znaczników FAQ, llms.txt i robots.txt. Bez obietnic dotyczących pozycji.

Wszystkie narzędzia →