Пользовательский файл Robots.txt
и конструктор сканеров

Настраивайте директивы сканера, определяйте разрешения доступа к поисковым системам, указывайте пути к XML-карте сайта и легко управляйте скоростью сканирования.

Пресеты:

Вывод файла robots.txt

RFC 9309 готов

Создатель файлов протокола исключения роботов в реальном времени

Форматированный текст директивы
utf-8 plain text
Загрузите в корневой каталог: /robots.txt. Создать XML-карту сайта →
Директивная телеметрия
Стандарт протокола: RFC 9309 / REP
Корневой путь к файлу: /robots.txt
Статус поискового сканера: Стандартное индексирование
Ссылка на директиву

Основной синтаксис и правила файла Robots.txt

Протокол исключения роботов (REP) — это стандарт RFC 9309, регулирующий бюджет сканирования поисковыми системами и индексацию путей.

User-agent Directive

Семейство целевых гусениц

Определяет, к какому сканеру применяются следующие правила. «User-agent: *» нацелен на всех ботов, а определенные токены нацелены на отдельных сканеров.

Запретить и разрешить

Правила доступа к пути

«Disallow: /admin/» не дает совместимым сканерам очищать папки. «Разрешить: /» предоставляет явный доступ к подресурсам.

Декларация карты сайта

Индексное ускорение

Объявляет абсолютный URL-адрес вашей XML-карты сайта, позволяя поисковым системам обнаруживать все индексируемые страницы в структурированном манифесте.

Правило задержки сканирования

Ограничение скорости сканирования

Поддерживается Bing и Яндексом для предотвращения скачков нагрузки на сервере за счет установления паузы (в секундах) между последовательными запросами страниц.

Активная защита гусеницы

Боты и парсеры для проверки рекламы игнорируют robots.txt.
Усильте надежную фильтрацию с помощью Cloaker.net.

В то время как поисковые системы уважают robots.txt, рецензенты рекламы (Meta, Google Ads, TikTok) и парсеры игнорируют текстовые директивы. Cloaker.net проверяет аппаратные отпечатки пальцев и шифры TLS на периферии менее чем за 15 мс.

Активный перехват ботов и рецензентов
Перенаправление фронта с одним прыжком менее 15 мс
Предварительно отфильтрованные мета и подписи Google
Динамическая маршрутизация страны, устройства и ASN
Начать бесплатную пробную версию Мгновенная установка · Настройка без кода
Поддержка и руководство

Часто задаваемые вопросы

Общие технические вопросы о директивах сканера, правилах запрета и защите от маскировки.

Что такое файл robots.txt?

Файл robots.txt — это стандартный текстовый файл, размещенный в корневом каталоге веб-сайта, который сообщает роботам поисковых систем и автоматическим сканерам, к каким URL-адресам они могут или не могут получить доступ на вашем сайте.

Защищает ли файл robots.txt партнерские воронки от сканеров, просматривающих рекламу?

Нет. В то время как законные боты поисковых систем подчиняются robots.txt, сканеры проверки рекламы (Meta, TikTok, Google Ads) и вредоносные парсеры часто игнорируют запретительные директивы. Активная пограничная фильтрация на стороне сервера с помощью Cloaker.net необходима для блокировки неавторизованных сканеров.

Препятствует ли правило запрета в robots.txt индексированию страницы?

Не обязательно. Запрет URL-адреса не позволяет поисковым роботам сканировать его контент, но если внешние ссылки указывают на этот URL-адрес, Google все равно может проиндексировать сам URL-адрес. Чтобы страница никогда не индексировалась, используйте вместо нее метатег noindex.

Куда следует загрузить файл robots.txt?

Файл robots.txt необходимо загрузить в корневой каталог домена вашего сайта (например, https://example.com/robots.txt).

Беспрепятственно работает с вашими любимыми рекламными сетями, трекерами и источниками трафика.

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Контролируйте трафик сканеров в любом масштабе

Развертывайте пограничные перенаправления менее 15 мс, фильтруйте рецензентов ботов и защитите свои рекламные кампании с помощью Cloaker.net.

✓ Для пробной версии кредитная карта не требуется  ·  ✓ Отмена в любое время  ·  ✓ Задержка составляет доли миллисекунды