Користувацький файл Robots.txt
і Конструктор сканера

Налаштуйте директиви сканера, визначте дозволи на доступ до пошукової системи, укажіть шляхи XML-карт сайту та легко керуйте швидкістю сканування.

Попередні налаштування:

Вихід robots.txt

Готовий RFC 9309

Конструктор файлів протоколу виключення роботів у реальному часі

Відформатований текст директиви
utf-8 plain text
Завантажте в кореневий каталог: /robots.txt Створити XML карту сайту →
Директивна телеметрія
Стандарт протоколу: RFC 9309 / REP
Кореневий шлях до файлу: /robots.txt
Статус сканера пошуку: Стандартна індексація
Посилання на директиву

Основний синтаксис і правила Robots.txt

Протокол виключення роботів (REP) — це стандарт RFC 9309, який регулює бюджети сканування пошукових систем та індексацію шляху.

User-agent Directive

Цільове сімейство сканерів

Визначає, до якого сканера застосовуються наступні правила. «Агент користувача: *» націлений на всіх ботів, тоді як конкретні маркери націлені на окремих сканерів.

Заборонити та дозволити

Правила доступу до шляху

'Disallow: /admin/' не дозволяє сумісним сканерам чистити папки. 'Allow: /' надає явний доступ до підресурсів.

Декларація карти сайту

Індекс прискорення

Оголошує абсолютну URL-адресу вашої XML-карти сайту, що дозволяє пошуковим системам знаходити всі сторінки, які можна індексувати, у структурованому маніфесті.

Правило сканування-затримки

Обмеження швидкості сканування

Підтримується Bing і Yandex для запобігання стрибкам на сервері шляхом встановлення паузи (у секундах) між послідовними запитами сторінок.

Активний гусеничний захист

Роботи та програми для перегляду оголошень ігнорують robots.txt.
Застосуйте куленепробивну фільтрацію країв за допомогою Cloaker.net.

Хоча пошукові системи поважають robots.txt, рецензенти оголошень (Meta, Google Ads, TikTok) і скребки ігнорують текстові директиви. Cloaker.net перевіряє апаратні відбитки пальців і шифри TLS на межі менш ніж за 15 мс.

Активне перехоплення ботів і рецензентів
Перенаправлення краю за один стрибок менше 15 мс
Попередньо відфільтровані мета та підписи Google
Динамічна маршрутизація країни, пристрою та ASN
Почніть безкоштовну пробну версію Миттєве налаштування · Налаштування нульового коду
Підтримка та керівництво

Часті запитання

Поширені технічні запитання щодо директив сканера, правил заборони та захисту від маскування.

Що таке файл robots.txt?

Файл robots.txt — це стандартний текстовий файл, розміщений у кореневому каталозі веб-сайту, який повідомляє роботам пошукових систем і автоматизованим сканерам, до яких URL-адрес на вашому сайті вони можуть або не можуть отримати доступ.

Чи захищає robots.txt афілійовані воронки від сканерів перегляду оголошень?

Ні. У той час як законні пошукові роботи підкоряються robots.txt, сканери перегляду оголошень (Meta, TikTok, Google Ads) і зловмисники часто ігнорують директиви заборони. Для блокування неавторизованих сканерів потрібна активна гранична фільтрація на стороні сервера за допомогою Cloaker.net.

Чи забороняє правило заборони в robots.txt перешкоджати індексуванню сторінки?

Не обов'язково. Заборона URL-адреси не дозволяє пошуковим роботам сканувати її вміст, але якщо зовнішні посилання вказують на цю URL-адресу, Google все одно може проіндексувати саму URL-адресу. Щоб переконатися, що сторінка ніколи не індексується, замість цього використовуйте метатег noindex.

Куди слід завантажити файл robots.txt?

Файл robots.txt потрібно завантажити в кореневий каталог домену вашого веб-сайту (наприклад, https://example.com/robots.txt).

Бездоганно працює з вашими улюбленими рекламними мережами, трекерами та джерелами трафіку

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Контролюйте трафік сканера в масштабі

Розгортайте перенаправлення по краях менше 15 мс, фільтруйте рецензентів-ботів і захищайте свої рекламні кампанії за допомогою Cloaker.net.

✓ Для пробної версії кредитна картка не потрібна  ·  ✓ Скасувати будь-коли  ·  ✓ Затримка до мілісекунди