Користувацький файл Robots.txt
і Конструктор сканера
Налаштуйте директиви сканера, визначте дозволи на доступ до пошукової системи, укажіть шляхи XML-карт сайту та легко керуйте швидкістю сканування.
Вихід robots.txt
Готовий RFC 9309Конструктор файлів протоколу виключення роботів у реальному часі
Основний синтаксис і правила Robots.txt
Протокол виключення роботів (REP) — це стандарт RFC 9309, який регулює бюджети сканування пошукових систем та індексацію шляху.
Цільове сімейство сканерів
Визначає, до якого сканера застосовуються наступні правила. «Агент користувача: *» націлений на всіх ботів, тоді як конкретні маркери націлені на окремих сканерів.
Правила доступу до шляху
'Disallow: /admin/' не дозволяє сумісним сканерам чистити папки. 'Allow: /' надає явний доступ до підресурсів.
Індекс прискорення
Оголошує абсолютну URL-адресу вашої XML-карти сайту, що дозволяє пошуковим системам знаходити всі сторінки, які можна індексувати, у структурованому маніфесті.
Обмеження швидкості сканування
Підтримується Bing і Yandex для запобігання стрибкам на сервері шляхом встановлення паузи (у секундах) між послідовними запитами сторінок.
Роботи та програми для перегляду оголошень ігнорують robots.txt.
Застосуйте куленепробивну фільтрацію країв за допомогою Cloaker.net.
Хоча пошукові системи поважають robots.txt, рецензенти оголошень (Meta, Google Ads, TikTok) і скребки ігнорують текстові директиви. Cloaker.net перевіряє апаратні відбитки пальців і шифри TLS на межі менш ніж за 15 мс.
Часті запитання
Поширені технічні запитання щодо директив сканера, правил заборони та захисту від маскування.
Файл robots.txt — це стандартний текстовий файл, розміщений у кореневому каталозі веб-сайту, який повідомляє роботам пошукових систем і автоматизованим сканерам, до яких URL-адрес на вашому сайті вони можуть або не можуть отримати доступ.
Ні. У той час як законні пошукові роботи підкоряються robots.txt, сканери перегляду оголошень (Meta, TikTok, Google Ads) і зловмисники часто ігнорують директиви заборони. Для блокування неавторизованих сканерів потрібна активна гранична фільтрація на стороні сервера за допомогою Cloaker.net.
Не обов'язково. Заборона URL-адреси не дозволяє пошуковим роботам сканувати її вміст, але якщо зовнішні посилання вказують на цю URL-адресу, Google все одно може проіндексувати саму URL-адресу. Щоб переконатися, що сторінка ніколи не індексується, замість цього використовуйте метатег noindex.
Файл robots.txt потрібно завантажити в кореневий каталог домену вашого веб-сайту (наприклад, https://example.com/robots.txt).
Бездоганно працює з вашими улюбленими рекламними мережами, трекерами та джерелами трафіку
Контролюйте трафік сканера в масштабі
Розгортайте перенаправлення по краях менше 15 мс, фільтруйте рецензентів-ботів і захищайте свої рекламні кампанії за допомогою Cloaker.net.
✓ Для пробної версії кредитна картка не потрібна · ✓ Скасувати будь-коли · ✓ Затримка до мілісекунди