Персонализиран Robots.txt
& Конструктор на обхождане
Конфигурирайте директиви за обхождане, дефинирайте разрешения за достъп до търсачката, задайте пътища на XML карта на сайта и управлявайте скоростите на обхождане без усилие.
robots.txt изход
Готов за RFC 9309Създател на файлове с протокол за изключване на роботи в реално време
Основен синтаксис и правила на Robots.txt
Протоколът за изключване на роботи (REP) е стандарт RFC 9309, управляващ бюджетите за обхождане на търсачките и индексирането на пътя.
Семейство целеви краулери
Определя за кой робот се прилагат следните правила. „Потребителски агент: *“ е насочен към всички ботове, докато конкретни токени са насочени към отделни роботи.
Правила за достъп до пътя
„Disallow: /admin/“ спира съвместимите роботи от сканиране на папки. „Разрешаване: /“ предоставя изричен достъп до подресурси.
Ускоряване на индекса
Декларира абсолютния URL адрес на вашата XML карта на сайта, позволявайки на търсачките да открият всички индексируеми страници в структуриран манифест.
Ограничаване на скоростта на обхождане
Поддържа се от Bing и Yandex за предотвратяване на пикове на сървъра чрез налагане на пауза (в секунди) между последователни заявки за страници.
Роботите и скреперите за преглед на реклами игнорират robots.txt.
Приложете бронирано филтриране по ръбовете с Cloaker.net.
Докато търсачките уважават robots.txt, рецензентите на реклами (Meta, Google Ads, TikTok) и скейпърите игнорират текстовите директиви. Cloaker.net проверява хардуерни пръстови отпечатъци и TLS шифри на ръба за под 15 ms.
Често задавани въпроси
Често срещани технически въпроси относно директиви за обхождане, правила за забрана и защита от прикриване.
Файлът robots.txt е стандартен текстов файл, поставен в главната директория на уебсайт, който казва на роботите на търсачките и автоматизираните роботи до кои URL адреси могат или не могат да имат достъп на вашия сайт.
Не. Докато легитимните ботове на търсачките се подчиняват на robots.txt, роботите за преглед на реклами (Meta, TikTok, Google Ads) и злонамерените скрепери често пренебрегват директивите за забрана. Изисква се активно филтриране от страната на сървъра с Cloaker.net за блокиране на неоторизирани роботи.
Не е задължително. Забраната на URL адрес спира търсещите ботове да обхождат съдържанието му, но ако външни връзки сочат към този URL адрес, Google пак може да индексира самия URL адрес. За да сте сигурни, че дадена страница никога не се индексира, вместо това използвайте мета таг noindex.
Файлът robots.txt трябва да бъде качен в основната директория на домейна на вашия уебсайт (напр. https://example.com/robots.txt).
Работи безпроблемно с любимите ви рекламни мрежи, тракери и източници на трафик
Контролирайте трафика на робот в мащаб
Внедрете пренасочвания на границите под 15ms, филтрирайте бот рецензенти и защитете рекламните си кампании с Cloaker.net.
✓ Не се изисква кредитна карта за пробен период · ✓ Анулиране по всяко време · ✓ Латентност под милисекунда