Персонализиран Robots.txt
& Конструктор на обхождане

Конфигурирайте директиви за обхождане, дефинирайте разрешения за достъп до търсачката, задайте пътища на XML карта на сайта и управлявайте скоростите на обхождане без усилие.

Предварителни настройки:

robots.txt изход

Готов за RFC 9309

Създател на файлове с протокол за изключване на роботи в реално време

Форматиран текст на директива
utf-8 plain text
Качете в основната директория: /robots.txt Създайте XML карта на сайта →
Директивна телеметрия
Стандартен протокол: RFC 9309 / REP
Основен път на файла: /robots.txt
Състояние на робот за търсене: Стандартно индексиране
Препратка към директива

Основен синтаксис и правила на Robots.txt

Протоколът за изключване на роботи (REP) е стандарт RFC 9309, управляващ бюджетите за обхождане на търсачките и индексирането на пътя.

User-agent Directive

Семейство целеви краулери

Определя за кой робот се прилагат следните правила. „Потребителски агент: *“ е насочен към всички ботове, докато конкретни токени са насочени към отделни роботи.

Забрани & Разреши

Правила за достъп до пътя

„Disallow: /admin/“ спира съвместимите роботи от сканиране на папки. „Разрешаване: /“ предоставя изричен достъп до подресурси.

Декларация за карта на сайта

Ускоряване на индекса

Декларира абсолютния URL адрес на вашата XML карта на сайта, позволявайки на търсачките да открият всички индексируеми страници в структуриран манифест.

Правило за забавяне на обхождане

Ограничаване на скоростта на обхождане

Поддържа се от Bing и Yandex за предотвратяване на пикове на сървъра чрез налагане на пауза (в секунди) между последователни заявки за страници.

Активна краулер защита

Роботите и скреперите за преглед на реклами игнорират robots.txt.
Приложете бронирано филтриране по ръбовете с Cloaker.net.

Докато търсачките уважават robots.txt, рецензентите на реклами (Meta, Google Ads, TikTok) и скейпърите игнорират текстовите директиви. Cloaker.net проверява хардуерни пръстови отпечатъци и TLS шифри на ръба за под 15 ms.

Активно прихващане на бот и рецензент
Под-15ms Single-Hop Edge Пренасочване
Предварително филтрирани мета и Google подписи
Динамично маршрутизиране на държави, устройства и ASN
Започнете безплатен пробен период Незабавна настройка · Настройка на нулев код
Поддръжка и насоки

Често задавани въпроси

Често срещани технически въпроси относно директиви за обхождане, правила за забрана и защита от прикриване.

Какво е файл robots.txt?

Файлът robots.txt е стандартен текстов файл, поставен в главната директория на уебсайт, който казва на роботите на търсачките и автоматизираните роботи до кои URL адреси могат или не могат да имат достъп на вашия сайт.

Роботите.txt защитават ли партньорските фунии от роботите за преглед на реклами?

Не. Докато легитимните ботове на търсачките се подчиняват на robots.txt, роботите за преглед на реклами (Meta, TikTok, Google Ads) и злонамерените скрепери често пренебрегват директивите за забрана. Изисква се активно филтриране от страната на сървъра с Cloaker.net за блокиране на неоторизирани роботи.

Правило за забрана в robots.txt предотвратява ли индексирането на страница?

Не е задължително. Забраната на URL адрес спира търсещите ботове да обхождат съдържанието му, но ако външни връзки сочат към този URL адрес, Google пак може да индексира самия URL адрес. За да сте сигурни, че дадена страница никога не се индексира, вместо това използвайте мета таг noindex.

Къде трябва да се качи файлът robots.txt?

Файлът robots.txt трябва да бъде качен в основната директория на домейна на вашия уебсайт (напр. https://example.com/robots.txt).

Работи безпроблемно с любимите ви рекламни мрежи, тракери и източници на трафик

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Контролирайте трафика на робот в мащаб

Внедрете пренасочвания на границите под 15ms, филтрирайте бот рецензенти и защитете рекламните си кампании с Cloaker.net.

✓ Не се изисква кредитна карта за пробен период  ·  ✓ Анулиране по всяко време  ·  ✓ Латентност под милисекунда