Прилагођени Роботс.ткт <бр> <спан цласс="хигхлигхт-маркер">& Цравлер Буилдер

Конфигуришите директиве пописивача, дефинишите дозволе за приступ претраживачу, одредите путање КСМЛ мапе сајта и управљајте стопама индексирања без напора.

Унапред подешене вредности:

роботс.ткт Излаз

РФЦ 9309 Спреман

Креатор датотека протокола за искључење робота у реалном времену

Форматирани текст директиве
utf-8 plain text
Отпремите у основни директоријум: /роботс.ткт Креирајте КСМЛ Ситемап →
Директива телеметрија
Стандард протокола: RFC 9309 / REP
Путања до основног фајла: /robots.txt
Статус пописивача претраге: Стандардно индексирање
Референца директиве

Синтакса и правила Цоре Роботс.ткт

Протокол за искључење робота (РЕП) је стандард РФЦ 9309 који регулише буџете претраживања претраживача и индексирање путања.

User-agent Directive

Таргет Цравлер Фамили

Дефинише на који пописивач се примењују следећа правила. „Кориснички агент: *“ циља на све ботове, док специфични токени циљају на појединачне пописиваче.

Дисаллов & Аллов

Правила приступа путањи

'Дисаллов: /админ/' зауставља усаглашене пописиваче да скраћују фасцикле. 'Дозволи: /' даје експлицитан приступ подресурсима.

Ситемап декларација

Индек Аццелератион

Декларише апсолутни УРЛ ваше КСМЛ мапе сајта, омогућавајући претраживачима да открију све странице које се могу индексирати у структурираном манифесту.

Правило одлагања пузања

Ограничавање брзине индексирања

Подржано од Бинг-а и Иандек-а како би се спречиле скокове сервера применом паузе (у секундама) између узастопних захтева за страницу.

Активна одбрана пузеча

Ботови за преглед огласа и стругачи игноришу роботс.ткт. <бр> <спан цласс="тект-стоне-500">Примени филтрирање ивица отпорних на метке помоћу Цлоакер.нет.

Док претраживачи поштују роботс.ткт, рецензенти огласа (Мета, Гоогле Адс, ТикТок) и стругачи игноришу текстуалне директиве. Цлоакер.нет проверава хардверске отиске прстију и ТЛС шифре на ивици за мање од 15 мс.

Активно пресретање бота и рецензента
Суб-15мс Сингле-Хоп Едге Редирецтион
Претходно филтрирани мета и Гоогле потписи
Динамичко рутирање земље, уређаја и АСН-а
Започните бесплатну пробну верзију Инстант Сетуп · Зеро Цоде Сетуп
Подршка и упутства

Често постављана питања

Уобичајена техничка питања о директивама пописивача, забрањеним правилима и одбрани прикривања.

Шта је датотека роботс.ткт?

Датотека роботс.ткт је стандардна текстуална датотека смештена у основни директоријум веб локације која говори роботима претраживача и аутоматизованим пописивачима којим УРЛ-овима могу или не могу приступити на вашој веб локацији.

Да ли роботс.ткт штити токове продаје партнера од пописивача за преглед огласа?

Не. Док легитимни ботови претраживача поштују роботс.ткт, пописивачи за преглед огласа (Мета, ТикТок, Гоогле Адс) и злонамерни скрапери често занемарују директиве о забрани. Активно филтрирање ивица на страни сервера са Цлоакер.нет је потребно да би се блокирали неовлашћени претраживачи.

Да ли правило забране у роботс.ткт спречава индексирање странице?

Није нужно. Онемогућавање УРЛ-а спречава ботове за претрагу да пописују његов садржај, али ако спољне везе упућују на ту УРЛ адресу, Гоогле и даље може да индексира саму УРЛ адресу. Да бисте били сигурни да страница никада није индексирана, користите мета ознаку ноиндек.

Где треба да се отпреми датотека роботс.ткт?

Датотека роботс.ткт мора да се отпреми у основни директоријум домена ваше веб локације (нпр. хттпс://екампле.цом/роботс.ткт).

Беспрекорно ради са вашим омиљеним огласним мрежама, уређајима за праћење и изворима саобраћаја

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Контролишите саобраћај у обиму

Примените ивична преусмеравања испод 15 мс, филтрирајте прегледнике ботова и заштитите своје огласне кампање помоћу Цлоакер.нет.

✓ Кредитна картица није потребна за пробни период  ·  ✓ Откажите било када  ·  ✓ Кашњење испод милисекунде