Арнаулы Robots.txt
және Crawler Builder

Тексеру директиваларын конфигурациялаңыз, іздеу жүйесіне кіру рұқсаттарын анықтаңыз, XML сайт картасының жолдарын көрсетіңіз және тексеріп шығу жылдамдығын оңай басқарыңыз.

Алдын ала орнатулар:

robots.txt шығысы

RFC 9309 дайын

Нақты уақыттағы Robots Exclusion Protocol файл құрастырушы

Пішімделген директивалық мәтін
utf-8 plain text
Түбірлік каталогқа жүктеп салу: /robots.txt XML сайт картасын жасау →
Директивалық телеметрия
Протокол стандарты: RFC 9309 / REP
Түбірлік файл жолы: /robots.txt
Іздеу сканерінің күйі: Стандартты индекстеу
Директивалық анықтама

Негізгі Robots.txt синтаксисі және ережелері

Robots Exclusion Protocol (REP) - іздеу жүйесінің тексеріп шығу бюджеттері мен жолды индекстеуді басқаратын RFC 9309 стандарты.

User-agent Directive

Мақсатты тексерушілер отбасы

Төмендегі ережелер қай тексеріп шығушыға қолданылатынын анықтайды. 'User-агент: *' барлық боттарға бағытталған, ал арнайы таңбалауыштар жеке тексеріп шығушыларға бағытталған.

Рұқсат ету және рұқсат беру

Жолға кіру ережелері

'Рұқсат етпеу: /admin/' үйлесімді тексеріп шығушылардың қалталарды қыруын тоқтатады. "Рұқсат ету: /" ішкі ресурстарға нақты рұқсат береді.

Сайт картасы декларациясы

Индекс жеделдету

Іздеу жүйелеріне құрылымдық манифесттегі барлық индекстелетін беттерді табуға мүмкіндік беретін XML сайт картасының абсолютті URL мекенжайын жариялайды.

Тексеру-кідірту ережесі

Тексеру жылдамдығын шектеу

Bing және Яндекс арқылы жүйелі бет сұраулары арасында үзіліс (секундпен) енгізу арқылы сервердің жоғарылауының алдын алу үшін қолдау көрсетіледі.

Белсенді Crawler қорғанысы

Жарнаманы шолу боттары мен қырғыштар robots.txt файлын елемейді.
Cloaker.net арқылы оқ өткізбейтін жиектерді сүзуді күшейтіңіз.

Іздеу жүйелері robots.txt-ті құрметтесе, жарнаманы шолушылар (Meta, Google Ads, TikTok) және скреперлер мәтіндік директиваларды елемейді. Cloaker.net аппараттық саусақ іздері мен TLS шифрларын шетінде 15 мс-тен аз уақыт ішінде тексереді.

Белсенді бот пен шолушыны ұстап алу
15 мс кіші бір рет секіру жиегін қайта бағыттау
Алдын ала сүзгіден өткен мета және Google қолтаңбалары
Динамикалық ел, құрылғы және ASN бағыттау
Тегін сынақ нұсқасын бастаңыз Жылдам орнату · Нөлдік кодты орнату
Қолдау және нұсқау

Жиі қойылатын сұрақтар

Тексеріп шығушы директивалары, тыйым салу ережелері және жасырын қорғаныс туралы жалпы техникалық сұрақтар.

robots.txt файлы дегеніміз не?

Robots.txt файлы – веб-сайттың түбірлік каталогында орналастырылған стандартты мәтіндік файл, ол іздеу жүйесі роботтары мен автоматтандырылған тексеріп шығушыларға сайтыңызда қандай URL мекенжайларына қол жеткізе алатынын немесе кіре алмайтынын хабарлайды.

robots.txt серіктестік шұңқырларын жарнамаларды қарап шығушылардан қорғай ма?

Жоқ. Заңды іздеу жүйесінің боттары robots.txt-ке бағынғанымен, жарнамаларды шолу сканерлері (Meta, TikTok, Google Ads) және зиянды қырғыштар жиі тыйым салу директивасын елемейді. Рұқсат етілмеген тексеріп шығушыларды блоктау үшін Cloaker.net көмегімен белсенді серверлік жиекті сүзгілеу қажет.

robots.txt файлындағы рұқсат бермеу ережесі беттің индекстелуіне жол бермейді ме?

Міндетті емес. URL мекенжайына рұқсат бермеу іздеу боттарының оның мазмұнын тексеріп шығуын тоқтатады, бірақ егер сыртқы сілтемелер сол URL мекенжайын көрсетсе, Google әлі де URL мекенжайының өзін индекстей алады. Бет ешқашан индекстелмейтініне көз жеткізу үшін оның орнына noindex мета тегін пайдаланыңыз.

robots.txt файлын қай жерде жүктеп салу керек?

robots.txt файлын веб-сайт доменінің түбірлік каталогына жүктеп салу керек (мысалы, https://example.com/robots.txt).

Таңдаулы жарнама желілерімен, трекерлермен және трафик көздерімен үздіксіз жұмыс істейді

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Тексеріп шығушы трафигін масштабта басқарыңыз

Cloaker.net көмегімен 15 мс шеткі қайта бағыттауларды орналастырыңыз, бот шолушыларын сүзіңіз және жарнамалық науқандарыңызды қорғаңыз.

✓ Сынақ нұсқасы үшін несие картасы қажет емес  ·  ✓ Кез келген уақытта бас тарту  ·  ✓ Миллисекундтық кідіріс