Захиалгат Robots.txt
& Crawler Builder

Мөлхөгч удирдамжийг тохируулах, хайлтын системд нэвтрэх зөвшөөрлийг тодорхойлох, XML сайтын замуудыг зааж өгөх, мөлхөх хурдыг хялбархан удирдах боломжтой.

Урьдчилсан тохиргоо:

robots.txt гаралт

RFC 9309 бэлэн

Бодит цагийн роботуудыг хасах протоколын файл бүтээгч

Форматлагдсан удирдамжийн текст
utf-8 plain text
Үндсэн директор руу байршуулах: /robots.txt XML сайтын зураг үүсгэх →
Телеметрийн удирдамж
Протоколын стандарт: RFC 9309 / REP
Үндсэн файлын зам: /robots.txt
Хайлтын мөлхөгч статус: Стандарт индексжүүлэх
Удирдамжийн лавлагаа

Үндсэн Robots.txt синтакс ба дүрмүүд

Robots Exclusion Protocol (REP) нь хайлтын системийн мөлхөгч төсөв болон замын индексжүүлэлтийг зохицуулдаг RFC 9309 стандарт юм.

User-agent Directive

Зорилтот мөлхөгч гэр бүл

Дараах дүрмүүд аль мөлхөгчид хамаарахыг тодорхойлно. 'User-agent: *' нь бүх роботуудыг онилдог бол тусгай жетонууд нь тусдаа мөлхөгчдийг онилдог.

Зөвшөөрөхгүй, зөвшөөрөх

Замд нэвтрэх дүрэм

'Зөвшөөрөхгүй: /админ/' нь нийцтэй мөлхөгчдийг хавтас хусахыг зогсооно. 'Зөвшөөрөх: /' нь дэд нөөцөд тодорхой хандалтыг олгодог.

Сайтын газрын зургийн мэдэгдэл

Индекс хурдатгал

Таны XML сайтын зургийн үнэмлэхүй URL-г зарлаж, хайлтын системд бүтэцлэгдсэн манифест дахь бүх индексжүүлж болох хуудсыг олох боломжийг олгоно.

Мөлхөх-Хойшлуулах дүрэм

Мөлхөх хурдны хязгаарлалт

Дараалсан хуудасны хүсэлтүүдийн хооронд (секундэд) түр зогсолт хийх замаар серверийн огцом өсөлтөөс урьдчилан сэргийлэхийн тулд Bing болон Yandex дэмжсэн.

Идэвхтэй мөлхөгчдийн хамгаалалт

Зарын тойм ботууд болон хусагч нь robots.txt-г үл тоомсорлодог.
Cloaker.net ашиглан сум нэвтэрдэггүй ирмэгийн шүүлтүүрийг хэрэгжүүлээрэй.

Хайлтын системүүд robots.txt-г хүндэтгэдэг бол зар хянагчид (Meta, Google Ads, TikTok) болон scrapers текст удирдамжийг үл тоомсорлодог. Cloaker.net нь тоног төхөөрөмжийн хурууны хээ болон TLS шифрийг ирмэг дээр 15 мс-ээс бага хугацаанд шалгадаг.

Идэвхтэй робот ба тоймчийг саатуулах
Дэд 15 мс-ийн нэг хоп ирмэгийг дахин чиглүүлэх
Урьдчилан шүүсэн мета болон Google гарын үсэг
Динамик улс, төхөөрөмж ба ASN чиглүүлэлт
Үнэгүй туршилтыг эхлүүлэх Шуурхай тохиргоо · Тэг код тохиргоо
Дэмжлэг ба удирдамж

Байнга асуудаг асуултууд

Мөлхөгчдийн заавар, хориглох дүрэм, нууцлалын хамгаалалтын талаархи нийтлэг техникийн асуултууд.

robots.txt файл гэж юу вэ?

Robots.txt файл нь вэб сайтын үндсэн директорт байрлуулсан стандарт текст файл бөгөөд хайлтын системийн роботууд болон автомат мөлхөгчдөд танай сайтад хандаж болох эсвэл ямар URL хаяг руу нэвтэрч болохгүйг хэлдэг.

Robots.txt нь түншлэлийн юүлүүрүүдийг зар сурталчилгааны хянагчдаас хамгаалдаг уу?

Үгүй. Хууль ёсны хайлтын системийн роботууд robots.txt-г дагаж мөрддөг хэдий ч зарыг хянадаг мөлхөгчид (Meta, TikTok, Google Ads) болон хорлонтой хусуурчид хориглох зааврыг үл тоомсорлодог. Зөвшөөрөлгүй мөлхөгчдийг блоклохын тулд Cloaker.net-тэй сервер талын идэвхтэй ирмэгийг шүүх шаардлагатай.

Robots.txt дахь зөвшөөрөхгүй дүрэм нь хуудсыг индексжүүлэхээс сэргийлдэг үү?

Заавал биш. URL-г зөвшөөрөхгүй байх нь хайлтын роботуудыг агуулгыг нь мөлхөхийг зогсоодог боловч хэрэв гадаад холбоосууд тухайн URL руу чиглүүлбэл Google URL-г өөрөө индексжүүлэх боломжтой хэвээр байна. Хуудсыг хэзээ ч индексжүүлэхгүй байхын тулд оронд нь noindex мета тагийг ашиглана уу.

robots.txt файлыг хаана байршуулах ёстой вэ?

robots.txt файлыг таны вэб сайтын домайн (жишээ нь, https://example.com/robots.txt) үндсэн лавлах руу байршуулах ёстой.

Таны дуртай зар сурталчилгааны сүлжээ, мөрдөгч, замын хөдөлгөөний эх сурвалжтай саадгүй ажиллана

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Мөлхөгчдийн урсгалыг масштабаар хянах

Cloaker.net-ээр 15ms-ээс бага захын чиглүүлэлтүүдийг байрлуулж, бот шүүмжлэгчдийг шүүж, зар сурталчилгааны кампанит ажлаа хамгаалаарай.

✓ Туршилтын хувьд зээлийн карт шаардлагагүй  ·  ✓ Хэзээ ч цуцлах  ·  ✓ Миллисекундын хоцролт