Захиалгат Robots.txt
& Crawler Builder
Мөлхөгч удирдамжийг тохируулах, хайлтын системд нэвтрэх зөвшөөрлийг тодорхойлох, XML сайтын замуудыг зааж өгөх, мөлхөх хурдыг хялбархан удирдах боломжтой.
robots.txt гаралт
RFC 9309 бэлэнБодит цагийн роботуудыг хасах протоколын файл бүтээгч
Үндсэн Robots.txt синтакс ба дүрмүүд
Robots Exclusion Protocol (REP) нь хайлтын системийн мөлхөгч төсөв болон замын индексжүүлэлтийг зохицуулдаг RFC 9309 стандарт юм.
Зорилтот мөлхөгч гэр бүл
Дараах дүрмүүд аль мөлхөгчид хамаарахыг тодорхойлно. 'User-agent: *' нь бүх роботуудыг онилдог бол тусгай жетонууд нь тусдаа мөлхөгчдийг онилдог.
Замд нэвтрэх дүрэм
'Зөвшөөрөхгүй: /админ/' нь нийцтэй мөлхөгчдийг хавтас хусахыг зогсооно. 'Зөвшөөрөх: /' нь дэд нөөцөд тодорхой хандалтыг олгодог.
Индекс хурдатгал
Таны XML сайтын зургийн үнэмлэхүй URL-г зарлаж, хайлтын системд бүтэцлэгдсэн манифест дахь бүх индексжүүлж болох хуудсыг олох боломжийг олгоно.
Мөлхөх хурдны хязгаарлалт
Дараалсан хуудасны хүсэлтүүдийн хооронд (секундэд) түр зогсолт хийх замаар серверийн огцом өсөлтөөс урьдчилан сэргийлэхийн тулд Bing болон Yandex дэмжсэн.
Зарын тойм ботууд болон хусагч нь robots.txt-г үл тоомсорлодог.
Cloaker.net ашиглан сум нэвтэрдэггүй ирмэгийн шүүлтүүрийг хэрэгжүүлээрэй.
Хайлтын системүүд robots.txt-г хүндэтгэдэг бол зар хянагчид (Meta, Google Ads, TikTok) болон scrapers текст удирдамжийг үл тоомсорлодог. Cloaker.net нь тоног төхөөрөмжийн хурууны хээ болон TLS шифрийг ирмэг дээр 15 мс-ээс бага хугацаанд шалгадаг.
Байнга асуудаг асуултууд
Мөлхөгчдийн заавар, хориглох дүрэм, нууцлалын хамгаалалтын талаархи нийтлэг техникийн асуултууд.
Robots.txt файл нь вэб сайтын үндсэн директорт байрлуулсан стандарт текст файл бөгөөд хайлтын системийн роботууд болон автомат мөлхөгчдөд танай сайтад хандаж болох эсвэл ямар URL хаяг руу нэвтэрч болохгүйг хэлдэг.
Үгүй. Хууль ёсны хайлтын системийн роботууд robots.txt-г дагаж мөрддөг хэдий ч зарыг хянадаг мөлхөгчид (Meta, TikTok, Google Ads) болон хорлонтой хусуурчид хориглох зааврыг үл тоомсорлодог. Зөвшөөрөлгүй мөлхөгчдийг блоклохын тулд Cloaker.net-тэй сервер талын идэвхтэй ирмэгийг шүүх шаардлагатай.
Заавал биш. URL-г зөвшөөрөхгүй байх нь хайлтын роботуудыг агуулгыг нь мөлхөхийг зогсоодог боловч хэрэв гадаад холбоосууд тухайн URL руу чиглүүлбэл Google URL-г өөрөө индексжүүлэх боломжтой хэвээр байна. Хуудсыг хэзээ ч индексжүүлэхгүй байхын тулд оронд нь noindex мета тагийг ашиглана уу.
robots.txt файлыг таны вэб сайтын домайн (жишээ нь, https://example.com/robots.txt) үндсэн лавлах руу байршуулах ёстой.
Таны дуртай зар сурталчилгааны сүлжээ, мөрдөгч, замын хөдөлгөөний эх сурвалжтай саадгүй ажиллана
Мөлхөгчдийн урсгалыг масштабаар хянах
Cloaker.net-ээр 15ms-ээс бага захын чиглүүлэлтүүдийг байрлуулж, бот шүүмжлэгчдийг шүүж, зар сурталчилгааны кампанит ажлаа хамгаалаарай.
✓ Туршилтын хувьд зээлийн карт шаардлагагүй · ✓ Хэзээ ч цуцлах · ✓ Миллисекундын хоцролт