Maxsus Robots.txt
va Crawler Builder
Brauzer direktivalarini sozlang, qidiruv tizimiga kirish ruxsatlarini aniqlang, XML sayt xaritasi yo'llarini belgilang va skanerlash tezligini osongina boshqaring.
robots.txt chiqishi
RFC 9309 tayyorHaqiqiy vaqtda robotlarni istisno qilish protokoli fayl yaratuvchisi
Asosiy Robots.txt sintaksisi va qoidalari
Robotlarni istisno qilish protokoli (REP) RFC 9309 standarti bo'lib, qidiruv tizimining skanerlash byudjetlarini va yo'llarni indekslashni boshqaradi.
Target Crawler oilasi
Quyidagi qoidalar qaysi brauzerga tegishli ekanligini belgilaydi. "Foydalanuvchi-agent: *" barcha botlarni nishonga oladi, ma'lum tokenlar esa alohida brauzerlarni nishonga oladi.
Yo'lga kirish qoidalari
'Ruxsat bermaslik: /admin/' mos keluvchi brauzerlarning papkalarni qirqishini to'xtatadi. 'Ruxsat bering: /' sub-resurslarga aniq ruxsat beradi.
Indeks tezlashishi
XML sayt xaritangizning mutlaq URL manzilini e'lon qiladi, bu qidiruv tizimlariga tuzilgan manifestdagi barcha indekslanadigan sahifalarni topishga imkon beradi.
Tekshirish tezligini cheklash
Ketma-ket sahifa so'rovlari o'rtasida pauzani (soniyalarda) amalga oshirish orqali serverning keskin ko'tarilishini oldini olish uchun Bing va Yandex tomonidan qo'llab-quvvatlanadi.
Reklamani ko'rib chiqish botlari va qirg'ichlari robots.txt faylini e'tiborsiz qoldirmaydi.
Cloaker.net bilan o'q o'tkazmaydigan chekka filtrlashni qo'llang.
Qidiruv tizimlari robots.txt-ni hurmat qilsa-da, reklama sharhlovchilari (Meta, Google Ads, TikTok) va qirg'ichlar matn ko'rsatmalariga e'tibor bermaydilar. Cloaker.net apparat barmoq izlari va TLS shifrlarini chekkada 15 ms dan kamroq vaqt ichida tekshiradi.
Tez-tez beriladigan savollar
Crawler direktivalari, taqiqlash qoidalari va yashirin himoya haqida umumiy texnik savollar.
Robots.txt fayli - bu veb-saytning asosiy katalogiga joylashtirilgan standart matn fayli bo'lib, u qidiruv tizimi robotlari va avtomatlashtirilgan brauzerlarga qaysi URL manzillarini saytingizga kirishi yoki kira olmasligini bildiradi.
Yo'q. Qonuniy qidiruv tizimining botlari robots.txt-ga bo'ysunishsa-da, reklama tekshiruvi brauzerlari (Meta, TikTok, Google Ads) va zararli qirg'ichlar ko'pincha taqiqlash ko'rsatmalariga e'tibor bermaydilar. Ruxsatsiz brauzerlarni bloklash uchun Cloaker.net yordamida server tomonida faol filtrlash talab qilinadi.
Majburiy emas. URL-manzilga ruxsat berilmasa, qidiruv botlari uning mazmunini tekshirishni to'xtatadi, ammo agar tashqi havolalar ushbu URL-ga ishora qilsa, Google hali ham URL manzilini indekslashi mumkin. Sahifaning hech qachon indekslanmaganligiga ishonch hosil qilish uchun uning o'rniga noindex meta tegidan foydalaning.
robots.txt fayli veb-sayt domeningizning asosiy katalogiga yuklanishi kerak (masalan, https://example.com/robots.txt).
Sevimli reklama tarmoqlaringiz, trekerlaringiz va trafik manbalaringiz bilan muammosiz ishlaydi
Stroner trafigini miqyosda boshqaring
Cloaker.net yordamida 15 ms dan past chekka yo'naltirishlarni o'rnating, bot sharhlovchilarini filtrlang va reklama kampaniyalaringizni himoya qiling.
✓ Sinov uchun kredit karta talab qilinmaydi · ✓ Istalgan vaqtda bekor qiling · ✓ Sub-millisekundlik kechikish