Maxsus Robots.txt
va Crawler Builder

Brauzer direktivalarini sozlang, qidiruv tizimiga kirish ruxsatlarini aniqlang, XML sayt xaritasi yo'llarini belgilang va skanerlash tezligini osongina boshqaring.

Oldindan sozlamalar:

robots.txt chiqishi

RFC 9309 tayyor

Haqiqiy vaqtda robotlarni istisno qilish protokoli fayl yaratuvchisi

Formatlangan direktiv matn
utf-8 plain text
Ildiz katalogga yuklang: /robots.txt XML sayt xaritasini yaratish →
Direktiv telemetriya
Protokol standarti: RFC 9309 / REP
Ildiz fayl yo'li: /robots.txt
Crawler holatini qidirish: Standart indekslash
Direktiv ma'lumotnoma

Asosiy Robots.txt sintaksisi va qoidalari

Robotlarni istisno qilish protokoli (REP) RFC 9309 standarti bo'lib, qidiruv tizimining skanerlash byudjetlarini va yo'llarni indekslashni boshqaradi.

User-agent Directive

Target Crawler oilasi

Quyidagi qoidalar qaysi brauzerga tegishli ekanligini belgilaydi. "Foydalanuvchi-agent: *" barcha botlarni nishonga oladi, ma'lum tokenlar esa alohida brauzerlarni nishonga oladi.

Ruxsat bermaslik va ruxsat berish

Yo'lga kirish qoidalari

'Ruxsat bermaslik: /admin/' mos keluvchi brauzerlarning papkalarni qirqishini to'xtatadi. 'Ruxsat bering: /' sub-resurslarga aniq ruxsat beradi.

Sayt xaritasi deklaratsiyasi

Indeks tezlashishi

XML sayt xaritangizning mutlaq URL manzilini e'lon qiladi, bu qidiruv tizimlariga tuzilgan manifestdagi barcha indekslanadigan sahifalarni topishga imkon beradi.

Tekshirish-kechiktirish qoidasi

Tekshirish tezligini cheklash

Ketma-ket sahifa so'rovlari o'rtasida pauzani (soniyalarda) amalga oshirish orqali serverning keskin ko'tarilishini oldini olish uchun Bing va Yandex tomonidan qo'llab-quvvatlanadi.

Faol Crawler himoyasi

Reklamani ko'rib chiqish botlari va qirg'ichlari robots.txt faylini e'tiborsiz qoldirmaydi.
Cloaker.net bilan o'q o'tkazmaydigan chekka filtrlashni qo'llang.

Qidiruv tizimlari robots.txt-ni hurmat qilsa-da, reklama sharhlovchilari (Meta, Google Ads, TikTok) va qirg'ichlar matn ko'rsatmalariga e'tibor bermaydilar. Cloaker.net apparat barmoq izlari va TLS shifrlarini chekkada 15 ms dan kamroq vaqt ichida tekshiradi.

Faol bot va sharhlovchini ushlash
15 ms kichik bir sakrashli chetga yoʻnaltirish
Oldindan filtrlangan meta va Google imzolari
Dinamik mamlakat, qurilma va ASN marshrutlash
Bepul sinovni boshlang Tezkor sozlash · Nolinchi kodni sozlash
Yordam va yo'l-yo'riq

Tez-tez beriladigan savollar

Crawler direktivalari, taqiqlash qoidalari va yashirin himoya haqida umumiy texnik savollar.

robots.txt fayli nima?

Robots.txt fayli - bu veb-saytning asosiy katalogiga joylashtirilgan standart matn fayli bo'lib, u qidiruv tizimi robotlari va avtomatlashtirilgan brauzerlarga qaysi URL manzillarini saytingizga kirishi yoki kira olmasligini bildiradi.

robots.txt hamkorlik hunilarini reklama ko'rib chiqish brauzerlaridan himoya qiladimi?

Yo'q. Qonuniy qidiruv tizimining botlari robots.txt-ga bo'ysunishsa-da, reklama tekshiruvi brauzerlari (Meta, TikTok, Google Ads) va zararli qirg'ichlar ko'pincha taqiqlash ko'rsatmalariga e'tibor bermaydilar. Ruxsatsiz brauzerlarni bloklash uchun Cloaker.net yordamida server tomonida faol filtrlash talab qilinadi.

Robots.txt-dagi ruxsat bermaslik qoidasi sahifaning indekslanishiga to'sqinlik qiladimi?

Majburiy emas. URL-manzilga ruxsat berilmasa, qidiruv botlari uning mazmunini tekshirishni to'xtatadi, ammo agar tashqi havolalar ushbu URL-ga ishora qilsa, Google hali ham URL manzilini indekslashi mumkin. Sahifaning hech qachon indekslanmaganligiga ishonch hosil qilish uchun uning o'rniga noindex meta tegidan foydalaning.

robots.txt faylini qayerga yuklash kerak?

robots.txt fayli veb-sayt domeningizning asosiy katalogiga yuklanishi kerak (masalan, https://example.com/robots.txt).

Sevimli reklama tarmoqlaringiz, trekerlaringiz va trafik manbalaringiz bilan muammosiz ishlaydi

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Stroner trafigini miqyosda boshqaring

Cloaker.net yordamida 15 ms dan past chekka yo'naltirishlarni o'rnating, bot sharhlovchilarini filtrlang va reklama kampaniyalaringizni himoya qiling.

✓ Sinov uchun kredit karta talab qilinmaydi  ·  ✓ Istalgan vaqtda bekor qiling  ·  ✓ Sub-millisekundlik kechikish