Fərdi Robots.txt
və Tarayıcı Qurucusu
Tarayıcı təlimatlarını konfiqurasiya edin, axtarış mühərriki giriş icazələrini təyin edin, XML sitemap yollarını göstərin və tarama dərəcələrini səylə idarə edin.
robots.txt Çıxışı
RFC 9309 HazırReal vaxt Robots Exclusion Protokolu fayl qurucusu
Əsas Robots.txt Sintaksisi və Qaydaları
Robots Exclusion Protokolu (REP) axtarış mühərriki tarama büdcələrini və yol indeksləşdirməsini idarə edən RFC 9309 standartıdır.
Hədəf Tarayıcı Ailəsi
Aşağıdakı qaydaların hansı tarayıcıya aid olduğunu müəyyən edir. 'User-agent: *' bütün botları hədəfləyir, xüsusi tokenlər isə fərdi tarayıcıları hədəfləyir.
Yol Giriş Qaydaları
'Disallow: /admin/' uyğun tarayıcıların qovluqları skreper etməsini dayandırır. 'Allow: /' alt resurslara açıq giriş verir.
İndeks Sürətləndirmə
XML sitemap-inizin mütləq URL-ini bəyan edir və axtarış mühərriklərinin bütün indekslənə bilən səhifələri strukturlaşdırılmış manifestdə kəşf etməsinə imkan verir.
Tarama Dərəcəsi Məhdudlaşdırması
Ardıcıl səhifə sorğuları arasında fasilə (saniyə ilə) tətbiq edərək server sıçrayışlarının qarşısını almaq üçün Bing və Yandex tərəfindən dəstəklənir.
Reklam rəy botları və skreperlər robots.txt-ə məhəl qoymur.
Cloaker.net ilə güllə keçirməz edge filtrləməsini tətbiq edin.
Axtarış mühərrikləri robots.txt-ə hörmət etsə də, reklam rəyçiləri (Meta, Google Ads, TikTok) və skreperlər mətn təlimatlarına məhəl qoymur. Cloaker.net edge-də aparat barmaq izlərini və TLS şifrələrini 15ms-dən az müddətdə yoxlayır.
Tez-tez verilən suallar
Tarayıcı təlimatları, disallow qaydaları və cloaking müdafiəsi haqqında ümumi texniki suallar.
robots.txt faylı veb saytın kök qovluğunda yerləşdirilən standart mətn faylıdır və axtarış mühərriki robotlarına və avtomatik tarayıcılara saytınızda hansı URL-lərə girə biləcəklərini və ya bilməyəcəklərini bildirir.
Xeyr. Qanuni axtarış mühərriki botları robots.txt-ə əməl etsə də, reklam rəy tarayıcıları (Meta, TikTok, Google Ads) və zərərli skreperlər tez-tez disallow təlimatlarını görməzdən gəlir. İcazəsiz tarayıcıları bloklamaq üçün Cloaker.net ilə aktiv server tərəfli edge filtrləməsi tələb olunur.
Mütləq deyil. URL-i disallow etmək axtarış botlarının məzmununu taramasının qarşısını alır, lakin xarici linklər həmin URL-ə işarə edirsə, Google URL-in özünü yenə də indeksləyə bilər. Səhifənin heç vaxt indekslənməməsini təmin etmək üçün əvəzinə noindex meta teqindən istifadə edin.
robots.txt faylı veb sayt domeninizin kök qovluğuna yüklənməlidir (məs., https://example.com/robots.txt).
Sevimli reklam şəbəkələriniz, izləyiciləriniz və trafik mənbələrinizlə problemsiz işləyir
Tarayıcı trafikini miqyasda idarə edin
Sub-15ms edge yönləndirmələri yerləşdirin, bot rəyçiləri filtrləyin və Cloaker.net ilə reklam kampaniyalarınızı qoruyun.
✓ Sınaq üçün kredit kartı tələb olunmur · ✓ İstənilən vaxt ləğv edin · ✓ Sub-millisaniyə gecikmə