Fərdi Robots.txt
və Tarayıcı Qurucusu

Tarayıcı təlimatlarını konfiqurasiya edin, axtarış mühərriki giriş icazələrini təyin edin, XML sitemap yollarını göstərin və tarama dərəcələrini səylə idarə edin.

Hazır Ayarlar:

robots.txt Çıxışı

RFC 9309 Hazır

Real vaxt Robots Exclusion Protokolu fayl qurucusu

Formatlanmış Təlimat Mətni
utf-8 plain text
Kök qovluğa yükləyin: /robots.txt XML Sitemap Yaradın →
Təlimat Telemetriyası
Protokol Standartı: RFC 9309 / REP
Kök Fayl Yolu: /robots.txt
Axtarış Tarayıcı Statusu: Standart İndeksləmə
Təlimatlar Arayışı

Əsas Robots.txt Sintaksisi və Qaydaları

Robots Exclusion Protokolu (REP) axtarış mühərriki tarama büdcələrini və yol indeksləşdirməsini idarə edən RFC 9309 standartıdır.

User-agent Directive

Hədəf Tarayıcı Ailəsi

Aşağıdakı qaydaların hansı tarayıcıya aid olduğunu müəyyən edir. 'User-agent: *' bütün botları hədəfləyir, xüsusi tokenlər isə fərdi tarayıcıları hədəfləyir.

Qadağan və İcazə

Yol Giriş Qaydaları

'Disallow: /admin/' uyğun tarayıcıların qovluqları skreper etməsini dayandırır. 'Allow: /' alt resurslara açıq giriş verir.

Sitemap Bəyannaməsi

İndeks Sürətləndirmə

XML sitemap-inizin mütləq URL-ini bəyan edir və axtarış mühərriklərinin bütün indekslənə bilən səhifələri strukturlaşdırılmış manifestdə kəşf etməsinə imkan verir.

Crawl Gecikmə Qaydası

Tarama Dərəcəsi Məhdudlaşdırması

Ardıcıl səhifə sorğuları arasında fasilə (saniyə ilə) tətbiq edərək server sıçrayışlarının qarşısını almaq üçün Bing və Yandex tərəfindən dəstəklənir.

Aktiv Tarayıcı Müdafiəsi

Reklam rəy botları və skreperlər robots.txt-ə məhəl qoymur.
Cloaker.net ilə güllə keçirməz edge filtrləməsini tətbiq edin.

Axtarış mühərrikləri robots.txt-ə hörmət etsə də, reklam rəyçiləri (Meta, Google Ads, TikTok) və skreperlər mətn təlimatlarına məhəl qoymur. Cloaker.net edge-də aparat barmaq izlərini və TLS şifrələrini 15ms-dən az müddətdə yoxlayır.

Aktiv Bot və Rəyçi Tutma
Sub-15ms Tək-Hop Edge Yönləndirmə
Əvvəlcədən Filtrlənmiş Meta və Google İmzaları
Dinamik Ölkə, Cihaz və ASN Yönləndirmə
Pulsuz Sınağa Başlayın Ani Quraşdırma · Sıfır Kod Quraşdırma
Dəstək və Rəhbərlik

Tez-tez verilən suallar

Tarayıcı təlimatları, disallow qaydaları və cloaking müdafiəsi haqqında ümumi texniki suallar.

robots.txt faylı nədir?

robots.txt faylı veb saytın kök qovluğunda yerləşdirilən standart mətn faylıdır və axtarış mühərriki robotlarına və avtomatik tarayıcılara saytınızda hansı URL-lərə girə biləcəklərini və ya bilməyəcəklərini bildirir.

robots.txt affiliate hunilərini reklam rəy tarayıcılarından qoruyurmu?

Xeyr. Qanuni axtarış mühərriki botları robots.txt-ə əməl etsə də, reklam rəy tarayıcıları (Meta, TikTok, Google Ads) və zərərli skreperlər tez-tez disallow təlimatlarını görməzdən gəlir. İcazəsiz tarayıcıları bloklamaq üçün Cloaker.net ilə aktiv server tərəfli edge filtrləməsi tələb olunur.

robots.txt-dəki disallow qaydası səhifənin indekslənməsinin qarşısını alırmı?

Mütləq deyil. URL-i disallow etmək axtarış botlarının məzmununu taramasının qarşısını alır, lakin xarici linklər həmin URL-ə işarə edirsə, Google URL-in özünü yenə də indeksləyə bilər. Səhifənin heç vaxt indekslənməməsini təmin etmək üçün əvəzinə noindex meta teqindən istifadə edin.

robots.txt faylı hara yüklənməlidir?

robots.txt faylı veb sayt domeninizin kök qovluğuna yüklənməlidir (məs., https://example.com/robots.txt).

Sevimli reklam şəbəkələriniz, izləyiciləriniz və trafik mənbələrinizlə problemsiz işləyir

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Tarayıcı trafikini miqyasda idarə edin

Sub-15ms edge yönləndirmələri yerləşdirin, bot rəyçiləri filtrləyin və Cloaker.net ilə reklam kampaniyalarınızı qoruyun.

✓ Sınaq üçün kredit kartı tələb olunmur  ·  ✓ İstənilən vaxt ləğv edin  ·  ✓ Sub-millisaniyə gecikmə