Özel Robots.txt
& Bot Yönergesi Oluşturucu
Bot yönergelerini yapılandırın, arama motoru erişim izinlerini tanımlayın, XML site haritası yollarını belirtin ve tarama hızlarını kolayca yönetin.
robots.txt Çıktısı
RFC 9309 UyumluGerçek zamanlı Robots Exclusion Protocol dosyası oluşturucu
Temel Robots.txt Sözdizimi & Kuralları
Robots Exclusion Protocol (REP), arama motoru tarama bütçelerini ve sayfa dizinlemeyi düzenleyen bir RFC 9309 standardıdır.
Hedef Bot Ailesi
Kuralların hangi bot için geçerli olduğunu tanımlar. 'User-agent: *' tüm botları hedeflerken, özel belirteçler tekil botları hedefler.
Yol Erişim Kuralları
'Disallow: /admin/' botların klasörleri taramasını durdurur. 'Allow: /' ise alt kaynaklara açık erişim izni verir.
İndeks Hızlandırma
XML site haritanızın tam URL'sini belirterek arama motorlarının dizine eklenebilir tüm sayfaları yapılandırılmış bir listede keşfetmesini sağlar.
Tarama Hızı Sınırlandırma
Ardışık sayfa istekleri arasına duraklama koyarak sunucu yükünü önlemek amacıyla Bing ve Yandex tarafından desteklenir.
Reklam inceleme botları robots.txt kurallarını yok sayar.
Cloaker.net ile sarsılmaz uç filtreleme uygulayın.
Arama motorları robots.txt dosyasına saygı gösterirken reklam denetleyicileri (Meta, Google Ads, TikTok) ve veri toplayıcı botlar metin yönergelerini görmezden gelir. Cloaker.net, donanım parmak izlerini ve TLS şifrelerini uç noktada 15ms altında denetler.
Sıkça Sorulan Sorular (SSS)
Bot yönergeleri, engelleme kuralları ve cloaking savunması hakkında sık sorulan teknik sorular.
robots.txt dosyası, bir web sitesinin kök dizinine yerleştirilen ve arama motoru botlarına sitenizdeki hangi URL'lere erişip erişemeyeceklerini bildiren standart bir metin dosyasıdır.
Hayır. Yasal arama motoru botları robots.txt kurallarına uyarken reklam inceleme botları (Meta, TikTok, Google Ads) ve casus botlar genellikle bu direktifleri görmezden gelir. Yetkisiz botları engellemek için Cloaker.net ile sunucu tarafında aktif uç filtreleme gerekir.
Her zaman değil. Bir URL'yi disallow ile engellemek botların içeriği taramasını durdurur; ancak harici bağlantılar varsa Google URL'yi yine de dizine ekleyebilir. Sayfanın asla dizine eklenmemesini sağlamak için noindex meta etiketi kullanın.
robots.txt dosyası alan adınızın ana kök dizinine yüklenmelidir (örn. https://example.com/robots.txt).
Favori reklam ağlarınız, izleyicileriniz (tracker) ve trafik kaynaklarınızla sorunsuz çalışır
Bot trafiğini geniş ölçekte kontrol edin
15ms altı uç yönlendirmeleri devreye alın, inceleme botlarını filtreleyin ve reklam kampanyalarınızı Cloaker.net ile koruyun.
✓ Deneme için kredi kartı gerekmez · ✓ İstediğiniz zaman iptal edin · ✓ Milisaniye altı gecikme