Özel Robots.txt
& Bot Yönergesi Oluşturucu

Bot yönergelerini yapılandırın, arama motoru erişim izinlerini tanımlayın, XML site haritası yollarını belirtin ve tarama hızlarını kolayca yönetin.

Ön Ayarlar:

robots.txt Çıktısı

RFC 9309 Uyumlu

Gerçek zamanlı Robots Exclusion Protocol dosyası oluşturucu

Biçimlendirilmiş Yönerge Metni
utf-8 plain text
Kök dizine yükleyin: /robots.txt XML Site Haritası Oluştur →
Yönerge Telemetrisi
Protokol Standardı: RFC 9309 / REP
Kök Dosya Yolu: /robots.txt
Arama Botu Durumu: Standart İndeksleme
Yönerge Referansı

Temel Robots.txt Sözdizimi & Kuralları

Robots Exclusion Protocol (REP), arama motoru tarama bütçelerini ve sayfa dizinlemeyi düzenleyen bir RFC 9309 standardıdır.

User-agent Directive

Hedef Bot Ailesi

Kuralların hangi bot için geçerli olduğunu tanımlar. 'User-agent: *' tüm botları hedeflerken, özel belirteçler tekil botları hedefler.

Engelle (Disallow) ve İzin Ver (Allow)

Yol Erişim Kuralları

'Disallow: /admin/' botların klasörleri taramasını durdurur. 'Allow: /' ise alt kaynaklara açık erişim izni verir.

Site Haritası Bildirimi

İndeks Hızlandırma

XML site haritanızın tam URL'sini belirterek arama motorlarının dizine eklenebilir tüm sayfaları yapılandırılmış bir listede keşfetmesini sağlar.

Tarama Gecikmesi Kuralı

Tarama Hızı Sınırlandırma

Ardışık sayfa istekleri arasına duraklama koyarak sunucu yükünü önlemek amacıyla Bing ve Yandex tarafından desteklenir.

Aktif Bot Savunması

Reklam inceleme botları robots.txt kurallarını yok sayar.
Cloaker.net ile sarsılmaz uç filtreleme uygulayın.

Arama motorları robots.txt dosyasına saygı gösterirken reklam denetleyicileri (Meta, Google Ads, TikTok) ve veri toplayıcı botlar metin yönergelerini görmezden gelir. Cloaker.net, donanım parmak izlerini ve TLS şifrelerini uç noktada 15ms altında denetler.

Aktif Bot ve İncelemeci Engelleme
15ms Altı Tek Atlamalı (Single-Hop) Uç Yönlendirme
Önceden Filtrelenmiş Meta & Google İmzaları
Dinamik Ülke, Cihaz & ASN Yönlendirmesi
Ücretsiz Denemeyi Başlat Anında Kurulum · Sıfır Kod Entegrasyonu
Support & Guidance

Sıkça Sorulan Sorular (SSS)

Bot yönergeleri, engelleme kuralları ve cloaking savunması hakkında sık sorulan teknik sorular.

robots.txt dosyası nedir?

robots.txt dosyası, bir web sitesinin kök dizinine yerleştirilen ve arama motoru botlarına sitenizdeki hangi URL'lere erişip erişemeyeceklerini bildiren standart bir metin dosyasıdır.

robots.txt reklam inceleme botlarına karşı affiliate hunilerini korur mu?

Hayır. Yasal arama motoru botları robots.txt kurallarına uyarken reklam inceleme botları (Meta, TikTok, Google Ads) ve casus botlar genellikle bu direktifleri görmezden gelir. Yetkisiz botları engellemek için Cloaker.net ile sunucu tarafında aktif uç filtreleme gerekir.

robots.txt içindeki disallow kuralı bir sayfanın dizine eklenmesini engeller mi?

Her zaman değil. Bir URL'yi disallow ile engellemek botların içeriği taramasını durdurur; ancak harici bağlantılar varsa Google URL'yi yine de dizine ekleyebilir. Sayfanın asla dizine eklenmemesini sağlamak için noindex meta etiketi kullanın.

robots.txt dosyası nereye yüklenmelidir?

robots.txt dosyası alan adınızın ana kök dizinine yüklenmelidir (örn. https://example.com/robots.txt).

Favori reklam ağlarınız, izleyicileriniz (tracker) ve trafik kaynaklarınızla sorunsuz çalışır

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Bot trafiğini geniş ölçekte kontrol edin

15ms altı uç yönlendirmeleri devreye alın, inceleme botlarını filtreleyin ve reklam kampanyalarınızı Cloaker.net ile koruyun.

✓ Deneme için kredi kartı gerekmez  ·  ✓ İstediğiniz zaman iptal edin  ·  ✓ Milisaniye altı gecikme