Robots.txt Tersuai
& Crawler Builder
Konfigurasikan arahan perangkak, tentukan kebenaran capaian enjin carian, tentukan laluan peta tapak XML dan uruskan kadar rangkak dengan mudah.
robots.txt Output
RFC 9309 SediaPembina fail Protokol Pengecualian Robot masa nyata
Sintaks & Peraturan Teras Robots.txt
Protokol Pengecualian Robot (REP) ialah RFC 9309 standard yang mengawal belanjawan rangkak enjin carian dan pengindeksan laluan.
Keluarga Sasaran Crawler
Mentakrifkan perangkak yang mana peraturan berikut digunakan. 'Ejen pengguna: *' menyasarkan semua bot, manakala token khusus menyasarkan perangkak individu.
Peraturan Akses Laluan
'Larang: /admin/' menghentikan perangkak yang patuh daripada mengikis folder. 'Benarkan: /' memberikan akses eksplisit kepada sub-sumber.
Pecutan Indeks
Mengisytiharkan URL mutlak peta laman XML anda, membolehkan enjin carian menemui semua halaman boleh diindeks dalam manifes berstruktur.
Mengehadkan Kadar Merangkak
Disokong oleh Bing dan Yandex untuk mengelakkan lonjakan pelayan dengan menguatkuasakan jeda (dalam saat) antara permintaan halaman berturut-turut.
Bot & pengikis semakan iklan mengabaikan robots.txt.
Kuatkuasakan penapisan tepi kalis peluru dengan Cloaker.net.
Walaupun enjin carian menghormati robots.txt, penyemak iklan (Meta, Google Ads, TikTok) dan pengikis mengabaikan arahan teks. Cloaker.net memeriksa cap jari perkakasan dan sifir TLS di tepi dalam masa kurang dari 15ms.
Soalan lazim
Soalan teknikal biasa tentang arahan perangkak, tidak membenarkan peraturan dan pembelaan penyelubungan.
Fail robots.txt ialah fail teks standard yang diletakkan dalam direktori akar tapak web yang memberitahu robot enjin carian dan perangkak automatik URL yang boleh atau tidak boleh diakses di tapak anda.
Tidak. Walaupun bot enjin carian yang sah mematuhi robots.txt, perangkak semakan iklan (Meta, TikTok, Google Ads) dan pengikis berniat jahat sering mengabaikan arahan yang tidak membenarkan. Penapisan tepi sisi pelayan aktif dengan Cloaker.net diperlukan untuk menyekat perangkak yang tidak dibenarkan.
Tak semestinya. Tidak membenarkan URL menghentikan bot carian daripada merangkak kandungannya, tetapi jika pautan luaran menghala ke URL tersebut, Google masih boleh mengindeks URL itu sendiri. Untuk memastikan halaman tidak pernah diindeks, sebaliknya gunakan teg meta noindex.
Fail robots.txt mesti dimuat naik ke direktori akar domain tapak web anda (mis., https://example.com/robots.txt).
Berfungsi dengan lancar dengan rangkaian iklan kegemaran anda, penjejak dan sumber trafik
Kawal trafik perangkak pada skala
Gunakan ubah hala tepi sub-15ms, tapis penyemak bot dan lindungi kempen iklan anda dengan Cloaker.net.
✓ Tiada kad kredit diperlukan untuk percubaan · ✓ Batal pada bila-bila masa · ✓ Kependaman sub-milisaat