Robots.txt Khusus
& Pembuat Perayap
Konfigurasikan arahan perayap, tentukan izin akses mesin pencari, tentukan jalur peta situs XML, dan kelola kecepatan perayapan dengan mudah.
Keluaran robots.txt
RFC 9309 SiapPembuat file Protokol Pengecualian Robot waktu nyata
Sintaks & Aturan Inti Robots.txt
Robots Exclusion Protocol (REP) adalah standar RFC 9309 yang mengatur anggaran perayapan mesin pencari dan pengindeksan jalur.
Keluarga Perayap Target
Menentukan crawler mana yang menerapkan aturan berikut. 'Agen-pengguna: *' menargetkan semua bot, sementara token tertentu menargetkan perayap individual.
Aturan Akses Jalur
'Larang: /admin/' menghentikan perayap yang patuh untuk menggores folder. 'Izinkan: /' memberikan akses eksplisit ke sub-sumber daya.
Akselerasi Indeks
Mendeklarasikan URL absolut peta situs XML Anda, memungkinkan mesin telusur menemukan semua laman yang dapat diindeks dalam manifes terstruktur.
Pembatasan Kecepatan Perayapan
Didukung oleh Bing dan Yandex untuk mencegah lonjakan server dengan menerapkan jeda (dalam hitungan detik) antara permintaan halaman berturut-turut.
Bot & pengikis peninjauan iklan mengabaikan robots.txt.
Terapkan pemfilteran tepi antipeluru dengan Cloaker.net.
Meskipun mesin pencari menghormati robots.txt, peninjau iklan (Meta, Google Ads, TikTok) dan scraper mengabaikan perintah teks. Cloaker.net memeriksa sidik jari perangkat keras dan sandi TLS di edge dalam waktu kurang dari 15 md.
Pertanyaan yang sering diajukan
Pertanyaan teknis umum tentang arahan crawler, aturan pelarangan, dan pertahanan penyelubungan.
File robots.txt adalah file teks standar yang ditempatkan di direktori akar situs web yang memberi tahu robot mesin telusur dan perayap otomatis URL mana yang dapat atau tidak dapat mereka akses di situs Anda.
Tidak. Meskipun bot mesin pencari yang sah mematuhi robots.txt, crawler peninjau iklan (Meta, TikTok, Google Ads) dan scraper jahat sering kali mengabaikan perintah pelarangan. Pemfilteran tepi sisi server aktif dengan Cloaker.net diperlukan untuk memblokir perayap yang tidak sah.
Belum tentu. Melarang URL akan menghentikan bot penelusuran merayapi kontennya, namun jika tautan eksternal mengarah ke URL tersebut, Google masih dapat mengindeks URL itu sendiri. Untuk memastikan halaman tidak pernah diindeks, gunakan tag meta noindex sebagai gantinya.
File robots.txt harus diunggah ke direktori akar domain situs web Anda (misalnya https://example.com/robots.txt).
Bekerja secara lancar dengan jaringan iklan, pelacak, dan sumber lalu lintas favorit Anda
Kontrol lalu lintas perayap dalam skala besar
Terapkan pengalihan tepi sub-15ms, filter peninjau bot, dan lindungi kampanye iklan Anda dengan Cloaker.net.
✓ Tidak diperlukan kartu kredit untuk uji coba · ✓ Batalkan kapan saja · ✓ Latensi sub-milidetik