Robots.txt Khusus
& Pembuat Perayap

Konfigurasikan arahan perayap, tentukan izin akses mesin pencari, tentukan jalur peta situs XML, dan kelola kecepatan perayapan dengan mudah.

Preset:

Keluaran robots.txt

RFC 9309 Siap

Pembuat file Protokol Pengecualian Robot waktu nyata

Teks Direktif Berformat
utf-8 plain text
Unggah ke direktori root: /robots.txt Buat Peta Situs XML →
Telemetri Direktif
Standar Protokol: RFC 9309 / REP
Jalur File Root: /robots.txt
Status Perayap Penelusuran: Pengindeksan Standar
Referensi Petunjuk

Sintaks & Aturan Inti Robots.txt

Robots Exclusion Protocol (REP) adalah standar RFC 9309 yang mengatur anggaran perayapan mesin pencari dan pengindeksan jalur.

User-agent Directive

Keluarga Perayap Target

Menentukan crawler mana yang menerapkan aturan berikut. 'Agen-pengguna: *' menargetkan semua bot, sementara token tertentu menargetkan perayap individual.

Larang & Izinkan

Aturan Akses Jalur

'Larang: /admin/' menghentikan perayap yang patuh untuk menggores folder. 'Izinkan: /' memberikan akses eksplisit ke sub-sumber daya.

Deklarasi Peta Situs

Akselerasi Indeks

Mendeklarasikan URL absolut peta situs XML Anda, memungkinkan mesin telusur menemukan semua laman yang dapat diindeks dalam manifes terstruktur.

Aturan Penundaan Perayapan

Pembatasan Kecepatan Perayapan

Didukung oleh Bing dan Yandex untuk mencegah lonjakan server dengan menerapkan jeda (dalam hitungan detik) antara permintaan halaman berturut-turut.

Pertahanan Perayap Aktif

Bot & pengikis peninjauan iklan mengabaikan robots.txt.
Terapkan pemfilteran tepi antipeluru dengan Cloaker.net.

Meskipun mesin pencari menghormati robots.txt, peninjau iklan (Meta, Google Ads, TikTok) dan scraper mengabaikan perintah teks. Cloaker.net memeriksa sidik jari perangkat keras dan sandi TLS di edge dalam waktu kurang dari 15 md.

Intersepsi Bot & Reviewer Aktif
Pengalihan Tepi Hop Tunggal Sub-15ms
Meta Pra-Filter & Tanda Tangan Google
Perutean Negara, Perangkat & ASN Dinamis
Mulai Uji Coba Gratis Pengaturan Instan · Pengaturan Kode Nol
Dukungan & Bimbingan

Pertanyaan yang sering diajukan

Pertanyaan teknis umum tentang arahan crawler, aturan pelarangan, dan pertahanan penyelubungan.

Apa itu file robots.txt?

File robots.txt adalah file teks standar yang ditempatkan di direktori akar situs web yang memberi tahu robot mesin telusur dan perayap otomatis URL mana yang dapat atau tidak dapat mereka akses di situs Anda.

Apakah robots.txt melindungi corong afiliasi dari perayap peninjauan iklan?

Tidak. Meskipun bot mesin pencari yang sah mematuhi robots.txt, crawler peninjau iklan (Meta, TikTok, Google Ads) dan scraper jahat sering kali mengabaikan perintah pelarangan. Pemfilteran tepi sisi server aktif dengan Cloaker.net diperlukan untuk memblokir perayap yang tidak sah.

Apakah aturan pelarangan di robots.txt mencegah halaman diindeks?

Belum tentu. Melarang URL akan menghentikan bot penelusuran merayapi kontennya, namun jika tautan eksternal mengarah ke URL tersebut, Google masih dapat mengindeks URL itu sendiri. Untuk memastikan halaman tidak pernah diindeks, gunakan tag meta noindex sebagai gantinya.

Di mana file robots.txt harus diunggah?

File robots.txt harus diunggah ke direktori akar domain situs web Anda (misalnya https://example.com/robots.txt).

Bekerja secara lancar dengan jaringan iklan, pelacak, dan sumber lalu lintas favorit Anda

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kontrol lalu lintas perayap dalam skala besar

Terapkan pengalihan tepi sub-15ms, filter peninjau bot, dan lindungi kampanye iklan Anda dengan Cloaker.net.

✓ Tidak diperlukan kartu kredit untuk uji coba  ·  ✓ Batalkan kapan saja  ·  ✓ Latensi sub-milidetik