Robots.txt Tersuai
& Crawler Builder

Konfigurasikan arahan perangkak, tentukan kebenaran capaian enjin carian, tentukan laluan peta tapak XML dan uruskan kadar rangkak dengan mudah.

Pratetap:

robots.txt Output

RFC 9309 Sedia

Pembina fail Protokol Pengecualian Robot masa nyata

Teks Arahan Berformat
utf-8 plain text
Muat naik ke direktori akar: /robots.txt Cipta Peta Laman XML →
Telemetri Arahan
Standard Protokol: RFC 9309 / REP
Laluan Fail Root: /robots.txt
Status Crawler Carian: Pengindeksan Standard
Rujukan Arahan

Sintaks & Peraturan Teras Robots.txt

Protokol Pengecualian Robot (REP) ialah RFC 9309 standard yang mengawal belanjawan rangkak enjin carian dan pengindeksan laluan.

User-agent Directive

Keluarga Sasaran Crawler

Mentakrifkan perangkak yang mana peraturan berikut digunakan. 'Ejen pengguna: *' menyasarkan semua bot, manakala token khusus menyasarkan perangkak individu.

Tidak Benar & Benarkan

Peraturan Akses Laluan

'Larang: /admin/' menghentikan perangkak yang patuh daripada mengikis folder. 'Benarkan: /' memberikan akses eksplisit kepada sub-sumber.

Pengisytiharan Peta Laman

Pecutan Indeks

Mengisytiharkan URL mutlak peta laman XML anda, membolehkan enjin carian menemui semua halaman boleh diindeks dalam manifes berstruktur.

Peraturan Merangkak-Lengah

Mengehadkan Kadar Merangkak

Disokong oleh Bing dan Yandex untuk mengelakkan lonjakan pelayan dengan menguatkuasakan jeda (dalam saat) antara permintaan halaman berturut-turut.

Pertahanan Crawler Aktif

Bot & pengikis semakan iklan mengabaikan robots.txt.
Kuatkuasakan penapisan tepi kalis peluru dengan Cloaker.net.

Walaupun enjin carian menghormati robots.txt, penyemak iklan (Meta, Google Ads, TikTok) dan pengikis mengabaikan arahan teks. Cloaker.net memeriksa cap jari perkakasan dan sifir TLS di tepi dalam masa kurang dari 15ms.

Pemintasan Bot & Pengulas Aktif
Ubah Hala Tepi Single-Hop Sub-15ms
Meta Pra-Tapis & Tandatangan Google
Negara Dinamik, Peranti & Penghalaan ASN
Mulakan Percubaan Percuma Persediaan Segera · Persediaan Kod Sifar
Sokongan & Bimbingan

Soalan lazim

Soalan teknikal biasa tentang arahan perangkak, tidak membenarkan peraturan dan pembelaan penyelubungan.

Apakah fail robots.txt?

Fail robots.txt ialah fail teks standard yang diletakkan dalam direktori akar tapak web yang memberitahu robot enjin carian dan perangkak automatik URL yang boleh atau tidak boleh diakses di tapak anda.

Adakah robots.txt melindungi corong ahli gabungan daripada perangkak semakan iklan?

Tidak. Walaupun bot enjin carian yang sah mematuhi robots.txt, perangkak semakan iklan (Meta, TikTok, Google Ads) dan pengikis berniat jahat sering mengabaikan arahan yang tidak membenarkan. Penapisan tepi sisi pelayan aktif dengan Cloaker.net diperlukan untuk menyekat perangkak yang tidak dibenarkan.

Adakah peraturan yang tidak membenarkan dalam robots.txt menghalang halaman daripada diindeks?

Tak semestinya. Tidak membenarkan URL menghentikan bot carian daripada merangkak kandungannya, tetapi jika pautan luaran menghala ke URL tersebut, Google masih boleh mengindeks URL itu sendiri. Untuk memastikan halaman tidak pernah diindeks, sebaliknya gunakan teg meta noindex.

Di manakah fail robots.txt harus dimuat naik?

Fail robots.txt mesti dimuat naik ke direktori akar domain tapak web anda (mis., https://example.com/robots.txt).

Berfungsi dengan lancar dengan rangkaian iklan kegemaran anda, penjejak dan sumber trafik

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kawal trafik perangkak pada skala

Gunakan ubah hala tepi sub-15ms, tapis penyemak bot dan lindungi kempen iklan anda dengan Cloaker.net.

✓ Tiada kad kredit diperlukan untuk percubaan  ·  ✓ Batal pada bila-bila masa  ·  ✓ Kependaman sub-milisaat