Custom Robots.txt
& Crawler Builder

I-configure ang mga direktiba ng crawler, tukuyin ang mga pahintulot sa pag-access sa search engine, tukuyin ang mga path ng XML sitemap, at pamahalaan ang mga rate ng pag-crawl nang walang kahirap-hirap.

Preset:

robots.txt Output

RFC 9309 Handa na

Real-time na Robots Exclusion Protocol file builder

Formatted Directive Text
utf-8 plain text
I-upload sa root directory: /robots.txt Lumikha ng XML Sitemap →
Direktiba Telemetry
Protocol Standard: RFC 9309 / REP
Path ng Root File: /robots.txt
Katayuan ng Search Crawler: Karaniwang Pag-index
Sanggunian sa Direktiba

Core Robots.txt Syntax at Mga Panuntunan

Ang Robots Exclusion Protocol (REP) ay isang RFC 9309 na karaniwang namamahala sa mga badyet sa pag-crawl ng search engine at pag-index ng landas.

User-agent Directive

Target na Pamilya ng Crawler

Tinutukoy kung sa aling crawler nalalapat ang mga sumusunod na panuntunan. Tina-target ng 'User-agent: *' ang lahat ng mga bot, habang ang mga partikular na token ay nagta-target ng mga indibidwal na crawler.

Huwag Payagan at Payagan

Mga Panuntunan sa Path Access

Pinipigilan ng 'Disallow: /admin/' ang mga sumusunod na crawler sa pag-scrap ng mga folder. Ang 'Allow: /' ay nagbibigay ng tahasang pag-access sa mga sub-resources.

Pahayag ng Sitemap

Pagpapabilis ng Index

Ipinapahayag ang ganap na URL ng iyong XML sitemap, na nagpapahintulot sa mga search engine na matuklasan ang lahat ng mga pahinang na-index sa isang structured na manifest.

Panuntunan sa Crawl-Delay

Paglilimita sa Rate ng Pag-crawl

Sinusuportahan ng Bing at Yandex upang maiwasan ang mga spike ng server sa pamamagitan ng pagpapatupad ng isang pag-pause (sa mga segundo) sa pagitan ng magkakasunod na kahilingan sa pahina.

Aktibong Crawler Defense

Binabalewala ng mga bot at scraper ng ad review ang robots.txt.
Ipatupad ang bulletproof edge filtering gamit ang Cloaker.net.

Habang iginagalang ng mga search engine ang robots.txt, binabalewala ng mga tagasuri ng ad (Meta, Google Ads, TikTok) at mga scraper ang mga text directive. Sinisiyasat ng Cloaker.net ang mga fingerprint ng hardware at TLS cipher sa gilid sa loob ng wala pang 15ms.

Aktibong Bot & Reviewer Interception
Sub-15ms Single-Hop Edge Redirection
Pre-Filtered Meta at Google Signatures
Dynamic na Bansa, Device at ASN Routing
Simulan ang Libreng Pagsubok Instant Setup · Zero Code Setup
Suporta at Patnubay

Mga madalas itanong

Mga karaniwang teknikal na tanong tungkol sa mga direktiba ng crawler, hindi pinapayagan ang mga panuntunan, at pagtatanggol sa cloaking.

Ano ang robots.txt file?

Ang robots.txt file ay isang karaniwang text file na inilagay sa root directory ng isang website na nagsasabi sa mga robot ng search engine at mga automated na crawler kung aling mga URL ang maaari o hindi nila ma-access sa iyong site.

Pinoprotektahan ba ng robots.txt ang mga funnel ng kaakibat mula sa mga crawler ng pagsusuri ng ad?

Hindi. Bagama't ang mga lehitimong search engine bot ay sumusunod sa robots.txt, ang mga crawler ng pagsusuri sa ad (Meta, TikTok, Google Ads) at mga nakakahamak na scraper ay kadalasang hindi pinahihintulutan ang mga direktiba. Ang aktibong pag-filter sa gilid ng server sa Cloaker.net ay kinakailangan upang harangan ang mga hindi awtorisadong crawler.

Pinipigilan ba ng hindi pinapayagang panuntunan sa robots.txt ang isang page na ma-index?

Hindi naman kailangan. Ang hindi pagpayag sa isang URL ay humihinto sa mga search bot sa pag-crawl sa nilalaman nito, ngunit kung ang mga panlabas na link ay tumuturo sa URL na iyon, maaari pa ring i-index ng Google ang mismong URL. Upang matiyak na hindi kailanman na-index ang isang page, gumamit na lang ng noindex meta tag.

Saan dapat i-upload ang robots.txt file?

Dapat na ma-upload ang robots.txt file sa root directory ng domain ng iyong website (hal., https://example.com/robots.txt).

Gumagana nang walang putol sa iyong mga paboritong network ng ad, tagasubaybay, at pinagmumulan ng trapiko

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kontrolin ang trapiko ng crawler sa laki

I-deploy ang mga sub-15ms edge redirect, i-filter ang mga bot reviewer, at protektahan ang iyong mga ad campaign gamit ang Cloaker.net.

✓ Walang kinakailangang credit card para sa pagsubok  ·  ✓ Kanselahin anumang oras  ·  ✓ Sub-millisecond latency