自訂 Robots.txt
& 爬蟲建構器

設定爬網程式指令、定義搜尋引擎存取權限、指定 XML 網站地圖路徑並輕鬆管理爬網速率。

預設:

robots.txt 輸出

RFC 9309 就緒

即時機器人排除協議文件產生器

格式化指令文本
utf-8 plain text
上傳到根目錄:/robots.txt 建立 XML 網站地圖 →
指令遙測
協議標準: RFC 9309 / REP
根檔案路徑: /robots.txt
搜尋爬蟲狀態: 標準索引
指令參考

Core Robots.txt 文法與規則

機器人排除協議 (REP) 是管理搜尋引擎抓取預算和路徑索引的 RFC 9309 標準。

User-agent Directive

目標爬行器家族

定義下列規則適用於哪個爬網程式。 「使用者代理:*」針對所有機器人,而特定令牌針對單一爬蟲。

禁止與允許

路徑存取規則

「Disallow: /admin/」會阻止合規爬蟲抓取資料夾。 「允許:/」授予子資源的明確存取權。

網站地圖聲明

指數加速

聲明 XML 網站地圖的絕對 URL,允許搜尋引擎發現結構化清單中的所有可索引頁面。

爬行延遲規則

抓取速率限制

受 Bing 和 Yandex 支持,透過在連續頁面請求之間強制暫停(以秒為單位)來防止伺服器峰值。

主動爬行防禦

廣告審核機器人和抓取工具會忽略 robots.txt。
使用 Cloaker.net 實施防彈邊緣過濾。

雖然搜尋引擎尊重 robots.txt,但廣告審核者(Meta、Google Ads、TikTok)和抓取工具卻忽略文字指令。 Cloaker.net 在 15 毫秒內檢查邊緣的硬體指紋和 TLS 密碼。

主動機器人和審查者攔截
低於 15 毫秒的單跳邊緣重定向
預過濾元和 Google 簽名
動態國家/地區、設備和 ASN 路由
開始免費試用 即時設定 · 零代碼設定
支持與指導

常見問題

有關爬蟲指令、禁止規則和偽裝防禦的常見技術問題。

什麼是 robots.txt 檔案?

robots.txt 檔案是放置在網站根目錄中的標準文字文件,它告訴搜尋引擎機器人和自動爬蟲它們可以或不能存取您網站上的哪些 URL。

robots.txt 是否可以保護聯盟行銷管道免受廣告審核抓取工具的侵害?

不會。雖然合法的搜尋引擎機器人遵守 robots.txt,但廣告審核爬蟲(Meta、TikTok、Google Ads)和惡意抓取工具通常會忽略禁止指令。需要使用 Cloaker.net 進行主動伺服器端邊緣過濾來阻止未經授權的爬蟲。

robots.txt 中的禁止規則是否會阻止頁面被索引?

不一定。禁止某個 URL 會阻止搜尋機器人抓取其內容,但如果外部連結指向該 URL,Google 仍然可以為該 URL 本身編制索引。為了確保頁面永遠不會被索引,請使用 noindex 元標記。

robots.txt 檔案該上傳到哪裡?

robots.txt 檔案必須上傳到您網站網域的根目錄(例如 https://example.com/robots.txt)。

與您最喜愛的廣告網路、追蹤器和流量來源無縫協作

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

大規模控制爬蟲流量

使用 Cloaker.net 部署低於 15 毫秒的邊緣重新導向、過濾機器人審核者並保護您的廣告活動。

✓ 試用無需信用卡  ·  ✓ 隨時取消  ·  ✓ 亞毫秒延遲