自訂 Robots.txt
& 爬蟲建構器
設定爬網程式指令、定義搜尋引擎存取權限、指定 XML 網站地圖路徑並輕鬆管理爬網速率。
robots.txt 輸出
RFC 9309 就緒即時機器人排除協議文件產生器
Core Robots.txt 文法與規則
機器人排除協議 (REP) 是管理搜尋引擎抓取預算和路徑索引的 RFC 9309 標準。
目標爬行器家族
定義下列規則適用於哪個爬網程式。 「使用者代理:*」針對所有機器人,而特定令牌針對單一爬蟲。
路徑存取規則
「Disallow: /admin/」會阻止合規爬蟲抓取資料夾。 「允許:/」授予子資源的明確存取權。
指數加速
聲明 XML 網站地圖的絕對 URL,允許搜尋引擎發現結構化清單中的所有可索引頁面。
抓取速率限制
受 Bing 和 Yandex 支持,透過在連續頁面請求之間強制暫停(以秒為單位)來防止伺服器峰值。
廣告審核機器人和抓取工具會忽略 robots.txt。
使用 Cloaker.net 實施防彈邊緣過濾。
雖然搜尋引擎尊重 robots.txt,但廣告審核者(Meta、Google Ads、TikTok)和抓取工具卻忽略文字指令。 Cloaker.net 在 15 毫秒內檢查邊緣的硬體指紋和 TLS 密碼。
常見問題
有關爬蟲指令、禁止規則和偽裝防禦的常見技術問題。
robots.txt 檔案是放置在網站根目錄中的標準文字文件,它告訴搜尋引擎機器人和自動爬蟲它們可以或不能存取您網站上的哪些 URL。
不會。雖然合法的搜尋引擎機器人遵守 robots.txt,但廣告審核爬蟲(Meta、TikTok、Google Ads)和惡意抓取工具通常會忽略禁止指令。需要使用 Cloaker.net 進行主動伺服器端邊緣過濾來阻止未經授權的爬蟲。
不一定。禁止某個 URL 會阻止搜尋機器人抓取其內容,但如果外部連結指向該 URL,Google 仍然可以為該 URL 本身編制索引。為了確保頁面永遠不會被索引,請使用 noindex 元標記。
robots.txt 檔案必須上傳到您網站網域的根目錄(例如 https://example.com/robots.txt)。
與您最喜愛的廣告網路、追蹤器和流量來源無縫協作
大規模控制爬蟲流量
使用 Cloaker.net 部署低於 15 毫秒的邊緣重新導向、過濾機器人審核者並保護您的廣告活動。
✓ 試用無需信用卡 · ✓ 隨時取消 · ✓ 亞毫秒延遲