自定义机器人.txt
& 爬虫构建器
配置爬网程序指令、定义搜索引擎访问权限、指定 XML 站点地图路径并轻松管理爬网速率。
robots.txt 输出
RFC 9309 就绪实时机器人排除协议文件生成器
Core Robots.txt 语法和规则
机器人排除协议 (REP) 是管理搜索引擎抓取预算和路径索引的 RFC 9309 标准。
目标爬行器家族
定义以下规则适用于哪个爬网程序。
路径访问规则
“Disallow: /admin/”会阻止合规爬虫抓取文件夹。
指数加速
声明 XML 站点地图的绝对 URL,允许搜索引擎发现结构化清单中的所有可索引页面。
抓取速率限制
受 Bing 和 Yandex 支持,通过在连续页面请求之间强制暂停(以秒为单位)来防止服务器峰值。
广告审核机器人和抓取工具会忽略 robots.txt。
使用 Cloaker.net 实施防弹边缘过滤。
虽然搜索引擎尊重 robots.txt,但广告审核者(Meta、Google Ads、TikTok)和抓取工具却忽略文本指令。
客户高频关切问题一览
有关爬虫指令、禁止规则和伪装防御的常见技术问题。
robots.txt 文件是放置在网站根目录中的标准文本文件,它告诉搜索引擎机器人和自动爬虫它们可以或不能访问您网站上的哪些 URL。
不会。虽然合法的搜索引擎机器人遵守 robots.txt,但广告审核爬虫(Meta、TikTok、Google Ads)和恶意抓取工具通常会忽略禁止指令。
未必。
robots.txt 文件必须上传到您网站域的根目录(例如 https://example.com/robots.txt)。
与您常用的一流广告网络、追踪器及流量源实现无缝对接
大规模控制爬虫流量
使用 Cloaker.net 部署低于 15 毫秒的边缘重定向、过滤机器人审核者并保护您的广告活动。
✓ 试用无需信用卡 · ✓ 随时取消 · ✓ 亚毫秒级延迟