自定义机器人.txt
& 爬虫构建器

配置爬网程序指令、定义搜索引擎访问权限、指定 XML 站点地图路径并轻松管理爬网速率。

预设:

robots.txt 输出

RFC 9309 就绪

实时机器人排除协议文件生成器

格式化指令文本
utf-8 plain text
上传到根目录:/robots.txt 创建 XML 站点地图 →
指令遥测
协议标准: RFC 9309 / REP
根文件路径: /robots.txt
搜索爬虫状态: 标准索引
指令参考

Core Robots.txt 语法和规则

机器人排除协议 (REP) 是管理搜索引擎抓取预算和路径索引的 RFC 9309 标准。

User-agent Directive

目标爬行器家族

定义以下规则适用于哪个爬网程序。

禁止与允许

路径访问规则

“Disallow: /admin/”会阻止合规爬虫抓取文件夹。

网站地图声明

指数加速

声明 XML 站点地图的绝对 URL,允许搜索引擎发现结构化清单中的所有可索引页面。

爬行延迟规则

抓取速率限制

受 Bing 和 Yandex 支持,通过在连续页面请求之间强制暂停(以秒为单位)来防止服务器峰值。

主动爬行防御

广告审核机器人和抓取工具会忽略 robots.txt。
使用 Cloaker.net 实施防弹边缘过滤。

虽然搜索引擎尊重 robots.txt,但广告审核者(Meta、Google Ads、TikTok)和抓取工具却忽略文本指令。

主动机器人和审稿人拦截
低于 15 毫秒的单跳边缘重定向
预过滤元和 Google 签名
动态国家/地区、设备和 ASN 路由
开启免费试用 即时设置 · 零代码设置
支持与指导

客户高频关切问题一览

有关爬虫指令、禁止规则和伪装防御的常见技术问题。

什么是 robots.txt 文件?

robots.txt 文件是放置在网站根目录中的标准文本文件,它告诉搜索引擎机器人和自动爬虫它们可以或不能访问您网站上的哪些 URL。

robots.txt 是否可以保护联属网络营销渠道免受广告审核抓取工具的侵害?

不会。虽然合法的搜索引擎机器人遵守 robots.txt,但广告审核爬虫(Meta、TikTok、Google Ads)和恶意抓取工具通常会忽略禁止指令。

robots.txt 中的禁止规则是否会阻止页面被索引?

未必。

robots.txt 文件应该上传到哪里?

robots.txt 文件必须上传到您网站域的根目录(例如 https://example.com/robots.txt)。

与您常用的一流广告网络、追踪器及流量源实现无缝对接

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

大规模控制爬虫流量

使用 Cloaker.net 部署低于 15 毫秒的边缘重定向、过滤机器人审核者并保护您的广告活动。

✓ 试用无需信用卡  ·  ✓ 随时取消  ·  ✓ 亚毫秒级延迟