Robots.txt tùy chỉnh
& Trình tạo trình thu thập thông tin

Định cấu hình chỉ thị của trình thu thập thông tin, xác định quyền truy cập của công cụ tìm kiếm, chỉ định đường dẫn sơ đồ trang web XML và quản lý tốc độ thu thập dữ liệu một cách dễ dàng.

Cài đặt trước:

Đầu ra robots.txt

Sẵn sàng RFC 9309

Trình tạo tệp Giao thức loại trừ robot thời gian thực

Văn bản chỉ thị được định dạng
utf-8 plain text
Tải lên thư mục gốc: /robots.txt Tạo Sơ đồ trang web XML →
Chỉ thị từ xa
Tiêu chuẩn giao thức: RFC 9309 / REP
Đường dẫn tệp gốc: /robots.txt
Trạng thái trình thu thập thông tin tìm kiếm: Lập chỉ mục tiêu chuẩn
Tham khảo chỉ thị

Cú pháp và quy tắc cốt lõi của Robots.txt

Giao thức loại trừ robot (REP) là tiêu chuẩn RFC 9309 quản lý ngân sách thu thập dữ liệu và lập chỉ mục đường dẫn của công cụ tìm kiếm.

User-agent Directive

Nhóm trình thu thập thông tin mục tiêu

Xác định trình thu thập thông tin nào được áp dụng các quy tắc sau. 'Tác nhân người dùng: *' nhắm mục tiêu tất cả các bot, trong khi các mã thông báo cụ thể nhắm mục tiêu các trình thu thập thông tin riêng lẻ.

Không cho phép & Cho phép

Quy tắc truy cập đường dẫn

'Không cho phép: /admin/' ngăn các trình thu thập thông tin tuân thủ thu thập dữ liệu các thư mục. 'Cho phép: /' cấp quyền truy cập rõ ràng vào các tài nguyên phụ.

Khai báo sơ đồ trang web

Tăng tốc chỉ số

Khai báo URL tuyệt đối của sơ đồ trang web XML của bạn, cho phép các công cụ tìm kiếm khám phá tất cả các trang có thể lập chỉ mục trong một bảng kê khai có cấu trúc.

Quy tắc thu thập thông tin trễ

Giới hạn tốc độ thu thập thông tin

Được Bing và Yandex hỗ trợ để ngăn chặn sự tăng đột biến của máy chủ bằng cách thực thi tạm dừng (tính bằng giây) giữa các yêu cầu trang liên tiếp.

Bảo vệ trình thu thập thông tin tích cực

Các bot và trình thu thập thông tin đánh giá quảng cáo sẽ bỏ qua robots.txt.
Thực thi tính năng lọc cạnh chống đạn bằng Cloaker.net.

Trong khi các công cụ tìm kiếm tôn trọng robots.txt thì người đánh giá quảng cáo (Meta, Google Ads, TikTok) và người dọn dẹp lại bỏ qua các chỉ thị văn bản. Cloaker.net kiểm tra dấu vân tay phần cứng và mật mã TLS ở biên trong thời gian dưới 15 mili giây.

Hoạt động chặn Bot và người đánh giá
Chuyển hướng cạnh đơn chặng dưới 15ms
Chữ ký Meta & Google được lọc trước
Định tuyến quốc gia, thiết bị và ASN động
Bắt đầu dùng thử miễn phí Thiết lập tức thì · Thiết lập mã 0
Hỗ trợ & Hướng dẫn

Câu hỏi thường gặp

Các câu hỏi kỹ thuật phổ biến về chỉ thị của trình thu thập thông tin, quy tắc không cho phép và biện pháp phòng vệ bằng kỹ thuật che giấu.

Tệp robots.txt là gì?

Tệp robots.txt là một tệp văn bản tiêu chuẩn được đặt trong thư mục gốc của trang web để thông báo cho robot công cụ tìm kiếm và trình thu thập thông tin tự động biết những URL nào chúng có thể hoặc không thể truy cập trên trang web của bạn.

Robots.txt có bảo vệ kênh liên kết khỏi trình thu thập thông tin đánh giá quảng cáo không?

Không. Mặc dù các bot của công cụ tìm kiếm hợp pháp tuân theo robots.txt, nhưng các trình thu thập thông tin đánh giá quảng cáo (Meta, TikTok, Google Ads) và các trình thu thập dữ liệu độc hại thường bỏ qua các lệnh không cho phép. Cần phải có tính năng lọc cạnh phía máy chủ đang hoạt động bằng Cloaker.net để chặn các trình thu thập thông tin trái phép.

Quy tắc không cho phép trong robots.txt có ngăn lập chỉ mục một trang không?

Không nhất thiết phải như vậy. Việc không cho phép một URL sẽ ngăn các bot tìm kiếm thu thập dữ liệu nội dung của URL đó nhưng nếu các liên kết bên ngoài trỏ đến URL đó thì Google vẫn có thể lập chỉ mục chính URL đó. Để đảm bảo một trang không bao giờ được lập chỉ mục, thay vào đó hãy sử dụng thẻ meta ngăn lập chỉ mục.

Tệp robots.txt nên được tải lên ở đâu?

Tệp robots.txt phải được tải lên thư mục gốc của miền trang web của bạn (ví dụ: https://example.com/robots.txt).

Hoạt động liền mạch với các mạng quảng cáo, trình theo dõi và nguồn lưu lượng truy cập yêu thích của bạn

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kiểm soát lưu lượng trình thu thập thông tin trên quy mô lớn

Triển khai chuyển hướng ở biên dưới 15 mili giây, lọc người đánh giá bot và bảo vệ chiến dịch quảng cáo của bạn bằng Cloaker.net.

✓ Không cần thẻ tín dụng để dùng thử  ·  ✓ Hủy bất kỳ lúc nào  ·  ✓ Độ trễ dưới một phần nghìn giây