Robots.txt แบบกำหนดเอง
& ตัวสร้างโปรแกรมรวบรวมข้อมูล

กำหนดค่าคำสั่งของโปรแกรมรวบรวมข้อมูล กำหนดสิทธิ์การเข้าถึงเครื่องมือค้นหา ระบุเส้นทางแผนผังเว็บไซต์ XML และจัดการอัตราการรวบรวมข้อมูลได้อย่างง่ายดาย

ค่าที่ตั้งล่วงหน้า:

เอาต์พุต robots.txt

RFC 9309 พร้อมแล้ว

เครื่องมือสร้างไฟล์ Robots Exclusion Protocol แบบเรียลไทม์

ข้อความคำสั่งที่จัดรูปแบบ
utf-8 plain text
อัปโหลดไปยังไดเรกทอรีราก: /robots.txt สร้างแผนผังไซต์ XML →
คำสั่ง Telemetry
มาตรฐานโปรโตคอล: RFC 9309 / REP
เส้นทางไฟล์รูท: /robots.txt
ค้นหาสถานะโปรแกรมรวบรวมข้อมูล: การจัดทำดัชนีมาตรฐาน
การอ้างอิงคำสั่ง

Core Robots.txt ไวยากรณ์และกฎ

Robots Exclusion Protocol (REP) เป็นมาตรฐาน RFC 9309 ที่ควบคุมงบประมาณการรวบรวมข้อมูลของเครื่องมือค้นหาและการจัดทำดัชนีเส้นทาง

User-agent Directive

กลุ่มโปรแกรมรวบรวมข้อมูลเป้าหมาย

กำหนดว่ากฎต่อไปนี้จะใช้กับโปรแกรมรวบรวมข้อมูลใด 'User-agent: *' กำหนดเป้าหมายบอททั้งหมด ในขณะที่โทเค็นเฉพาะกำหนดเป้าหมายโปรแกรมรวบรวมข้อมูลแต่ละรายการ

ไม่อนุญาต & อนุญาต

กฎการเข้าถึงเส้นทาง

'ไม่อนุญาต: /admin/' หยุดโปรแกรมรวบรวมข้อมูลที่สอดคล้องจากการคัดลอกโฟลเดอร์ 'อนุญาต: /' ให้สิทธิ์การเข้าถึงทรัพยากรย่อยอย่างชัดเจน

การประกาศแผนผังเว็บไซต์

การเร่งความเร็วของดัชนี

ประกาศ URL ที่สมบูรณ์ของแผนผังเว็บไซต์ XML ของคุณ ช่วยให้เครื่องมือค้นหาค้นพบหน้าที่จัดทำดัชนีได้ทั้งหมดในรายการที่มีโครงสร้าง

กฎการรวบรวมข้อมูล-ความล่าช้า

การจำกัดอัตราการรวบรวมข้อมูล

สนับสนุนโดย Bing และ Yandex เพื่อป้องกันไม่ให้เซิร์ฟเวอร์พุ่งสูงขึ้นโดยการบังคับให้หยุดชั่วคราว (เป็นวินาที) ระหว่างคำขอเพจที่ต่อเนื่องกัน

การป้องกันซอฟต์แวร์รวบรวมข้อมูลที่ใช้งานอยู่

บ็อตและสแครปเปอร์ตรวจทานโฆษณาจะไม่สนใจ robots.txt
บังคับใช้การกรองขอบกันกระสุนด้วย Cloaker.net

แม้ว่าเครื่องมือค้นหาจะเคารพ robots.txt แต่ผู้ตรวจสอบโฆษณา (Meta, Google Ads, TikTok) และโปรแกรมขูดจะเพิกเฉยต่อคำสั่งข้อความ Cloaker.net ตรวจสอบลายนิ้วมือของฮาร์ดแวร์และการเข้ารหัส TLS ที่ Edge ภายในเวลาไม่ถึง 15 มิลลิวินาที

การสกัดกั้นบอทและผู้ตรวจสอบที่ใช้งานอยู่
การเปลี่ยนเส้นทาง Single-Hop Edge ที่ต่ำกว่า 15ms
Meta และลายเซ็น Google ที่กรองล่วงหน้า
ประเทศแบบไดนามิก อุปกรณ์ และการกำหนดเส้นทาง ASN
เริ่มทดลองใช้ฟรี ตั้งค่าทันที · การตั้งค่ารหัสศูนย์
การสนับสนุนและคำแนะนำ

คำถามที่พบบ่อย

คำถามทางเทคนิคทั่วไปเกี่ยวกับคำสั่งของโปรแกรมรวบรวมข้อมูล กฎการไม่อนุญาต และการป้องกันการปิดบัง

ไฟล์ robots.txt คืออะไร

ไฟล์ robots.txt เป็นไฟล์ข้อความมาตรฐานที่อยู่ในไดเร็กทอรีรากของเว็บไซต์ที่บอกโรบอตเครื่องมือค้นหาและโปรแกรมรวบรวมข้อมูลอัตโนมัติว่า URL ใดที่พวกเขาสามารถเข้าถึงได้หรือไม่สามารถเข้าถึงได้บนไซต์ของคุณ

robots.txt ปกป้องช่องทางของ Affiliate จากโปรแกรมรวบรวมข้อมูลตรวจทานโฆษณาหรือไม่

ไม่ แม้ว่าบอตเครื่องมือค้นหาที่ถูกต้องตามกฎหมายจะเชื่อฟัง robots.txt แต่โปรแกรมรวบรวมข้อมูลตรวจสอบโฆษณา (Meta, TikTok, Google Ads) และโปรแกรมขูดที่เป็นอันตรายมักจะเพิกเฉยต่อคำสั่งที่ไม่อนุญาต จำเป็นต้องมีการกรองขอบฝั่งเซิร์ฟเวอร์ที่ใช้งานอยู่ด้วย Cloaker.net เพื่อบล็อกโปรแกรมรวบรวมข้อมูลที่ไม่ได้รับอนุญาต

กฎที่ไม่อนุญาตใน robots.txt ป้องกันไม่ให้จัดทำดัชนีหน้าหรือไม่

ไม่จำเป็น. การไม่อนุญาต URL จะหยุดบอทการค้นหาไม่ให้รวบรวมข้อมูลเนื้อหา แต่หากลิงก์ภายนอกชี้ไปที่ URL นั้น Google ยังสามารถจัดทำดัชนี URL นั้นได้ เพื่อให้แน่ใจว่าหน้าเว็บจะไม่ได้รับการจัดทำดัชนี ให้ใช้เมตาแท็ก noindex แทน

ไฟล์ robots.txt ควรอัปโหลดที่ไหน

ต้องอัปโหลดไฟล์ robots.txt ไปยังไดเรกทอรีรากของโดเมนเว็บไซต์ของคุณ (เช่น https://example.com/robots.txt)

ทำงานได้อย่างราบรื่นกับเครือข่ายโฆษณา เครื่องมือติดตาม และแหล่งที่มาของการเข้าชมที่คุณชื่นชอบ

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

ควบคุมการรับส่งข้อมูลของโปรแกรมรวบรวมข้อมูลตามขนาด

ปรับใช้การเปลี่ยนเส้นทาง Edge ที่ใช้เวลาน้อยกว่า 15 มิลลิวินาที กรองผู้ตรวจสอบบอท และปกป้องแคมเปญโฆษณาของคุณด้วย Cloaker.net

✓ ไม่ต้องใช้บัตรเครดิตในการทดลองใช้  ·  ✓ ยกเลิกได้ตลอดเวลา  ·  ✓ เวลาแฝงต่ำกว่ามิลลิวินาที