Robots.txt แบบกำหนดเอง
& ตัวสร้างโปรแกรมรวบรวมข้อมูล
กำหนดค่าคำสั่งของโปรแกรมรวบรวมข้อมูล กำหนดสิทธิ์การเข้าถึงเครื่องมือค้นหา ระบุเส้นทางแผนผังเว็บไซต์ XML และจัดการอัตราการรวบรวมข้อมูลได้อย่างง่ายดาย
เอาต์พุต robots.txt
RFC 9309 พร้อมแล้วเครื่องมือสร้างไฟล์ Robots Exclusion Protocol แบบเรียลไทม์
Core Robots.txt ไวยากรณ์และกฎ
Robots Exclusion Protocol (REP) เป็นมาตรฐาน RFC 9309 ที่ควบคุมงบประมาณการรวบรวมข้อมูลของเครื่องมือค้นหาและการจัดทำดัชนีเส้นทาง
กลุ่มโปรแกรมรวบรวมข้อมูลเป้าหมาย
กำหนดว่ากฎต่อไปนี้จะใช้กับโปรแกรมรวบรวมข้อมูลใด 'User-agent: *' กำหนดเป้าหมายบอททั้งหมด ในขณะที่โทเค็นเฉพาะกำหนดเป้าหมายโปรแกรมรวบรวมข้อมูลแต่ละรายการ
กฎการเข้าถึงเส้นทาง
'ไม่อนุญาต: /admin/' หยุดโปรแกรมรวบรวมข้อมูลที่สอดคล้องจากการคัดลอกโฟลเดอร์ 'อนุญาต: /' ให้สิทธิ์การเข้าถึงทรัพยากรย่อยอย่างชัดเจน
การเร่งความเร็วของดัชนี
ประกาศ URL ที่สมบูรณ์ของแผนผังเว็บไซต์ XML ของคุณ ช่วยให้เครื่องมือค้นหาค้นพบหน้าที่จัดทำดัชนีได้ทั้งหมดในรายการที่มีโครงสร้าง
การจำกัดอัตราการรวบรวมข้อมูล
สนับสนุนโดย Bing และ Yandex เพื่อป้องกันไม่ให้เซิร์ฟเวอร์พุ่งสูงขึ้นโดยการบังคับให้หยุดชั่วคราว (เป็นวินาที) ระหว่างคำขอเพจที่ต่อเนื่องกัน
บ็อตและสแครปเปอร์ตรวจทานโฆษณาจะไม่สนใจ robots.txt
บังคับใช้การกรองขอบกันกระสุนด้วย Cloaker.net
แม้ว่าเครื่องมือค้นหาจะเคารพ robots.txt แต่ผู้ตรวจสอบโฆษณา (Meta, Google Ads, TikTok) และโปรแกรมขูดจะเพิกเฉยต่อคำสั่งข้อความ Cloaker.net ตรวจสอบลายนิ้วมือของฮาร์ดแวร์และการเข้ารหัส TLS ที่ Edge ภายในเวลาไม่ถึง 15 มิลลิวินาที
คำถามที่พบบ่อย
คำถามทางเทคนิคทั่วไปเกี่ยวกับคำสั่งของโปรแกรมรวบรวมข้อมูล กฎการไม่อนุญาต และการป้องกันการปิดบัง
ไฟล์ robots.txt เป็นไฟล์ข้อความมาตรฐานที่อยู่ในไดเร็กทอรีรากของเว็บไซต์ที่บอกโรบอตเครื่องมือค้นหาและโปรแกรมรวบรวมข้อมูลอัตโนมัติว่า URL ใดที่พวกเขาสามารถเข้าถึงได้หรือไม่สามารถเข้าถึงได้บนไซต์ของคุณ
ไม่ แม้ว่าบอตเครื่องมือค้นหาที่ถูกต้องตามกฎหมายจะเชื่อฟัง robots.txt แต่โปรแกรมรวบรวมข้อมูลตรวจสอบโฆษณา (Meta, TikTok, Google Ads) และโปรแกรมขูดที่เป็นอันตรายมักจะเพิกเฉยต่อคำสั่งที่ไม่อนุญาต จำเป็นต้องมีการกรองขอบฝั่งเซิร์ฟเวอร์ที่ใช้งานอยู่ด้วย Cloaker.net เพื่อบล็อกโปรแกรมรวบรวมข้อมูลที่ไม่ได้รับอนุญาต
ไม่จำเป็น. การไม่อนุญาต URL จะหยุดบอทการค้นหาไม่ให้รวบรวมข้อมูลเนื้อหา แต่หากลิงก์ภายนอกชี้ไปที่ URL นั้น Google ยังสามารถจัดทำดัชนี URL นั้นได้ เพื่อให้แน่ใจว่าหน้าเว็บจะไม่ได้รับการจัดทำดัชนี ให้ใช้เมตาแท็ก noindex แทน
ต้องอัปโหลดไฟล์ robots.txt ไปยังไดเรกทอรีรากของโดเมนเว็บไซต์ของคุณ (เช่น https://example.com/robots.txt)
ทำงานได้อย่างราบรื่นกับเครือข่ายโฆษณา เครื่องมือติดตาม และแหล่งที่มาของการเข้าชมที่คุณชื่นชอบ
ควบคุมการรับส่งข้อมูลของโปรแกรมรวบรวมข้อมูลตามขนาด
ปรับใช้การเปลี่ยนเส้นทาง Edge ที่ใช้เวลาน้อยกว่า 15 มิลลิวินาที กรองผู้ตรวจสอบบอท และปกป้องแคมเปญโฆษณาของคุณด้วย Cloaker.net
✓ ไม่ต้องใช้บัตรเครดิตในการทดลองใช้ · ✓ ยกเลิกได้ตลอดเวลา · ✓ เวลาแฝงต่ำกว่ามิลลิวินาที