ملف Robots.txt المخصص
& Crawler Builder
قم بتكوين توجيهات الزاحف، وحدد أذونات الوصول إلى محرك البحث، وحدد مسارات خريطة موقع XML، وقم بإدارة معدلات الزحف دون عناء.
إخراج ملف robots.txt
RFC 9309 جاهزمنشئ ملفات بروتوكول استبعاد الروبوتات في الوقت الحقيقي
بناء جملة وقواعد ملف Robots.txt الأساسي
بروتوكول استبعاد الروبوتات (REP) هو معيار RFC 9309 الذي يحكم ميزانيات الزحف إلى محركات البحث وفهرسة المسار.
عائلة الزاحف المستهدفة
يحدد الزاحف الذي تنطبق عليه القواعد التالية. يستهدف "وكيل المستخدم: *" جميع برامج الروبوت، بينما تستهدف الرموز المميزة برامج الزحف الفردية.
قواعد الوصول إلى المسار
"عدم السماح: /admin/" يمنع برامج الزحف المتوافقة من استخراج المجلدات. يمنح "السماح: /" وصولاً صريحًا إلى الموارد الفرعية.
تسريع المؤشر
يعلن عن عنوان URL المطلق لخريطة موقع XML، مما يسمح لمحركات البحث باكتشاف جميع الصفحات القابلة للفهرسة في بيان منظم.
تحديد معدل الزحف
مدعوم من Bing وYandex لمنع ارتفاع الخادم عن طريق فرض توقف مؤقت (بالثواني) بين طلبات الصفحة المتتالية.
تتجاهل برامج الروبوت والأدوات الكاشطة لمراجعة الإعلانات ملف robots.txt.
فرض تصفية الحواف المضادة للرصاص باستخدام Cloaker.net.
بينما تحترم محركات البحث ملف robots.txt، يتجاهل مراجعو الإعلانات (Meta وGoogle Ads وTikTok) والواشطون التوجيهات النصية. يقوم Cloaker.net بفحص بصمات الأجهزة وشفرات TLS على الحافة في أقل من 15 مللي ثانية.
أسئلة يتكرر طرحها
الأسئلة الفنية الشائعة حول توجيهات الزاحف وقواعد عدم السماح وإخفاء الهوية.
ملف robots.txt هو ملف نصي قياسي يتم وضعه في الدليل الجذر لموقع ويب يخبر روبوتات محركات البحث والزواحف الآلية عن عناوين URL التي يمكنهم أو لا يمكنهم الوصول إليها على موقعك.
لا. في حين أن روبوتات محركات البحث الشرعية تخضع لملف robots.txt، إلا أن برامج زحف مراجعة الإعلانات (Meta وTikTok وGoogle Ads) والبرمجيات الخبيثة غالبًا ما تتجاهل توجيهات عدم السماح. مطلوب تصفية الحافة النشطة من جانب الخادم باستخدام Cloaker.net لحظر برامج الزحف غير المصرح بها.
ليس بالضرورة. يؤدي عدم السماح بعنوان URL إلى منع روبوتات البحث من الزحف إلى محتواه، ولكن إذا كانت الروابط الخارجية تشير إلى عنوان URL هذا، فلا يزال بإمكان Google فهرسة عنوان URL نفسه. للتأكد من عدم فهرسة الصفحة مطلقًا، استخدم علامة تعريف noindex بدلاً من ذلك.
يجب تحميل ملف robots.txt إلى الدليل الجذر لنطاق موقع الويب الخاص بك (على سبيل المثال، https://example.com/robots.txt).
يعمل بسلاسة مع شبكاتك الإعلانية، ومنصات التتبع، ومصادر الزيارات المفضلة لديك
التحكم في حركة مرور الزاحف على نطاق واسع
انشر عمليات إعادة التوجيه بأقل من 15 مللي ثانية، وقم بتصفية مراجعي الروبوتات، وقم بحماية حملاتك الإعلانية باستخدام Cloaker.net.
✓ لا يلزم وجود بطاقة ائتمان للتجربة · ✓ الإلغاء في أي وقت · ✓ زمن الوصول أقل من مللي ثانية