ملف Robots.txt المخصص
& Crawler Builder

قم بتكوين توجيهات الزاحف، وحدد أذونات الوصول إلى محرك البحث، وحدد مسارات خريطة موقع XML، وقم بإدارة معدلات الزحف دون عناء.

الإعدادات المسبقة:

إخراج ملف robots.txt

RFC 9309 جاهز

منشئ ملفات بروتوكول استبعاد الروبوتات في الوقت الحقيقي

نص توجيهي منسق
utf-8 plain text
التحميل إلى الدليل الجذر: /robots.txt إنشاء خريطة موقع XML →
القياس عن بعد التوجيهي
معيار البروتوكول: RFC 9309 / REP
مسار الملف الجذر: /robots.txt
حالة زاحف البحث: الفهرسة القياسية
مرجع التوجيه

بناء جملة وقواعد ملف Robots.txt الأساسي

بروتوكول استبعاد الروبوتات (REP) هو معيار RFC 9309 الذي يحكم ميزانيات الزحف إلى محركات البحث وفهرسة المسار.

User-agent Directive

عائلة الزاحف المستهدفة

يحدد الزاحف الذي تنطبق عليه القواعد التالية. يستهدف "وكيل المستخدم: *" جميع برامج الروبوت، بينما تستهدف الرموز المميزة برامج الزحف الفردية.

عدم السماح والسماح

قواعد الوصول إلى المسار

"عدم السماح: /admin/" يمنع برامج الزحف المتوافقة من استخراج المجلدات. يمنح "السماح: /" وصولاً صريحًا إلى الموارد الفرعية.

إعلان خريطة الموقع

تسريع المؤشر

يعلن عن عنوان URL المطلق لخريطة موقع XML، مما يسمح لمحركات البحث باكتشاف جميع الصفحات القابلة للفهرسة في بيان منظم.

قاعدة تأخير الزحف

تحديد معدل الزحف

مدعوم من Bing وYandex لمنع ارتفاع الخادم عن طريق فرض توقف مؤقت (بالثواني) بين طلبات الصفحة المتتالية.

الدفاع الزاحف النشط

تتجاهل برامج الروبوت والأدوات الكاشطة لمراجعة الإعلانات ملف robots.txt.
فرض تصفية الحواف المضادة للرصاص باستخدام Cloaker.net.

بينما تحترم محركات البحث ملف robots.txt، يتجاهل مراجعو الإعلانات (Meta وGoogle Ads وTikTok) والواشطون التوجيهات النصية. يقوم Cloaker.net بفحص بصمات الأجهزة وشفرات TLS على الحافة في أقل من 15 مللي ثانية.

اعتراض البوت والمراجع النشط
إعادة توجيه حافة القفزة الواحدة بمقدار 15 مللي ثانية
الميتا التي تمت تصفيتها مسبقًا وتوقيعات Google
البلد الديناميكي والجهاز وتوجيه ASN
ابدأ التجربة المجانية الإعداد الفوري · إعداد الرمز الصفري
الدعم والتوجيه

أسئلة يتكرر طرحها

الأسئلة الفنية الشائعة حول توجيهات الزاحف وقواعد عدم السماح وإخفاء الهوية.

ما هو ملف robots.txt؟

ملف robots.txt هو ملف نصي قياسي يتم وضعه في الدليل الجذر لموقع ويب يخبر روبوتات محركات البحث والزواحف الآلية عن عناوين URL التي يمكنهم أو لا يمكنهم الوصول إليها على موقعك.

هل يحمي ملف robots.txt مسارات التحويل التابعة من برامج زحف مراجعة الإعلانات؟

لا. في حين أن روبوتات محركات البحث الشرعية تخضع لملف robots.txt، إلا أن برامج زحف مراجعة الإعلانات (Meta وTikTok وGoogle Ads) والبرمجيات الخبيثة غالبًا ما تتجاهل توجيهات عدم السماح. مطلوب تصفية الحافة النشطة من جانب الخادم باستخدام Cloaker.net لحظر برامج الزحف غير المصرح بها.

هل تمنع قاعدة عدم السماح في ملف robots.txt من فهرسة الصفحة؟

ليس بالضرورة. يؤدي عدم السماح بعنوان URL إلى منع روبوتات البحث من الزحف إلى محتواه، ولكن إذا كانت الروابط الخارجية تشير إلى عنوان URL هذا، فلا يزال بإمكان Google فهرسة عنوان URL نفسه. للتأكد من عدم فهرسة الصفحة مطلقًا، استخدم علامة تعريف noindex بدلاً من ذلك.

أين يجب تحميل ملف robots.txt؟

يجب تحميل ملف robots.txt إلى الدليل الجذر لنطاق موقع الويب الخاص بك (على سبيل المثال، https://example.com/robots.txt).

يعمل بسلاسة مع شبكاتك الإعلانية، ومنصات التتبع، ومصادر الزيارات المفضلة لديك

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

التحكم في حركة مرور الزاحف على نطاق واسع

انشر عمليات إعادة التوجيه بأقل من 15 مللي ثانية، وقم بتصفية مراجعي الروبوتات، وقم بحماية حملاتك الإعلانية باستخدام Cloaker.net.

✓ لا يلزم وجود بطاقة ائتمان للتجربة  ·  ✓ الإلغاء في أي وقت  ·  ✓ زمن الوصول أقل من مللي ثانية