حسب ضرورت Robots.txt
& Crawler Builder
کرالر کی ہدایات کو ترتیب دیں، سرچ انجن تک رسائی کی اجازتوں کی وضاحت کریں، XML سائٹ کے نقشے کے راستوں کی وضاحت کریں، اور آسانی سے کرال کی شرحوں کا نظم کریں۔
robots.txt آؤٹ پٹ
آر ایف سی 9309 تیار ہے۔ریئل ٹائم روبوٹ ایکسکلوژن پروٹوکول فائل بلڈر
کور Robots.txt نحو اور قواعد
Robots Exclusion Protocol (REP) ایک RFC 9309 معیاری گورننگ سرچ انجن کرال بجٹ اور پاتھ انڈیکسنگ ہے۔
ٹارگٹ کرالر فیملی
وضاحت کرتا ہے کہ کس کرالر پر درج ذیل اصول لاگو ہوتے ہیں۔ 'صارف ایجنٹ: *' تمام بوٹس کو نشانہ بناتا ہے، جبکہ مخصوص ٹوکن انفرادی کرالر کو نشانہ بناتے ہیں۔
راستے تک رسائی کے قواعد
'Disallow: /admin/' تعمیل کرنے والے کرالر کو فولڈرز کو سکریپ کرنے سے روکتا ہے۔ 'اجازت دیں: /' ذیلی وسائل تک واضح رسائی فراہم کرتا ہے۔
انڈیکس ایکسلریشن
آپ کے XML سائٹ کے نقشے کے مطلق URL کا اعلان کرتا ہے، جس سے سرچ انجنوں کو ایک سٹرکچرڈ مینی فیسٹ میں انڈیکس ایبل تمام صفحات دریافت کرنے کی اجازت ملتی ہے۔
کرال کی شرح کی حد
صفحہ کی لگاتار درخواستوں کے درمیان وقفہ (سیکنڈوں میں) نافذ کر کے سرور کے اضافے کو روکنے کے لیے Bing اور Yandex کے ذریعے تعاون کیا گیا۔
اشتھاراتی جائزہ لینے والے بوٹس اور سکریپر robots.txt کو نظر انداز کرتے ہیں۔
Cloaker.net کے ساتھ بلٹ پروف ایج فلٹرنگ کو نافذ کریں۔
جب کہ سرچ انجن robots.txt کا احترام کرتے ہیں، اشتھاراتی جائزہ لینے والے (Meta، Google Ads، TikTok) اور سکریپر ٹیکسٹ ہدایات کو نظر انداز کرتے ہیں۔ Cloaker.net 15ms سے کم میں کنارے پر ہارڈویئر فنگر پرنٹس اور TLS سائفرز کا معائنہ کرتا ہے۔
اکثر پوچھے گئے سوالات
کرالر کی ہدایات، اجازت نہ دینے کے قواعد، اور کلوکنگ ڈیفنس کے بارے میں عام تکنیکی سوالات۔
ایک robots.txt فائل ایک معیاری ٹیکسٹ فائل ہے جو کسی ویب سائٹ کی روٹ ڈائرکٹری میں رکھی جاتی ہے جو سرچ انجن روبوٹس اور خودکار کرالر کو بتاتی ہے کہ وہ آپ کی سائٹ پر کن URLs تک رسائی حاصل کر سکتے ہیں یا نہیں کر سکتے۔
نہیں، جبکہ جائز سرچ انجن بوٹس robots.txt کی پابندی کرتے ہیں، اشتھاراتی جائزہ لینے والے (Meta، TikTok، Google Ads) اور بدنیتی پر مبنی سکریپر اکثر اجازت نامے کی ہدایات کو نظر انداز کرتے ہیں۔ غیر مجاز کرالر کو بلاک کرنے کے لیے Cloaker.net کے ساتھ ایکٹو سرور سائیڈ ایج فلٹرنگ کی ضرورت ہے۔
ضروری نہیں۔ یو آر ایل کی اجازت نہ دینے سے سرچ بوٹس اس کے مواد کو کرال کرنے سے روکتا ہے، لیکن اگر بیرونی لنکس اس یو آر ایل کی طرف اشارہ کرتے ہیں، تو گوگل پھر بھی خود یو آر ایل کو انڈیکس کر سکتا ہے۔ اس بات کو یقینی بنانے کے لیے کہ صفحہ کبھی بھی انڈیکس نہ ہو، اس کے بجائے noindex میٹا ٹیگ استعمال کریں۔
robots.txt فائل کو آپ کے ویب سائٹ ڈومین کی روٹ ڈائرکٹری میں اپ لوڈ کیا جانا چاہیے (مثال کے طور پر، https://example.com/robots.txt)۔
آپ کے پسندیدہ اشتہاری نیٹ ورکس، ٹریکرز اور ٹریفک ذرائع کے ساتھ بغیر کسی رکاوٹ کے کام کرتا ہے۔
پیمانے پر کرالر ٹریفک کو کنٹرول کریں۔
Cloaker.net کے ساتھ ذیلی 15ms ایج ری ڈائریکٹ، فلٹر بوٹ ریویورز، اور اپنی اشتہاری مہمات کی حفاظت کریں۔
✓ ٹرائل کے لیے کسی کریڈٹ کارڈ کی ضرورت نہیں · ✓ کسی بھی وقت منسوخ کریں · ✓ ذیلی ملی سیکنڈ تاخیر