حسب ضرورت Robots.txt
& Crawler Builder

کرالر کی ہدایات کو ترتیب دیں، سرچ انجن تک رسائی کی اجازتوں کی وضاحت کریں، XML سائٹ کے نقشے کے راستوں کی وضاحت کریں، اور آسانی سے کرال کی شرحوں کا نظم کریں۔

پیش سیٹ:

robots.txt آؤٹ پٹ

آر ایف سی 9309 تیار ہے۔

ریئل ٹائم روبوٹ ایکسکلوژن پروٹوکول فائل بلڈر

فارمیٹ شدہ ہدایتی متن
utf-8 plain text
روٹ ڈائرکٹری پر اپ لوڈ کریں: /robots.txt XML سائٹ کا نقشہ بنائیں →
ہدایتی ٹیلی میٹری
پروٹوکول سٹینڈرڈ: RFC 9309 / REP
روٹ فائل کا راستہ: /robots.txt
کرالر کی حیثیت تلاش کریں: معیاری انڈیکسنگ
ہدایتی حوالہ

کور Robots.txt نحو اور قواعد

Robots Exclusion Protocol (REP) ایک RFC 9309 معیاری گورننگ سرچ انجن کرال بجٹ اور پاتھ انڈیکسنگ ہے۔

User-agent Directive

ٹارگٹ کرالر فیملی

وضاحت کرتا ہے کہ کس کرالر پر درج ذیل اصول لاگو ہوتے ہیں۔ 'صارف ایجنٹ: *' تمام بوٹس کو نشانہ بناتا ہے، جبکہ مخصوص ٹوکن انفرادی کرالر کو نشانہ بناتے ہیں۔

اجازت نہ دیں اور اجازت دیں۔

راستے تک رسائی کے قواعد

'Disallow: /admin/' تعمیل کرنے والے کرالر کو فولڈرز کو سکریپ کرنے سے روکتا ہے۔ 'اجازت دیں: /' ذیلی وسائل تک واضح رسائی فراہم کرتا ہے۔

سائٹ کا نقشہ کا اعلان

انڈیکس ایکسلریشن

آپ کے XML سائٹ کے نقشے کے مطلق URL کا اعلان کرتا ہے، جس سے سرچ انجنوں کو ایک سٹرکچرڈ مینی فیسٹ میں انڈیکس ایبل تمام صفحات دریافت کرنے کی اجازت ملتی ہے۔

کرال-تاخیر کا اصول

کرال کی شرح کی حد

صفحہ کی لگاتار درخواستوں کے درمیان وقفہ (سیکنڈوں میں) نافذ کر کے سرور کے اضافے کو روکنے کے لیے Bing اور Yandex کے ذریعے تعاون کیا گیا۔

ایکٹو کرالر ڈیفنس

اشتھاراتی جائزہ لینے والے بوٹس اور سکریپر robots.txt کو نظر انداز کرتے ہیں۔
Cloaker.net کے ساتھ بلٹ پروف ایج فلٹرنگ کو نافذ کریں۔

جب کہ سرچ انجن robots.txt کا احترام کرتے ہیں، اشتھاراتی جائزہ لینے والے (Meta، Google Ads، TikTok) اور سکریپر ٹیکسٹ ہدایات کو نظر انداز کرتے ہیں۔ Cloaker.net 15ms سے کم میں کنارے پر ہارڈویئر فنگر پرنٹس اور TLS سائفرز کا معائنہ کرتا ہے۔

ایکٹو بوٹ اور ریویوور انٹرسیپشن
ذیلی 15ms سنگل ہاپ ایج ری ڈائریکشن
پری فلٹر شدہ میٹا اور گوگل کے دستخط
متحرک ملک، ڈیوائس اور ASN روٹنگ
مفت آزمائش شروع کریں۔ فوری سیٹ اپ · زیرو کوڈ سیٹ اپ
سپورٹ اور گائیڈنس

اکثر پوچھے گئے سوالات

کرالر کی ہدایات، اجازت نہ دینے کے قواعد، اور کلوکنگ ڈیفنس کے بارے میں عام تکنیکی سوالات۔

robots.txt فائل کیا ہے؟

ایک robots.txt فائل ایک معیاری ٹیکسٹ فائل ہے جو کسی ویب سائٹ کی روٹ ڈائرکٹری میں رکھی جاتی ہے جو سرچ انجن روبوٹس اور خودکار کرالر کو بتاتی ہے کہ وہ آپ کی سائٹ پر کن URLs تک رسائی حاصل کر سکتے ہیں یا نہیں کر سکتے۔

کیا robots.txt ملحقہ فنلز کو اشتہار کے جائزے والے کرالر سے محفوظ رکھتا ہے؟

نہیں، جبکہ جائز سرچ انجن بوٹس robots.txt کی پابندی کرتے ہیں، اشتھاراتی جائزہ لینے والے (Meta، TikTok، Google Ads) اور بدنیتی پر مبنی سکریپر اکثر اجازت نامے کی ہدایات کو نظر انداز کرتے ہیں۔ غیر مجاز کرالر کو بلاک کرنے کے لیے Cloaker.net کے ساتھ ایکٹو سرور سائیڈ ایج فلٹرنگ کی ضرورت ہے۔

کیا robots.txt میں نامنظور اصول کسی صفحہ کو انڈیکس ہونے سے روکتا ہے؟

ضروری نہیں۔ یو آر ایل کی اجازت نہ دینے سے سرچ بوٹس اس کے مواد کو کرال کرنے سے روکتا ہے، لیکن اگر بیرونی لنکس اس یو آر ایل کی طرف اشارہ کرتے ہیں، تو گوگل پھر بھی خود یو آر ایل کو انڈیکس کر سکتا ہے۔ اس بات کو یقینی بنانے کے لیے کہ صفحہ کبھی بھی انڈیکس نہ ہو، اس کے بجائے noindex میٹا ٹیگ استعمال کریں۔

robots.txt فائل کہاں اپ لوڈ کی جائے؟

robots.txt فائل کو آپ کے ویب سائٹ ڈومین کی روٹ ڈائرکٹری میں اپ لوڈ کیا جانا چاہیے (مثال کے طور پر، https://example.com/robots.txt)۔

آپ کے پسندیدہ اشتہاری نیٹ ورکس، ٹریکرز اور ٹریفک ذرائع کے ساتھ بغیر کسی رکاوٹ کے کام کرتا ہے۔

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

پیمانے پر کرالر ٹریفک کو کنٹرول کریں۔

Cloaker.net کے ساتھ ذیلی 15ms ایج ری ڈائریکٹ، فلٹر بوٹ ریویورز، اور اپنی اشتہاری مہمات کی حفاظت کریں۔

✓ ٹرائل کے لیے کسی کریڈٹ کارڈ کی ضرورت نہیں  ·  ✓ کسی بھی وقت منسوخ کریں  ·  ✓ ذیلی ملی سیکنڈ تاخیر