سفارشی Robots.txt
& Crawler Builder

دستورالعمل‌های خزنده را پیکربندی کنید، مجوزهای دسترسی موتور جستجو را تعریف کنید، مسیرهای نقشه سایت XML را مشخص کنید، و نرخ‌های خزیدن را بدون زحمت مدیریت کنید.

تنظیمات از پیش تعیین شده:

خروجی robots.txt

RFC 9309 آماده است

سازنده فایل پروتکل محرومیت روبات ها در زمان واقعی

متن دستورالعمل فرمت شده
utf-8 plain text
آپلود در پوشه اصلی: /robots.txt ایجاد نقشه سایت XML →
تله متری دستورالعمل
استاندارد پروتکل: RFC 9309 / REP
مسیر فایل ریشه: /robots.txt
جستجوی وضعیت خزنده: نمایه سازی استاندارد
مرجع دستورالعمل

نحو و قوانین Core Robots.txt

پروتکل حذف ربات ها (REP) یک استاندارد RFC 9309 است که بودجه خزیدن موتورهای جستجو و نمایه سازی مسیر را کنترل می کند.

User-agent Directive

خانواده خزنده هدف

قوانین زیر برای کدام خزنده اعمال می شود. "کاربر-عامل: *" همه ربات ها را هدف قرار می دهد، در حالی که توکن های خاص خزنده های منفرد را هدف قرار می دهند.

غیر مجاز و مجاز

قوانین دسترسی به مسیر

'Disallow: /admin/' خزنده های سازگار را از خراش دادن پوشه ها متوقف می کند. "اجازه دادن: /" به منابع فرعی دسترسی صریح می دهد.

اعلامیه نقشه سایت

شتاب شاخص

URL مطلق نقشه سایت XML شما را اعلام می کند و به موتورهای جستجو اجازه می دهد تمام صفحات قابل فهرست بندی را در یک مانیفست ساختاریافته کشف کنند.

قانون Crawl-Delay

محدود کردن سرعت خزیدن

توسط Bing و Yandex پشتیبانی می‌شود تا با ایجاد مکث (در ثانیه) بین درخواست‌های متوالی صفحه، از جهش سرور جلوگیری کند.

دفاع خزنده فعال

ربات‌ها و اسکرابرهای بازبینی آگهی، robots.txt را نادیده می‌گیرند.
فیلتر کردن لبه ضد گلوله را با Cloaker.net اعمال کنید.

در حالی که موتورهای جستجو به robots.txt احترام می گذارند، بازبینان تبلیغات (Meta، Google Ads، TikTok) و اسکراپرها دستورالعمل های متنی را نادیده می گیرند. Cloaker.net اثر انگشت سخت افزاری و رمزهای TLS را در لبه در کمتر از 15 میلی ثانیه بررسی می کند.

رهگیری فعال ربات و بازبین
Sub-15ms Redirection Single-Hop Edge
امضاهای متا و گوگل از پیش فیلتر شده
مسیریابی کشور، دستگاه و ASN پویا
آزمایش رایگان را شروع کنید راه اندازی فوری · راه اندازی کد صفر
پشتیبانی و راهنمایی

سوالات متداول

سوالات فنی متداول در مورد دستورالعمل های خزنده، قوانین غیرمجاز و دفاع از پنهان کاری.

فایل robots.txt چیست؟

فایل robots.txt یک فایل متنی استاندارد است که در دایرکتوری ریشه یک وب‌سایت قرار می‌گیرد و به روبات‌های موتورهای جستجو و خزنده‌های خودکار می‌گوید که به کدام URL‌ها می‌توانند یا نمی‌توانند در سایت شما دسترسی داشته باشند.

آیا robots.txt از قیف های وابسته در برابر خزنده های بررسی تبلیغات محافظت می کند؟

نه. در حالی که ربات‌های موتور جستجوی قانونی از robots.txt تبعیت می‌کنند، خزنده‌های بازبینی آگهی (Meta، TikTok، Google Ads) و خراش‌دهنده‌های مخرب اغلب دستورالعمل‌های غیر مجاز را نادیده می‌گیرند. فیلتر کردن لبه سرور فعال با Cloaker.net برای مسدود کردن خزنده‌های غیرمجاز مورد نیاز است.

آیا قانون عدم اجازه در robots.txt از ایندکس شدن صفحه جلوگیری می کند؟

نه لزوما. غیر مجاز کردن یک URL مانع از خزیدن ربات‌های جستجو در محتوای آن می‌شود، اما اگر پیوندهای خارجی به آن URL اشاره کنند، Google همچنان می‌تواند خود URL را ایندکس کند. برای اطمینان از اینکه یک صفحه هرگز ایندکس نمی شود، به جای آن از متا تگ noindex استفاده کنید.

فایل robots.txt کجا باید آپلود شود؟

فایل robots.txt باید در دایرکتوری ریشه دامنه وب سایت شما (به عنوان مثال، https://example.com/robots.txt) آپلود شود.

یکپارچه با شبکه های تبلیغاتی مورد علاقه شما، ردیاب ها و منابع ترافیک کار می کند

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

ترافیک خزنده را در مقیاس کنترل کنید

تغییر مسیرهای لبه زیر 15 میلی‌ثانیه را به کار بگیرید، بازبین‌های ربات را فیلتر کنید و از کمپین‌های تبلیغاتی خود با Cloaker.net محافظت کنید.

✓ بدون نیاز به کارت اعتباری برای آزمایشی  ·  ✓ لغو در هر زمان  ·  ✓ تأخیر زیر میلی‌ثانیه