سفارشی Robots.txt
& Crawler Builder
دستورالعملهای خزنده را پیکربندی کنید، مجوزهای دسترسی موتور جستجو را تعریف کنید، مسیرهای نقشه سایت XML را مشخص کنید، و نرخهای خزیدن را بدون زحمت مدیریت کنید.
خروجی robots.txt
RFC 9309 آماده استسازنده فایل پروتکل محرومیت روبات ها در زمان واقعی
نحو و قوانین Core Robots.txt
پروتکل حذف ربات ها (REP) یک استاندارد RFC 9309 است که بودجه خزیدن موتورهای جستجو و نمایه سازی مسیر را کنترل می کند.
خانواده خزنده هدف
قوانین زیر برای کدام خزنده اعمال می شود. "کاربر-عامل: *" همه ربات ها را هدف قرار می دهد، در حالی که توکن های خاص خزنده های منفرد را هدف قرار می دهند.
قوانین دسترسی به مسیر
'Disallow: /admin/' خزنده های سازگار را از خراش دادن پوشه ها متوقف می کند. "اجازه دادن: /" به منابع فرعی دسترسی صریح می دهد.
شتاب شاخص
URL مطلق نقشه سایت XML شما را اعلام می کند و به موتورهای جستجو اجازه می دهد تمام صفحات قابل فهرست بندی را در یک مانیفست ساختاریافته کشف کنند.
محدود کردن سرعت خزیدن
توسط Bing و Yandex پشتیبانی میشود تا با ایجاد مکث (در ثانیه) بین درخواستهای متوالی صفحه، از جهش سرور جلوگیری کند.
رباتها و اسکرابرهای بازبینی آگهی، robots.txt را نادیده میگیرند.
فیلتر کردن لبه ضد گلوله را با Cloaker.net اعمال کنید.
در حالی که موتورهای جستجو به robots.txt احترام می گذارند، بازبینان تبلیغات (Meta، Google Ads، TikTok) و اسکراپرها دستورالعمل های متنی را نادیده می گیرند. Cloaker.net اثر انگشت سخت افزاری و رمزهای TLS را در لبه در کمتر از 15 میلی ثانیه بررسی می کند.
سوالات متداول
سوالات فنی متداول در مورد دستورالعمل های خزنده، قوانین غیرمجاز و دفاع از پنهان کاری.
فایل robots.txt یک فایل متنی استاندارد است که در دایرکتوری ریشه یک وبسایت قرار میگیرد و به روباتهای موتورهای جستجو و خزندههای خودکار میگوید که به کدام URLها میتوانند یا نمیتوانند در سایت شما دسترسی داشته باشند.
نه. در حالی که رباتهای موتور جستجوی قانونی از robots.txt تبعیت میکنند، خزندههای بازبینی آگهی (Meta، TikTok، Google Ads) و خراشدهندههای مخرب اغلب دستورالعملهای غیر مجاز را نادیده میگیرند. فیلتر کردن لبه سرور فعال با Cloaker.net برای مسدود کردن خزندههای غیرمجاز مورد نیاز است.
نه لزوما. غیر مجاز کردن یک URL مانع از خزیدن رباتهای جستجو در محتوای آن میشود، اما اگر پیوندهای خارجی به آن URL اشاره کنند، Google همچنان میتواند خود URL را ایندکس کند. برای اطمینان از اینکه یک صفحه هرگز ایندکس نمی شود، به جای آن از متا تگ noindex استفاده کنید.
فایل robots.txt باید در دایرکتوری ریشه دامنه وب سایت شما (به عنوان مثال، https://example.com/robots.txt) آپلود شود.
یکپارچه با شبکه های تبلیغاتی مورد علاقه شما، ردیاب ها و منابع ترافیک کار می کند
ترافیک خزنده را در مقیاس کنترل کنید
تغییر مسیرهای لبه زیر 15 میلیثانیه را به کار بگیرید، بازبینهای ربات را فیلتر کنید و از کمپینهای تبلیغاتی خود با Cloaker.net محافظت کنید.
✓ بدون نیاز به کارت اعتباری برای آزمایشی · ✓ لغو در هر زمان · ✓ تأخیر زیر میلیثانیه