कस्टम रोबोट्स.txt
& क्रॉलर बिल्डर

क्रॉलर निर्देशों को कॉन्फ़िगर करें, खोज इंजन एक्सेस अनुमतियों को परिभाषित करें, XML साइटमैप पथ निर्दिष्ट करें, और क्रॉल दरों को सहजता से प्रबंधित करें।

प्रीसेट:

robots.txt आउटपुट

आरएफसी 9309 तैयार

वास्तविक समय रोबोट बहिष्करण प्रोटोकॉल फ़ाइल बिल्डर

स्वरूपित निर्देश पाठ
utf-8 plain text
रूट निर्देशिका पर अपलोड करें: /robots.txt XML साइटमैप बनाएं →
डायरेक्टिव टेलीमेट्री
प्रोटोकॉल मानक: RFC 9309 / REP
रूट फ़ाइल पथ: /robots.txt
क्रॉलर स्थिति खोजें: मानक अनुक्रमण
निर्देशात्मक संदर्भ

कोर रोबोट्स.txt सिंटैक्स और नियम

रोबोट्स एक्सक्लूजन प्रोटोकॉल (आरईपी) एक आरएफसी 9309 मानक है जो खोज इंजन क्रॉल बजट और पथ अनुक्रमण को नियंत्रित करता है।

User-agent Directive

लक्ष्य क्रॉलर परिवार

परिभाषित करता है कि निम्नलिखित नियम किस क्रॉलर पर लागू होते हैं। 'उपयोगकर्ता-एजेंट: *' सभी बॉट्स को लक्षित करता है, जबकि विशिष्ट टोकन व्यक्तिगत क्रॉलर को लक्षित करते हैं।

अस्वीकृत एवं अनुमति दें

पथ पहुंच नियम

'अस्वीकृत करें: /एडमिन/' अनुपालन वाले क्रॉलर्स को फ़ोल्डर्स को स्क्रैप करने से रोकता है। 'अनुमति दें: /' उप-संसाधनों तक स्पष्ट पहुंच प्रदान करता है।

साइटमैप घोषणा

सूचकांक त्वरण

आपके XML साइटमैप के संपूर्ण URL की घोषणा करता है, जिससे खोज इंजनों को एक संरचित मैनिफ़ेस्ट में सभी अनुक्रमित पृष्ठों को खोजने की अनुमति मिलती है।

क्रॉल-विलंब नियम

क्रॉल दर सीमित करना

लगातार पेज अनुरोधों के बीच विराम (सेकंड में) लागू करके सर्वर स्पाइक्स को रोकने के लिए बिंग और यांडेक्स द्वारा समर्थित।

सक्रिय क्रॉलर रक्षा

विज्ञापन समीक्षा बॉट और स्क्रेपर्स robots.txt को अनदेखा करते हैं।
Cloaker.net के साथ बुलेटप्रूफ एज फ़िल्टरिंग लागू करें।

जबकि खोज इंजन robots.txt का सम्मान करते हैं, विज्ञापन समीक्षक (मेटा, Google विज्ञापन, टिकटॉक) और स्क्रैपर्स पाठ निर्देशों को अनदेखा करते हैं। Cloaker.net 15 एमएस से कम समय में किनारे पर हार्डवेयर फ़िंगरप्रिंट और टीएलएस सिफर का निरीक्षण करता है।

सक्रिय बॉट और समीक्षक अवरोधन
सब-15एमएस सिंगल-हॉप एज रीडायरेक्शन
पूर्व-फ़िल्टर किए गए मेटा और Google हस्ताक्षर
गतिशील देश, डिवाइस और एएसएन रूटिंग
निःशुल्क परीक्षण प्रारंभ करें त्वरित सेटअप · शून्य कोड सेटअप
समर्थन एवं मार्गदर्शन

अक्सर पूछे जाने वाले प्रश्न

क्रॉलर निर्देशों, अस्वीकृत नियमों और क्लोकिंग सुरक्षा के बारे में सामान्य तकनीकी प्रश्न।

robots.txt फ़ाइल क्या है?

robots.txt फ़ाइल एक वेबसाइट की रूट निर्देशिका में रखी गई एक मानक टेक्स्ट फ़ाइल है जो खोज इंजन रोबोट और स्वचालित क्रॉलर को बताती है कि वे आपकी साइट पर कौन से URL तक पहुंच सकते हैं या नहीं।

क्या robots.txt सहबद्ध फ़नल को विज्ञापन समीक्षा क्रॉलर से बचाता है?

नहीं, जबकि वैध खोज इंजन बॉट robots.txt का पालन करते हैं, विज्ञापन समीक्षा क्रॉलर (मेटा, टिकटॉक, Google विज्ञापन) और दुर्भावनापूर्ण स्क्रेपर्स अक्सर अस्वीकृत निर्देशों को अनदेखा करते हैं। अनधिकृत क्रॉलर्स को ब्लॉक करने के लिए Cloaker.net के साथ सक्रिय सर्वर-साइड एज फ़िल्टरिंग आवश्यक है।

क्या robots.txt में अस्वीकृत नियम किसी पृष्ठ को अनुक्रमित होने से रोकता है?

आवश्यक रूप से नहीं। किसी URL को अस्वीकार करने से खोज बॉट उसकी सामग्री को क्रॉल करने से रुक जाते हैं, लेकिन यदि बाहरी लिंक उस URL की ओर इशारा करते हैं, तो Google अभी भी URL को स्वयं अनुक्रमित कर सकता है। यह सुनिश्चित करने के लिए कि कोई पृष्ठ कभी अनुक्रमित न हो, इसके बजाय नोइंडेक्स मेटा टैग का उपयोग करें।

robots.txt फ़ाइल कहाँ अपलोड की जानी चाहिए?

robots.txt फ़ाइल को आपके वेबसाइट डोमेन की रूट डायरेक्टरी (जैसे, https://example.com/robots.txt) पर अपलोड किया जाना चाहिए।

आपके पसंदीदा विज्ञापन नेटवर्क, ट्रैकर्स और ट्रैफ़िक स्रोतों के साथ निर्बाध रूप से काम करता है

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

क्रॉलर ट्रैफ़िक को बड़े पैमाने पर नियंत्रित करें

सब-15एमएस एज रीडायरेक्ट तैनात करें, बॉट समीक्षकों को फ़िल्टर करें, और Cloaker.net के साथ अपने विज्ञापन अभियानों को सुरक्षित रखें।

✓ परीक्षण के लिए किसी क्रेडिट कार्ड की आवश्यकता नहीं है · ✓ किसी भी समय रद्द करें · · ✓ उप-मिलीसेकंड विलंबता