అనుకూల Robots.txt
& Crawler Builder

క్రాలర్ ఆదేశాలను కాన్ఫిగర్ చేయండి, శోధన ఇంజిన్ యాక్సెస్ అనుమతులను నిర్వచించండి, XML సైట్‌మ్యాప్ పాత్‌లను పేర్కొనండి మరియు క్రాల్ రేట్లను అప్రయత్నంగా నిర్వహించండి.

ప్రీసెట్లు:

robots.txt అవుట్‌పుట్

RFC 9309 సిద్ధంగా ఉంది

రియల్ టైమ్ రోబోట్స్ మినహాయింపు ప్రోటోకాల్ ఫైల్ బిల్డర్

ఆకృతీకరించిన డైరెక్టివ్ టెక్స్ట్
utf-8 plain text
రూట్ డైరెక్టరీకి అప్‌లోడ్ చేయండి: /robots.txt XML సైట్‌మ్యాప్‌ని సృష్టించండి →
డైరెక్టివ్ టెలిమెట్రీ
ప్రోటోకాల్ ప్రమాణం: RFC 9309 / REP
రూట్ ఫైల్ పాత్: /robots.txt
శోధన క్రాలర్ స్థితి: ప్రామాణిక ఇండెక్సింగ్
డైరెక్టివ్ రిఫరెన్స్

కోర్ Robots.txt సింటాక్స్ & రూల్స్

రోబోట్స్ ఎక్స్‌క్లూజన్ ప్రోటోకాల్ (REP) అనేది RFC 9309 స్టాండర్డ్ సెర్చ్ ఇంజన్ క్రాల్ బడ్జెట్‌లు మరియు పాత్ ఇండెక్సింగ్.

User-agent Directive

టార్గెట్ క్రాలర్ కుటుంబం

కింది నియమాలు ఏ క్రాలర్‌కు వర్తిస్తాయో నిర్వచిస్తుంది. 'యూజర్-ఏజెంట్: *' అన్ని బాట్‌లను లక్ష్యంగా చేసుకుంటుంది, అయితే నిర్దిష్ట టోకెన్‌లు వ్యక్తిగత క్రాలర్‌లను లక్ష్యంగా చేసుకుంటాయి.

అనుమతించవద్దు & అనుమతించు

మార్గం యాక్సెస్ నియమాలు

'నిరాకరించు: /అడ్మిన్/' ఫోల్డర్‌లను స్క్రాప్ చేయకుండా కంప్లైంట్ క్రాలర్‌లను ఆపివేస్తుంది. 'అనుమతించు: /' ఉప వనరులకు స్పష్టమైన ప్రాప్యతను మంజూరు చేస్తుంది.

సైట్‌మ్యాప్ ప్రకటన

ఇండెక్స్ త్వరణం

మీ XML సైట్‌మ్యాప్ యొక్క సంపూర్ణ URLని ప్రకటిస్తుంది, నిర్మాణాత్మక మానిఫెస్ట్‌లో అన్ని ఇండెక్సబుల్ పేజీలను కనుగొనడానికి శోధన ఇంజిన్‌లను అనుమతిస్తుంది.

క్రాల్-ఆలస్యం నియమం

క్రాల్ రేట్ పరిమితి

వరుస పేజీ అభ్యర్థనల మధ్య పాజ్ (సెకన్లలో) అమలు చేయడం ద్వారా సర్వర్ స్పైక్‌లను నిరోధించడానికి Bing మరియు Yandex ద్వారా మద్దతు ఉంది.

యాక్టివ్ క్రాలర్ డిఫెన్స్

ప్రకటన సమీక్ష బాట్‌లు & స్క్రాపర్‌లు robots.txtని విస్మరిస్తాయి.
cloaker.netతో బుల్లెట్ ప్రూఫ్ ఎడ్జ్ ఫిల్టరింగ్‌ని అమలు చేయండి.

శోధన ఇంజిన్‌లు robots.txtని గౌరవిస్తున్నప్పుడు, ప్రకటన సమీక్షకులు (మెటా, Google ప్రకటనలు, TikTok) మరియు స్క్రాపర్‌లు వచన ఆదేశాలను విస్మరిస్తాయి. Cloaker.net హార్డ్‌వేర్ వేలిముద్రలు మరియు TLS సైఫర్‌లను అంచున 15ms లోపు తనిఖీ చేస్తుంది.

యాక్టివ్ బాట్ & రివ్యూయర్ ఇంటర్‌సెప్షన్
ఉప-15ms సింగిల్-హాప్ ఎడ్జ్ దారి మళ్లింపు
ముందుగా ఫిల్టర్ చేసిన మెటా & Google సంతకాలు
డైనమిక్ కంట్రీ, పరికరం & ASN రూటింగ్
ఉచిత ట్రయల్ ప్రారంభించండి తక్షణ సెటప్ · జీరో కోడ్ సెటప్
మద్దతు & మార్గదర్శకత్వం

తరచుగా అడిగే ప్రశ్నలు

క్రాలర్ ఆదేశాలు, అనుమతించని నియమాలు మరియు రక్షణ రక్షణ గురించి సాధారణ సాంకేతిక ప్రశ్నలు.

robots.txt ఫైల్ అంటే ఏమిటి?

robots.txt ఫైల్ అనేది వెబ్‌సైట్ యొక్క రూట్ డైరెక్టరీలో ఉంచబడిన ప్రామాణిక టెక్స్ట్ ఫైల్.

robots.txt యాడ్ రివ్యూ క్రాలర్‌ల నుండి అనుబంధ ఫన్నెల్‌లను రక్షిస్తుందా?

కాదు. చట్టబద్ధమైన సెర్చ్ ఇంజన్ బాట్‌లు robots.txtని పాటిస్తున్నప్పటికీ, యాడ్ రివ్యూ క్రాలర్‌లు (మెటా, టిక్‌టాక్, గూగుల్ యాడ్‌లు) మరియు హానికరమైన స్క్రాపర్‌లు తరచుగా ఆదేశాలను విస్మరిస్తాయి. అనధికార క్రాలర్‌లను బ్లాక్ చేయడానికి Cloaker.netతో సక్రియ సర్వర్-సైడ్ ఎడ్జ్ ఫిల్టరింగ్ అవసరం.

robots.txtలోని అనుమతించని నియమం పేజీని ఇండెక్స్ చేయకుండా నిరోధించగలదా?

అవసరం లేదు. URLని అనుమతించకపోవడం శోధన బాట్‌లను దాని కంటెంట్‌ను క్రాల్ చేయకుండా ఆపివేస్తుంది, అయితే బాహ్య లింక్‌లు ఆ URLకి సూచించినట్లయితే, Google ఇప్పటికీ URLని ఇండెక్స్ చేయగలదు. పేజీ ఎప్పుడూ సూచిక చేయబడలేదని నిర్ధారించుకోవడానికి, బదులుగా noindex మెటా ట్యాగ్‌ని ఉపయోగించండి.

robots.txt ఫైల్‌ను ఎక్కడ అప్‌లోడ్ చేయాలి?

robots.txt ఫైల్ తప్పనిసరిగా మీ వెబ్‌సైట్ డొమైన్ యొక్క రూట్ డైరెక్టరీకి అప్‌లోడ్ చేయబడాలి (ఉదా., https://example.com/robots.txt).

మీకు ఇష్టమైన యాడ్ నెట్‌వర్క్‌లు, ట్రాకర్‌లు మరియు ట్రాఫిక్ సోర్స్‌లతో సజావుగా పని చేస్తుంది

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

స్కేల్ వద్ద క్రాలర్ ట్రాఫిక్‌ను నియంత్రించండి

ఉప-15ms అంచు దారిమార్పులను అమలు చేయండి, బోట్ సమీక్షకులను ఫిల్టర్ చేయండి మరియు Cloaker.netతో మీ ప్రకటన ప్రచారాలను రక్షించండి.

✓ ట్రయల్ కోసం క్రెడిట్ కార్డ్ అవసరం లేదు  ·  ✓ ఎప్పుడైనా రద్దు చేయి  ·  ✓ ఉప-మిల్లీసెకన్ల జాప్యం