Custom Robots.txt
& Crawler Builder

கிராலர் வழிமுறைகளை உள்ளமைக்கவும், தேடுபொறி அணுகல் அனுமதிகளை வரையறுக்கவும், எக்ஸ்எம்எல் தளவரைபட பாதைகளை குறிப்பிடவும் மற்றும் க்ரால் விகிதங்களை சிரமமின்றி நிர்வகிக்கவும்.

முன்னமைவுகள்:

robots.txt வெளியீடு

RFC 9309 தயார்

நிகழ்நேர ரோபோக்கள் விலக்கு நெறிமுறை கோப்பு உருவாக்கம்

வடிவமைக்கப்பட்ட கட்டளை உரை
utf-8 plain text
ரூட் கோப்பகத்தில் பதிவேற்றவும்: /robots.txt XML தளவரைபடத்தை உருவாக்கவும் →
டைரக்டிவ் டெலிமெட்ரி
நெறிமுறை தரநிலை: RFC 9309 / REP
ரூட் கோப்பு பாதை: /robots.txt
தேடு கிராலர் நிலை: நிலையான அட்டவணைப்படுத்தல்
வழிகாட்டுதல் குறிப்பு

கோர் Robots.txt தொடரியல் & விதிகள்

Robots Exclusion Protocol (REP) என்பது RFC 9309 தரநிலையான தேடுபொறி வலைவல பட்ஜெட் மற்றும் பாதை அட்டவணைப்படுத்தல் ஆகும்.

User-agent Directive

இலக்கு கிராலர் குடும்பம்

எந்த கிராலருக்கு பின்வரும் விதிகள் பொருந்தும் என்பதை வரையறுக்கிறது. 'பயனர்-முகவர்: *' அனைத்து போட்களையும் குறிவைக்கும், குறிப்பிட்ட டோக்கன்கள் தனிப்பட்ட கிராலர்களை குறிவைக்கும்.

அனுமதிக்காதே & அனுமதி

பாதை அணுகல் விதிகள்

'Disallow: /admin/' கோப்புறைகளை ஸ்கிராப்பிங் செய்வதிலிருந்து இணக்கமான கிராலர்களை நிறுத்துகிறது. 'அனுமதி: /' துணை வளங்களுக்கு வெளிப்படையான அணுகலை வழங்குகிறது.

தளவரைபட பிரகடனம்

குறியீட்டு முடுக்கம்

உங்கள் XML தளவரைபடத்தின் முழுமையான URLஐ அறிவிக்கிறது, கட்டமைக்கப்பட்ட மேனிஃபெஸ்டில் அனைத்து அட்டவணைப்படுத்தக்கூடிய பக்கங்களையும் தேடுபொறிகள் கண்டறிய அனுமதிக்கிறது.

வலம்-தாமத விதி

வலைவல விகிதம் வரம்பு

தொடர்ச்சியான பக்க கோரிக்கைகளுக்கு இடையே இடைநிறுத்தத்தை (வினாடிகளில்) செயல்படுத்துவதன் மூலம் சர்வர் ஸ்பைக்குகளைத் தடுக்க Bing மற்றும் Yandex ஆல் ஆதரிக்கப்படுகிறது.

செயலில் கிராலர் பாதுகாப்பு

விளம்பர மதிப்பாய்வு போட்கள் & ஸ்கிராப்பர்கள் robots.txt ஐ புறக்கணிக்கும்.
cloaker.net மூலம் குண்டு துளைக்காத விளிம்பு வடிகட்டலைச் செயல்படுத்தவும்.

தேடுபொறிகள் robots.txt ஐ மதிக்கும் அதே வேளையில், விளம்பர மதிப்பாய்வாளர்கள் (Meta, Google Ads, TikTok) மற்றும் ஸ்கிராப்பர்கள் உரை வழிகாட்டுதல்களை புறக்கணிக்கின்றனர். Cloaker.net வன்பொருள் கைரேகைகள் மற்றும் TLS மறைக்குறியீடுகளை 15ms க்கு கீழ் விளிம்பில் ஆய்வு செய்கிறது.

ஆக்டிவ் பாட் & ரிவியூவர் இன்டர்செப்ஷன்
சப்-15எம்எஸ் சிங்கிள்-ஹாப் எட்ஜ் திசைதிருப்பல்
முன் வடிகட்டப்பட்ட மெட்டா & Google கையொப்பங்கள்
டைனமிக் நாடு, சாதனம் & ASN ரூட்டிங்
இலவச சோதனையைத் தொடங்கவும் உடனடி அமைவு · பூஜ்ஜிய குறியீடு அமைப்பு
ஆதரவு மற்றும் வழிகாட்டுதல்

அடிக்கடி கேட்கப்படும் கேள்விகள்

கிராலர் வழிகாட்டுதல்கள், விதிகளை அனுமதிக்காதது மற்றும் பாதுகாப்பு பாதுகாப்பு பற்றிய பொதுவான தொழில்நுட்ப கேள்விகள்.

robots.txt கோப்பு என்றால் என்ன?

robots.txt கோப்பு என்பது இணையதளத்தின் ரூட் டைரக்டரியில் வைக்கப்படும் நிலையான உரைக் கோப்பாகும், இது தேடுபொறி ரோபோக்கள் மற்றும் தானியங்கு கிராலர்கள் உங்கள் தளத்தில் எந்த URLகளை அணுகலாம் அல்லது அணுக முடியாது என்பதைக் கூறுகிறது.

robots.txt ஆனது விளம்பர மதிப்பாய்வு கிராலர்களிடமிருந்து துணை புனல்களைப் பாதுகாக்கிறதா?

இல்லை. முறையான தேடுபொறி போட்கள் robots.txt க்குக் கீழ்ப்படிந்தாலும், விளம்பர மதிப்பாய்வு கிராலர்கள் (Meta, TikTok, Google விளம்பரங்கள்) மற்றும் தீங்கிழைக்கும் ஸ்கிராப்பர்கள் பெரும்பாலும் கட்டளைகளை அனுமதிப்பதைப் புறக்கணிக்கின்றன. அங்கீகரிக்கப்படாத கிராலர்களைத் தடுக்க, Cloaker.net உடன் செயலில் உள்ள சர்வர் பக்க வடிகட்டுதல் தேவை.

robots.txt இல் உள்ள அனுமதிக்காத விதி ஒரு பக்கத்தை அட்டவணைப்படுத்துவதைத் தடுக்கிறதா?

அவசியம் இல்லை. URLஐ அனுமதிப்பதைத் தடுப்பது, தேடல் போட்களை அதன் உள்ளடக்கத்தை வலைவலம் செய்வதைத் தடுக்கிறது, ஆனால் வெளிப்புற இணைப்புகள் அந்த URLஐச் சுட்டிக்காட்டினால், URL ஐ Google இன்னும் அட்டவணைப்படுத்தலாம். ஒரு பக்கம் அட்டவணைப்படுத்தப்படவில்லை என்பதை உறுதிப்படுத்த, அதற்குப் பதிலாக ஒரு noindex மெட்டா டேக்கைப் பயன்படுத்தவும்.

robots.txt கோப்பை எங்கு பதிவேற்ற வேண்டும்?

robots.txt கோப்பு உங்கள் இணையதள டொமைனின் ரூட் கோப்பகத்தில் பதிவேற்றப்பட வேண்டும் (எ.கா., https://example.com/robots.txt).

உங்களுக்குப் பிடித்த விளம்பர நெட்வொர்க்குகள், டிராக்கர்கள் மற்றும் போக்குவரத்து ஆதாரங்களுடன் தடையின்றி வேலை செய்கிறது

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

கிராலர் போக்குவரத்தை அளவில் கட்டுப்படுத்தவும்

சப்-15எம்எஸ் எட்ஜ் வழிமாற்றுகளை வரிசைப்படுத்தவும், பாட் மதிப்பாய்வாளர்களை வடிகட்டவும் மற்றும் உங்கள் விளம்பர பிரச்சாரங்களை Cloaker.net மூலம் பாதுகாக்கவும்.

✓ சோதனைக்கு கிரெடிட் கார்டு தேவையில்லை  ·  ✓ எப்போது வேண்டுமானாலும் ரத்து செய்யலாம்  ·  ✓ துணை மில்லி விநாடி தாமதம்