Custom Robots.txt
& Crawler Builder
கிராலர் வழிமுறைகளை உள்ளமைக்கவும், தேடுபொறி அணுகல் அனுமதிகளை வரையறுக்கவும், எக்ஸ்எம்எல் தளவரைபட பாதைகளை குறிப்பிடவும் மற்றும் க்ரால் விகிதங்களை சிரமமின்றி நிர்வகிக்கவும்.
robots.txt வெளியீடு
RFC 9309 தயார்நிகழ்நேர ரோபோக்கள் விலக்கு நெறிமுறை கோப்பு உருவாக்கம்
கோர் Robots.txt தொடரியல் & விதிகள்
Robots Exclusion Protocol (REP) என்பது RFC 9309 தரநிலையான தேடுபொறி வலைவல பட்ஜெட் மற்றும் பாதை அட்டவணைப்படுத்தல் ஆகும்.
இலக்கு கிராலர் குடும்பம்
எந்த கிராலருக்கு பின்வரும் விதிகள் பொருந்தும் என்பதை வரையறுக்கிறது. 'பயனர்-முகவர்: *' அனைத்து போட்களையும் குறிவைக்கும், குறிப்பிட்ட டோக்கன்கள் தனிப்பட்ட கிராலர்களை குறிவைக்கும்.
பாதை அணுகல் விதிகள்
'Disallow: /admin/' கோப்புறைகளை ஸ்கிராப்பிங் செய்வதிலிருந்து இணக்கமான கிராலர்களை நிறுத்துகிறது. 'அனுமதி: /' துணை வளங்களுக்கு வெளிப்படையான அணுகலை வழங்குகிறது.
குறியீட்டு முடுக்கம்
உங்கள் XML தளவரைபடத்தின் முழுமையான URLஐ அறிவிக்கிறது, கட்டமைக்கப்பட்ட மேனிஃபெஸ்டில் அனைத்து அட்டவணைப்படுத்தக்கூடிய பக்கங்களையும் தேடுபொறிகள் கண்டறிய அனுமதிக்கிறது.
வலைவல விகிதம் வரம்பு
தொடர்ச்சியான பக்க கோரிக்கைகளுக்கு இடையே இடைநிறுத்தத்தை (வினாடிகளில்) செயல்படுத்துவதன் மூலம் சர்வர் ஸ்பைக்குகளைத் தடுக்க Bing மற்றும் Yandex ஆல் ஆதரிக்கப்படுகிறது.
விளம்பர மதிப்பாய்வு போட்கள் & ஸ்கிராப்பர்கள் robots.txt ஐ புறக்கணிக்கும்.
cloaker.net மூலம் குண்டு துளைக்காத விளிம்பு வடிகட்டலைச் செயல்படுத்தவும்.
தேடுபொறிகள் robots.txt ஐ மதிக்கும் அதே வேளையில், விளம்பர மதிப்பாய்வாளர்கள் (Meta, Google Ads, TikTok) மற்றும் ஸ்கிராப்பர்கள் உரை வழிகாட்டுதல்களை புறக்கணிக்கின்றனர். Cloaker.net வன்பொருள் கைரேகைகள் மற்றும் TLS மறைக்குறியீடுகளை 15ms க்கு கீழ் விளிம்பில் ஆய்வு செய்கிறது.
அடிக்கடி கேட்கப்படும் கேள்விகள்
கிராலர் வழிகாட்டுதல்கள், விதிகளை அனுமதிக்காதது மற்றும் பாதுகாப்பு பாதுகாப்பு பற்றிய பொதுவான தொழில்நுட்ப கேள்விகள்.
robots.txt கோப்பு என்பது இணையதளத்தின் ரூட் டைரக்டரியில் வைக்கப்படும் நிலையான உரைக் கோப்பாகும், இது தேடுபொறி ரோபோக்கள் மற்றும் தானியங்கு கிராலர்கள் உங்கள் தளத்தில் எந்த URLகளை அணுகலாம் அல்லது அணுக முடியாது என்பதைக் கூறுகிறது.
இல்லை. முறையான தேடுபொறி போட்கள் robots.txt க்குக் கீழ்ப்படிந்தாலும், விளம்பர மதிப்பாய்வு கிராலர்கள் (Meta, TikTok, Google விளம்பரங்கள்) மற்றும் தீங்கிழைக்கும் ஸ்கிராப்பர்கள் பெரும்பாலும் கட்டளைகளை அனுமதிப்பதைப் புறக்கணிக்கின்றன. அங்கீகரிக்கப்படாத கிராலர்களைத் தடுக்க, Cloaker.net உடன் செயலில் உள்ள சர்வர் பக்க வடிகட்டுதல் தேவை.
அவசியம் இல்லை. URLஐ அனுமதிப்பதைத் தடுப்பது, தேடல் போட்களை அதன் உள்ளடக்கத்தை வலைவலம் செய்வதைத் தடுக்கிறது, ஆனால் வெளிப்புற இணைப்புகள் அந்த URLஐச் சுட்டிக்காட்டினால், URL ஐ Google இன்னும் அட்டவணைப்படுத்தலாம். ஒரு பக்கம் அட்டவணைப்படுத்தப்படவில்லை என்பதை உறுதிப்படுத்த, அதற்குப் பதிலாக ஒரு noindex மெட்டா டேக்கைப் பயன்படுத்தவும்.
robots.txt கோப்பு உங்கள் இணையதள டொமைனின் ரூட் கோப்பகத்தில் பதிவேற்றப்பட வேண்டும் (எ.கா., https://example.com/robots.txt).
உங்களுக்குப் பிடித்த விளம்பர நெட்வொர்க்குகள், டிராக்கர்கள் மற்றும் போக்குவரத்து ஆதாரங்களுடன் தடையின்றி வேலை செய்கிறது
கிராலர் போக்குவரத்தை அளவில் கட்டுப்படுத்தவும்
சப்-15எம்எஸ் எட்ஜ் வழிமாற்றுகளை வரிசைப்படுத்தவும், பாட் மதிப்பாய்வாளர்களை வடிகட்டவும் மற்றும் உங்கள் விளம்பர பிரச்சாரங்களை Cloaker.net மூலம் பாதுகாக்கவும்.
✓ சோதனைக்கு கிரெடிட் கார்டு தேவையில்லை · ✓ எப்போது வேண்டுமானாலும் ரத்து செய்யலாம் · ✓ துணை மில்லி விநாடி தாமதம்