စိတ်ကြိုက် Robots.txt
& Crawler Builder

crawler လမ်းညွှန်ချက်များကို စီစဉ်သတ်မှတ်ခြင်း၊ ရှာဖွေရေးအင်ဂျင်ဝင်ရောက်ခွင့်များကို သတ်မှတ်ခြင်း၊ XML sitemap လမ်းကြောင်းများကို သတ်မှတ်ခြင်းနှင့် ကူးယူခြင်းနှုန်းများကို လွယ်ကူစွာ စီမံခန့်ခွဲပါ။

ကြိုတင်သတ်မှတ်မှုများ-

robots.txt အထွက်

RFC 9309 အဆင်သင့်ဖြစ်ပါပြီ။

Real-time Robots Exclusion Protocol ဖိုင်တည်ဆောက်သူ

ညွှန်ကြားချက်စာသားကို ဖော်မတ်ထားသည်။
utf-8 plain text
အမြစ်လမ်းညွှန်သို့ အပ်လုဒ်လုပ်ပါ- /robots.txt XML Sitemap → ဖန်တီးပါ။
ညွှန်ကြားချက် Telemetry
ပရိုတိုကော စံ- RFC 9309 / REP
အမြစ်ဖိုင်လမ်းကြောင်း- /robots.txt
Crawler Status ကို ရှာပါ- စံညွှန်းကိန်း
ညွှန်ကြားချက် အကိုးအကား

Core Robots.txt Syntax & Rules

Robots Exclusion Protocol (REP) သည် search engine crawl budgets နှင့် path indexing ကို ထိန်းချုပ်သည့် RFC 9309 စံတစ်ခုဖြစ်သည်။

User-agent Directive

ပစ်မှတ် Crawler မိသားစု

အောက်ပါစည်းမျဉ်းများနှင့် သက်ဆိုင်သည့် စာရေးကိရိယာကို သတ်မှတ်သည်။ 'အသုံးပြုသူ-အေးဂျင့်- *' သည် ဘော့တ်များအားလုံးကို ပစ်မှတ်ထားသော်လည်း သီးခြားတိုကင်များသည် တစ်ဦးချင်းစီ crawler များကို ပစ်မှတ်ထားသည်။

Disallow & Allow

လမ်းကြောင်းဝင်ရောက်ခွင့် စည်းကမ်းများ

'Disallow: /admin/' သည် ဖိုင်တွဲများကို ဖျက်ခြင်းမှ ကိုက်ညီသော စာရေးကိရိယာများကို ရပ်တန့်စေသည်။ 'Allow: /' သည် အရင်းအမြစ်ခွဲများသို့ ပြတ်သားစွာ ဝင်ရောက်ခွင့်ကို ပေးသည်။

Sitemap ကြေငြာချက်

အညွှန်းကိန်း အရှိန်

ရှာဖွေရေးအင်ဂျင်များသည် ညွှန်းကိန်းထုတ်နိုင်သော စာမျက်နှာအားလုံးကို ဖွဲ့စည်းတည်ဆောက်ထားသော မန်နီးဖက်စ်တွင် ရှာဖွေတွေ့ရှိနိုင်စေမည့် သင်၏ XML ဆိုက်မြေပုံ၏ ပကတိ URL ကို ကြေညာသည်။

Crawl-Delay Rule

Crawl Rate Limiting

ဆက်တိုက်စာမျက်နှာတောင်းဆိုမှုများကြားတွင် ခေတ္တရပ်နားရန် (စက္ကန့်ပိုင်းအတွင်း) တွန်းအားပေးခြင်းဖြင့် ဆာဗာတိုးခြင်းကို ကာကွယ်ရန် Bing နှင့် Yandex မှ ပံ့ပိုးထားသည်။

Active Crawler ကာကွယ်ရေး

ကြော်ငြာသုံးသပ်ချက် ဘော့တ်များနှင့် ဆော့ဖ်ဝဲများသည် robots.txt ကို လျစ်လျူရှုသည်။
Cloaker.net ဖြင့် ကျည်ကာအစွန်းများကို စစ်ထုတ်ခြင်းကို တွန်းအားပေးပါ။

ရှာဖွေရေးအင်ဂျင်များသည် robots.txt ကို လေးစားသော်လည်း၊ ကြော်ငြာသုံးသပ်သူများ (Meta၊ Google Ads၊ TikTok) နှင့် scrapers များသည် စာသားလမ်းညွှန်ချက်များကို လျစ်လျူရှုကြသည်။ Cloaker.net သည် 15ms အောက်အတွင်း အစွန်းရှိ ဟာ့ဒ်ဝဲလက်ဗွေနှင့် TLS စာဝှက်များကို စစ်ဆေးသည်။

Active Bot & Reviewer Interception
Sub-15ms Single-Hop Edge Redirection
ကြိုတင် စစ်ထုတ်ထားသော မက်တာနှင့် Google လက်မှတ်များ
ဒိုင်းနမစ်နိုင်ငံ၊ စက်ပစ္စည်းနှင့် ASN လမ်းစဉ်
အခမဲ့ အစမ်းစတင်ပါ။ ချက်ခြင်းထည့်သွင်းခြင်း · Zero Code စနစ်ထည့်သွင်းခြင်း။
ပံ့ပိုးမှုနှင့် လမ်းညွှန်မှု

မေးလေ့ရှိသောမေးခွန်းများ

စာရေးကိရိယာ လမ်းညွှန်ချက်များ၊ စည်းကမ်းများကို ခွင့်မပြုခြင်းနှင့် ဖုံးကွယ်ခြင်း ကာကွယ်ရေးဆိုင်ရာ ဘုံနည်းပညာဆိုင်ရာ မေးခွန်းများ။

robots.txt ဖိုင်ဆိုတာ ဘာလဲ။

robots.txt ဖိုင်သည် ရှာဖွေရေးအင်ဂျင်စက်ရုပ်များနှင့် သင့်ဆိုက်ပေါ်ရှိ မည်သည့် URL များကို ၎င်းတို့ဝင်ရောက်နိုင်သည် သို့မဟုတ် မဝင်ရောက်နိုင်သည်ကို ပြောပြသည့် ဝဘ်ဆိုက်၏ အမြစ်လမ်းညွှန်တွင် ထားရှိထားသော စံစာသားဖိုင်ဖြစ်သည်။

robots.txt သည် ကြော်ငြာသုံးသပ်ရေး စာရေးကိရိယာများထံမှ တွဲဖက်လုပ်ဆောင်သော လမ်းကြောင်းများကို ကာကွယ်ပေးပါသလား။

နံပါတ်။ တရားဝင်ရှာဖွေရေးအင်ဂျင်ဘော့တ်များသည် robots.txt ကိုနာခံသော်လည်း၊ ကြော်ငြာပြန်လည်သုံးသပ်ရေးရေးကိရိယာများ (Meta၊ TikTok၊ Google Ads) နှင့် အန္တရာယ်ရှိသောခြစ်သူများသည် ညွှန်ကြားချက်များကို ခွင့်မပြုဘဲ မကြာခဏ လျစ်လျူရှုကြသည်။ ခွင့်ပြုချက်မရှိသော စာရေးကိရိယာများကို ပိတ်ဆို့ရန်အတွက် Cloaker.net ဖြင့် Active server-side edge filtering ကို လိုအပ်ပါသည်။

robots.txt တွင် တားမြစ်ထားသော စည်းမျဉ်းသည် စာမျက်နှာတစ်ခုကို အညွှန်းမခံရစေရန် တားဆီးပါသလား။

သေချာပေါက်။ URL တစ်ခုအား ခွင့်မပြုခြင်းသည် ၎င်း၏ အကြောင်းအရာကို ရှာဖွေမှု ဘော့တ်များကို ကူးယူခြင်းမှ ရပ်တန့်စေသည်၊ သို့သော် ပြင်ပလင့်ခ်များက ထို URL ကို ညွှန်ပြပါက၊ Google သည် URL ကို သူ့ဘာသာသူ အညွှန်းပေးနိုင်ပါသည်။ စာမျက်နှာတစ်ခုကို ဘယ်သောအခါမှ အညွှန်းမတင်ကြောင်း သေချာစေရန်၊ ၎င်းအစား noindex meta tag ကိုသုံးပါ။

robots.txt ဖိုင်ကို မည်သည့်နေရာတွင် အပ်လုဒ်လုပ်သင့်သနည်း။

robots.txt ဖိုင်ကို သင့်ဝဘ်ဆိုဒ်ဒိုမိန်း၏ အမြစ်လမ်းညွှန်သို့ အပ်လုဒ်လုပ်ရမည် (ဥပမာ၊ https://example.com/robots.txt)။

သင်အကြိုက်ဆုံး ကြော်ငြာကွန်ရက်များ၊ ခြေရာခံသူများ၊ ယာဉ်အသွားအလာရင်းမြစ်များနှင့် ချောမွေ့စွာ အလုပ်လုပ်ပါ။

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

အတိုင်းအတာဖြင့် စာရေးကိရိယာလမ်းကြောင်းကို ထိန်းချုပ်ပါ။

Sub-15ms edge redirects များကို အသုံးပြုပါ၊ ဘော့တ်သုံးသပ်သူများကို စစ်ထုတ်ကာ Cloaker.net ဖြင့် သင့်ကြော်ငြာလှုံ့ဆော်မှုများကို ကာကွယ်ပါ။

✓ အစမ်းသုံးအတွက် ခရက်ဒစ်ကတ် မလိုအပ်ပါ  ·  ✓ အချိန်မရွေး Cancel  ·  ✓ မီလီစက္ကန့်ခွဲကြာချိန်