စိတ်ကြိုက် Robots.txt
& Crawler Builder
crawler လမ်းညွှန်ချက်များကို စီစဉ်သတ်မှတ်ခြင်း၊ ရှာဖွေရေးအင်ဂျင်ဝင်ရောက်ခွင့်များကို သတ်မှတ်ခြင်း၊ XML sitemap လမ်းကြောင်းများကို သတ်မှတ်ခြင်းနှင့် ကူးယူခြင်းနှုန်းများကို လွယ်ကူစွာ စီမံခန့်ခွဲပါ။
robots.txt အထွက်
RFC 9309 အဆင်သင့်ဖြစ်ပါပြီ။Real-time Robots Exclusion Protocol ဖိုင်တည်ဆောက်သူ
Core Robots.txt Syntax & Rules
Robots Exclusion Protocol (REP) သည် search engine crawl budgets နှင့် path indexing ကို ထိန်းချုပ်သည့် RFC 9309 စံတစ်ခုဖြစ်သည်။
ပစ်မှတ် Crawler မိသားစု
အောက်ပါစည်းမျဉ်းများနှင့် သက်ဆိုင်သည့် စာရေးကိရိယာကို သတ်မှတ်သည်။ 'အသုံးပြုသူ-အေးဂျင့်- *' သည် ဘော့တ်များအားလုံးကို ပစ်မှတ်ထားသော်လည်း သီးခြားတိုကင်များသည် တစ်ဦးချင်းစီ crawler များကို ပစ်မှတ်ထားသည်။
လမ်းကြောင်းဝင်ရောက်ခွင့် စည်းကမ်းများ
'Disallow: /admin/' သည် ဖိုင်တွဲများကို ဖျက်ခြင်းမှ ကိုက်ညီသော စာရေးကိရိယာများကို ရပ်တန့်စေသည်။ 'Allow: /' သည် အရင်းအမြစ်ခွဲများသို့ ပြတ်သားစွာ ဝင်ရောက်ခွင့်ကို ပေးသည်။
အညွှန်းကိန်း အရှိန်
ရှာဖွေရေးအင်ဂျင်များသည် ညွှန်းကိန်းထုတ်နိုင်သော စာမျက်နှာအားလုံးကို ဖွဲ့စည်းတည်ဆောက်ထားသော မန်နီးဖက်စ်တွင် ရှာဖွေတွေ့ရှိနိုင်စေမည့် သင်၏ XML ဆိုက်မြေပုံ၏ ပကတိ URL ကို ကြေညာသည်။
Crawl Rate Limiting
ဆက်တိုက်စာမျက်နှာတောင်းဆိုမှုများကြားတွင် ခေတ္တရပ်နားရန် (စက္ကန့်ပိုင်းအတွင်း) တွန်းအားပေးခြင်းဖြင့် ဆာဗာတိုးခြင်းကို ကာကွယ်ရန် Bing နှင့် Yandex မှ ပံ့ပိုးထားသည်။
ကြော်ငြာသုံးသပ်ချက် ဘော့တ်များနှင့် ဆော့ဖ်ဝဲများသည် robots.txt ကို လျစ်လျူရှုသည်။
Cloaker.net ဖြင့် ကျည်ကာအစွန်းများကို စစ်ထုတ်ခြင်းကို တွန်းအားပေးပါ။
ရှာဖွေရေးအင်ဂျင်များသည် robots.txt ကို လေးစားသော်လည်း၊ ကြော်ငြာသုံးသပ်သူများ (Meta၊ Google Ads၊ TikTok) နှင့် scrapers များသည် စာသားလမ်းညွှန်ချက်များကို လျစ်လျူရှုကြသည်။ Cloaker.net သည် 15ms အောက်အတွင်း အစွန်းရှိ ဟာ့ဒ်ဝဲလက်ဗွေနှင့် TLS စာဝှက်များကို စစ်ဆေးသည်။
မေးလေ့ရှိသောမေးခွန်းများ
စာရေးကိရိယာ လမ်းညွှန်ချက်များ၊ စည်းကမ်းများကို ခွင့်မပြုခြင်းနှင့် ဖုံးကွယ်ခြင်း ကာကွယ်ရေးဆိုင်ရာ ဘုံနည်းပညာဆိုင်ရာ မေးခွန်းများ။
robots.txt ဖိုင်သည် ရှာဖွေရေးအင်ဂျင်စက်ရုပ်များနှင့် သင့်ဆိုက်ပေါ်ရှိ မည်သည့် URL များကို ၎င်းတို့ဝင်ရောက်နိုင်သည် သို့မဟုတ် မဝင်ရောက်နိုင်သည်ကို ပြောပြသည့် ဝဘ်ဆိုက်၏ အမြစ်လမ်းညွှန်တွင် ထားရှိထားသော စံစာသားဖိုင်ဖြစ်သည်။
နံပါတ်။ တရားဝင်ရှာဖွေရေးအင်ဂျင်ဘော့တ်များသည် robots.txt ကိုနာခံသော်လည်း၊ ကြော်ငြာပြန်လည်သုံးသပ်ရေးရေးကိရိယာများ (Meta၊ TikTok၊ Google Ads) နှင့် အန္တရာယ်ရှိသောခြစ်သူများသည် ညွှန်ကြားချက်များကို ခွင့်မပြုဘဲ မကြာခဏ လျစ်လျူရှုကြသည်။ ခွင့်ပြုချက်မရှိသော စာရေးကိရိယာများကို ပိတ်ဆို့ရန်အတွက် Cloaker.net ဖြင့် Active server-side edge filtering ကို လိုအပ်ပါသည်။
သေချာပေါက်။ URL တစ်ခုအား ခွင့်မပြုခြင်းသည် ၎င်း၏ အကြောင်းအရာကို ရှာဖွေမှု ဘော့တ်များကို ကူးယူခြင်းမှ ရပ်တန့်စေသည်၊ သို့သော် ပြင်ပလင့်ခ်များက ထို URL ကို ညွှန်ပြပါက၊ Google သည် URL ကို သူ့ဘာသာသူ အညွှန်းပေးနိုင်ပါသည်။ စာမျက်နှာတစ်ခုကို ဘယ်သောအခါမှ အညွှန်းမတင်ကြောင်း သေချာစေရန်၊ ၎င်းအစား noindex meta tag ကိုသုံးပါ။
robots.txt ဖိုင်ကို သင့်ဝဘ်ဆိုဒ်ဒိုမိန်း၏ အမြစ်လမ်းညွှန်သို့ အပ်လုဒ်လုပ်ရမည် (ဥပမာ၊ https://example.com/robots.txt)။
သင်အကြိုက်ဆုံး ကြော်ငြာကွန်ရက်များ၊ ခြေရာခံသူများ၊ ယာဉ်အသွားအလာရင်းမြစ်များနှင့် ချောမွေ့စွာ အလုပ်လုပ်ပါ။
အတိုင်းအတာဖြင့် စာရေးကိရိယာလမ်းကြောင်းကို ထိန်းချုပ်ပါ။
Sub-15ms edge redirects များကို အသုံးပြုပါ၊ ဘော့တ်သုံးသပ်သူများကို စစ်ထုတ်ကာ Cloaker.net ဖြင့် သင့်ကြော်ငြာလှုံ့ဆော်မှုများကို ကာကွယ်ပါ။
✓ အစမ်းသုံးအတွက် ခရက်ဒစ်ကတ် မလိုအပ်ပါ · ✓ အချိန်မရွေး Cancel · ✓ မီလီစက္ကန့်ခွဲကြာချိန်