Custom Robots.txt
និង Crawler Builder

កំណត់រចនាសម្ព័ន្ធការណែនាំរបស់ crawler កំណត់ការអនុញ្ញាតចូលប្រើម៉ាស៊ីនស្វែងរក បញ្ជាក់ផ្លូវផែនទីគេហទំព័រ XML និងគ្រប់គ្រងអត្រាការរុករកដោយមិនចាំបាច់ប្រឹងប្រែង។

ការកំណត់ជាមុន៖

លទ្ធផល robots.txt

RFC 9309 រួចរាល់

កម្មវិធីបង្កើតឯកសារពិធីការលើកលែងមនុស្សយន្តតាមពេលវេលាជាក់ស្តែង

ទ្រង់ទ្រាយអត្ថបទណែនាំ
utf-8 plain text
ផ្ទុកឡើងទៅកាន់ថត root: /robots.txt បង្កើតផែនទីគេហទំព័រ XML →
តេឡេមេទ្រីបញ្ជា
ស្តង់ដារពិធីការ៖ RFC 9309 / REP
ផ្លូវឯកសារឫស៖ /robots.txt
ស្វែងរកស្ថានភាព Crawler៖ សន្ទស្សន៍ស្តង់ដារ
សេចក្តីយោងសេចក្តីណែនាំ

ស្នូល Robots.txt វាក្យសម្ព័ន្ធ និងច្បាប់

Robots Exclusion Protocol (REP) គឺជាស្តង់ដារ RFC 9309 ដែលគ្រប់គ្រងថវិការរបស់ម៉ាស៊ីនស្វែងរក និងការធ្វើលិបិក្រមផ្លូវ។

User-agent Directive

គ្រួសារ Crawler គោលដៅ

កំណត់ថា crawler មួយណាដែលច្បាប់ខាងក្រោមអនុវត្តចំពោះ។ 'User-agent: *' កំណត់គោលដៅ bots ទាំងអស់ ខណៈដែល tokens ជាក់លាក់កំណត់គោលដៅ crawlers បុគ្គល។

មិនអនុញ្ញាត & អនុញ្ញាត

ច្បាប់ចូលប្រើផ្លូវ

'Disallow: /admin/' បញ្ឈប់ crawlers អនុលោមភាពពីការ scraping folders ។ 'អនុញ្ញាត៖ /' ផ្តល់សិទ្ធិចូលប្រើប្រាស់ជាក់ស្តែងចំពោះធនធានរង។

ការ​ប្រកាស​ផែនទី​គេហទំព័រ

ការបង្កើនល្បឿនសន្ទស្សន៍

ប្រកាស URL ដាច់ខាតនៃផែនទីគេហទំព័រ XML របស់អ្នក ដែលអនុញ្ញាតឱ្យម៉ាស៊ីនស្វែងរកស្វែងរកទំព័រដែលអាចធ្វើលិបិក្រមបានទាំងអស់នៅក្នុង manifest ដែលមានរចនាសម្ព័ន្ធ។

ច្បាប់ការពន្យាពេលវារ

ការ​កំណត់​អត្រា​វារ

គាំទ្រដោយ Bing និង Yandex ដើម្បីទប់ស្កាត់ការកើនឡើងនៃម៉ាស៊ីនមេដោយបង្ខំការផ្អាក (គិតជាវិនាទី) រវាងសំណើទំព័រជាប់គ្នា។

ការការពារ Crawler សកម្ម

ការពិនិត្យមើលការផ្សាយពាណិជ្ជកម្ម bots & scrapers មិនអើពើ robots.txt ។
ពង្រឹងការច្រោះគែមការពារគ្រាប់កាំភ្លើងជាមួយ Cloaker.net។

ខណៈពេលដែលម៉ាស៊ីនស្វែងរកគោរព robots.txt អ្នកត្រួតពិនិត្យការផ្សាយពាណិជ្ជកម្ម (Meta, Google Ads, TikTok) និង scrapers មិនអើពើនឹងការណែនាំជាអក្សរ។ Cloaker.net ពិនិត្យស្នាមម្រាមដៃផ្នែករឹង និងអក្សរសម្ងាត់ TLS នៅគែមក្រោម 15ms។

Active Bot & Reviewer Interception
Sub-15ms Single-Hop Edge Redirection
មេតាដែលបានត្រងជាមុន និងហត្ថលេខា Google
ប្រទេសថាមវន្ត ឧបករណ៍ និងការកំណត់ផ្លូវ ASN
ចាប់ផ្តើមការសាកល្បងឥតគិតថ្លៃ ការដំឡើងភ្លាមៗ · ការដំឡើងលេខសូន្យ
ការគាំទ្រ និងការណែនាំ

សំណួរដែលគេសួរញឹកញាប់

សំណួរបច្ចេកទេសទូទៅអំពីការណែនាំរបស់ crawler, disallow rules, and cloaking defense.

តើឯកសារ robots.txt ជាអ្វី?

ឯកសារ robots.txt គឺជាឯកសារអត្ថបទស្ដង់ដារដែលដាក់ក្នុងថត root នៃគេហទំព័រដែលប្រាប់ម៉ាស៊ីនស្វែងរកមនុស្សយន្ត និងអ្នករុករកដោយស្វ័យប្រវត្តិនូវ URLs ដែលពួកគេអាចឬមិនអាចចូលប្រើនៅលើគេហទំព័ររបស់អ្នក។

តើ robots.txt ការពារបណ្តាញទំនាក់ទំនងពីកម្មវិធីត្រួតពិនិត្យការផ្សាយពាណិជ្ជកម្មទេ?

ទេ។ ខណៈពេលដែលម៉ាស៊ីនស្វែងរកស្របច្បាប់ bots គោរពតាម robots.txt អ្នករុករកត្រួតពិនិត្យការផ្សាយពាណិជ្ជកម្ម (Meta, TikTok, Google Ads) និងអ្នកលួចបន្លំដែលមានគំនិតអាក្រក់តែងតែមិនអើពើនឹងការណែនាំ។ ការត្រងគែមផ្នែកខាងម៉ាស៊ីនមេសកម្មជាមួយ Cloaker.net គឺត្រូវបានទាមទារដើម្បីទប់ស្កាត់ crawlers ដែលគ្មានការអនុញ្ញាត។

តើច្បាប់មិនអនុញ្ញាតនៅក្នុង robots.txt រារាំងទំព័រមិនឱ្យធ្វើលិបិក្រមទេ?

មិនចាំបាច់ទេ។ ការមិនអនុញ្ញាត URL បញ្ឈប់ការស្វែងរក bots ពីការរុករកមាតិការបស់វា ប៉ុន្តែប្រសិនបើតំណភ្ជាប់ខាងក្រៅចង្អុលទៅ URL នោះ Google នៅតែអាចធ្វើលិបិក្រម URL ខ្លួនឯងបាន។ ដើម្បីធានាថាទំព័រមិនត្រូវបានដាក់លិបិក្រមទេ សូមប្រើស្លាកមេតា noindex ជំនួសវិញ។

តើឯកសារ robots.txt គួរតែផ្ទុកឡើងនៅឯណា?

ឯកសារ robots.txt ត្រូវតែផ្ទុកឡើងទៅកាន់ថត root នៃគេហទំព័ររបស់អ្នក (ឧ. https://example.com/robots.txt) ។

ធ្វើការយ៉ាងរលូនជាមួយបណ្តាញផ្សាយពាណិជ្ជកម្ម កម្មវិធីតាមដាន និងប្រភពចរាចរណ៍ដែលអ្នកចូលចិត្ត

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

គ្រប់គ្រងចរាចរណ៍ crawler តាមមាត្រដ្ឋាន

ដាក់ពង្រាយការបញ្ជូនបន្តនៃគែមរង 15ms តម្រងអ្នកត្រួតពិនិត្យ bot និងការពារយុទ្ធនាការផ្សាយពាណិជ្ជកម្មរបស់អ្នកជាមួយ Cloaker.net ។

✓ មិនត្រូវការកាតឥណទានសម្រាប់ការសាកល្បង  ·  ✓ បោះបង់បានគ្រប់ពេល  ·  ✓ ភាពយឺតយ៉ាវរងមីលីវិនាទី