Robots.txt Maalum
& Kiunda Kitambaa

Sanidi maagizo ya kutambaa, fafanua ruhusa za ufikiaji wa injini ya utafutaji, bainisha njia za ramani ya tovuti ya XML, na udhibiti viwango vya kutambaa bila kujitahidi.

Mipangilio mapema:

robots.txt Pato

RFC 9309 Tayari

Kiunda faili cha Itifaki ya Kutengwa kwa Roboti za Wakati Halisi

Maandishi ya Maagizo yaliyoumbizwa
utf-8 plain text
Pakia kwenye saraka ya mizizi: /robots.txt Unda Ramani ya Tovuti ya XML →
Telemetry ya Maelekezo
Kiwango cha Itifaki: RFC 9309 / REP
Njia ya faili ya mizizi: /robots.txt
Tafuta Hali ya Kitambaa: Uwekaji Faharasa wa Kawaida
Rejea ya Maelekezo

Core Robots.txt Syntax & Kanuni

Itifaki ya Kutengwa kwa Roboti (REP) ni kiwango cha RFC 9309 kinachosimamia bajeti za kutambaa za injini ya utafutaji na uorodheshaji wa njia.

User-agent Directive

Familia ya Watambaji Lengwa

Inafafanua ni kitambaji gani ambacho sheria zifuatazo zinatumika. 'Wakala wa mtumiaji: *' inalenga roboti zote, huku tokeni mahususi zikilenga watambaji mahususi.

Usiruhusu & Ruhusu

Sheria za Ufikiaji wa Njia

'Kataza: /admin/' huzuia kutambaa zinazotii na kukwaruza folda. 'Ruhusu: /' inatoa ufikiaji wazi kwa rasilimali ndogo.

Tamko la ramani ya tovuti

Kuongeza kasi ya Index

Inatangaza URL kamili ya ramani yako ya tovuti ya XML, ikiruhusu injini za utafutaji kugundua kurasa zote zinazoweza kuorodheshwa katika faili ya maelezo iliyoundwa.

Tambaza-Kuchelewesha Sheria

Kikomo cha Kiwango cha Kutambaa

Inaungwa mkono na Bing na Yandex ili kuzuia mwinuko wa seva kwa kutekeleza pause (kwa sekunde) kati ya maombi ya ukurasa mfululizo.

Ulinzi wa Kitambaa Amilifu

Vijibu wa kukagua tangazo na viboreshaji hupuuza robots.txt.
Tekeleza uchujaji wa ukingo usio na risasi kwa Cloaker.net.

Ingawa injini za utafutaji zinaheshimu robots.txt, wakaguzi wa tangazo (Meta, Google Ads, TikTok) na viboreshaji hupuuza maagizo ya maandishi. Cloaker.net hukagua alama za vidole za maunzi na misimbo ya TLS ukingoni kwa chini ya 15ms.

Ukatizaji wa Kijibu Amilifu na Mkaguzi
Uelekezaji Upya wa Ukingo wa Hop Moja wa Sub-15ms
Meta Iliyochujwa Awali na Sahihi za Google
Nchi Inayobadilika, Uelekezaji wa Kifaa na ASN
Anza Jaribio Bila Malipo Usanidi wa Papo hapo · Usanidi wa Msimbo Sifuri
Usaidizi na Mwongozo

Maswali yanayoulizwa mara kwa mara

Maswali ya kawaida ya kiufundi kuhusu maagizo ya kutambaa, sheria za kutoruhusu, na utetezi wa kuficha.

Faili ya robots.txt ni nini?

Faili ya robots.txt ni faili ya maandishi ya kawaida iliyowekwa kwenye saraka ya msingi ya tovuti inayowaambia roboti za injini tafuti na kutambaa otomatiki ni URL gani wanaweza kufikia au hawawezi kufikia kwenye tovuti yako.

Je, robots.txt inalinda funeli za washirika dhidi ya kutambaa kwa ukaguzi wa matangazo?

Hapana. Ingawa roboti halali za injini tafuti hutii robots.txt, watambazaji wa kukagua tangazo (Meta, TikTok, Google Ads) na vikwaruzi hasidi mara nyingi hupuuza maagizo ya kutoruhusu. Uchujaji unaotumika wa ukingo wa seva kwa kutumia Cloaker.net unahitajika ili kuzuia watambazaji ambao hawajaidhinishwa.

Je, sheria ya kutoruhusu katika robots.txt inazuia ukurasa kuorodheshwa?

Si lazima. Kutoruhusu URL kunakomesha roboti za utafutaji kutambaa maudhui yake, lakini kama viungo vya nje vinaelekeza kwenye URL hiyo, Google bado inaweza kuorodhesha URL yenyewe. Ili kuhakikisha kuwa ukurasa haujaorodheshwa kamwe, tumia noindex meta tagi badala yake.

Je, faili ya robots.txt inapaswa kupakiwa wapi?

Faili ya robots.txt lazima ipakwe kwenye saraka ya mizizi ya kikoa chako cha tovuti (k.m., https://example.com/robots.txt).

Hufanya kazi kwa urahisi na mitandao ya matangazo unayopenda, vifuatiliaji na vyanzo vya trafiki

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Dhibiti trafiki ya kutambaa kwa kiwango

Tumia uelekezaji upya wa kingo za chini ya 15ms, chujio wakaguzi wa roboti na ulinde kampeni zako za matangazo ukitumia Cloaker.net.

✓ Hakuna kadi ya mkopo inayohitajika kwa jaribio  ·  ✓ Ghairi wakati wowote  ·  ✓ Muda wa kusubiri wa sekunde ndogo