Robots.txt Maalum
& Kiunda Kitambaa
Sanidi maagizo ya kutambaa, fafanua ruhusa za ufikiaji wa injini ya utafutaji, bainisha njia za ramani ya tovuti ya XML, na udhibiti viwango vya kutambaa bila kujitahidi.
robots.txt Pato
RFC 9309 TayariKiunda faili cha Itifaki ya Kutengwa kwa Roboti za Wakati Halisi
Core Robots.txt Syntax & Kanuni
Itifaki ya Kutengwa kwa Roboti (REP) ni kiwango cha RFC 9309 kinachosimamia bajeti za kutambaa za injini ya utafutaji na uorodheshaji wa njia.
Familia ya Watambaji Lengwa
Inafafanua ni kitambaji gani ambacho sheria zifuatazo zinatumika. 'Wakala wa mtumiaji: *' inalenga roboti zote, huku tokeni mahususi zikilenga watambaji mahususi.
Sheria za Ufikiaji wa Njia
'Kataza: /admin/' huzuia kutambaa zinazotii na kukwaruza folda. 'Ruhusu: /' inatoa ufikiaji wazi kwa rasilimali ndogo.
Kuongeza kasi ya Index
Inatangaza URL kamili ya ramani yako ya tovuti ya XML, ikiruhusu injini za utafutaji kugundua kurasa zote zinazoweza kuorodheshwa katika faili ya maelezo iliyoundwa.
Kikomo cha Kiwango cha Kutambaa
Inaungwa mkono na Bing na Yandex ili kuzuia mwinuko wa seva kwa kutekeleza pause (kwa sekunde) kati ya maombi ya ukurasa mfululizo.
Vijibu wa kukagua tangazo na viboreshaji hupuuza robots.txt.
Tekeleza uchujaji wa ukingo usio na risasi kwa Cloaker.net.
Ingawa injini za utafutaji zinaheshimu robots.txt, wakaguzi wa tangazo (Meta, Google Ads, TikTok) na viboreshaji hupuuza maagizo ya maandishi. Cloaker.net hukagua alama za vidole za maunzi na misimbo ya TLS ukingoni kwa chini ya 15ms.
Maswali yanayoulizwa mara kwa mara
Maswali ya kawaida ya kiufundi kuhusu maagizo ya kutambaa, sheria za kutoruhusu, na utetezi wa kuficha.
Faili ya robots.txt ni faili ya maandishi ya kawaida iliyowekwa kwenye saraka ya msingi ya tovuti inayowaambia roboti za injini tafuti na kutambaa otomatiki ni URL gani wanaweza kufikia au hawawezi kufikia kwenye tovuti yako.
Hapana. Ingawa roboti halali za injini tafuti hutii robots.txt, watambazaji wa kukagua tangazo (Meta, TikTok, Google Ads) na vikwaruzi hasidi mara nyingi hupuuza maagizo ya kutoruhusu. Uchujaji unaotumika wa ukingo wa seva kwa kutumia Cloaker.net unahitajika ili kuzuia watambazaji ambao hawajaidhinishwa.
Si lazima. Kutoruhusu URL kunakomesha roboti za utafutaji kutambaa maudhui yake, lakini kama viungo vya nje vinaelekeza kwenye URL hiyo, Google bado inaweza kuorodhesha URL yenyewe. Ili kuhakikisha kuwa ukurasa haujaorodheshwa kamwe, tumia noindex meta tagi badala yake.
Faili ya robots.txt lazima ipakwe kwenye saraka ya mizizi ya kikoa chako cha tovuti (k.m., https://example.com/robots.txt).
Hufanya kazi kwa urahisi na mitandao ya matangazo unayopenda, vifuatiliaji na vyanzo vya trafiki
Dhibiti trafiki ya kutambaa kwa kiwango
Tumia uelekezaji upya wa kingo za chini ya 15ms, chujio wakaguzi wa roboti na ulinde kampeni zako za matangazo ukitumia Cloaker.net.
✓ Hakuna kadi ya mkopo inayohitajika kwa jaribio · ✓ Ghairi wakati wowote · ✓ Muda wa kusubiri wa sekunde ndogo