Հատուկ Robots.txt
& Crawler Builder

Կազմաձևեք սողացողի հրահանգները, սահմանեք որոնման համակարգի մուտքի թույլտվությունները, նշեք XML կայքի քարտեզի ուղիները և կառավարեք սողնման արագությունները առանց ջանքերի:

Նախադրվածներ.

robots.txt Ելք

RFC 9309 Պատրաստ է

Իրական ժամանակի Robots Exclusion Protocol ֆայլի ստեղծող

Ձևաչափված հրահանգի տեքստ
utf-8 plain text
Վերբեռնեք արմատային գրացուցակ. /robots.txt Ստեղծեք XML կայքի քարտեզ →
Դիրեկտիվային հեռաչափություն
Արձանագրության ստանդարտ. RFC 9309 / REP
Արմատային ֆայլի ուղի. /robots.txt
Որոնել սողունի կարգավիճակը. Ստանդարտ ինդեքսավորում
Հրահանգի հղում

Core Robots.txt շարահյուսություն և կանոններ

Robots Exclusion Protocol-ը (REP) RFC 9309 ստանդարտ է, որը կարգավորում է որոնման համակարգերի սկանավորման բյուջեները և ուղիների ինդեքսավորումը:

User-agent Directive

Թիրախային սողացող ընտանիք

Սահմանում է, թե որ սողունի վրա են կիրառվում հետևյալ կանոնները. «User-agent.

Թույլ չտալ և թույլ տալ

Ուղու մուտքի կանոններ

«Արգելել. /admin/»-ն արգելում է համապատասխանող սողուններին թղթապանակները քերել: «Թույլատրել. /»-ն ապահովում է ենթառեսուրսների բացահայտ մուտք:

Կայքի քարտեզի հռչակագիր

Ցուցանիշի արագացում

Հայտարարում է ձեր XML կայքի քարտեզի բացարձակ URL-ը, որը թույլ է տալիս որոնման համակարգերին հայտնաբերել բոլոր ինդեքսավորվող էջերը կառուցվածքային մանիֆեստում:

Սողալ-հետաձգման կանոն

Սողացող արագության սահմանափակում

Աջակցվում է Bing-ի և Yandex-ի կողմից՝ կանխելու սերվերի բարձրացումները՝ դադար տալով (վայրկյաններով) հաջորդական էջի հարցումների միջև:

Ակտիվ սողունների պաշտպանություն

Գովազդի վերանայման բոտերն ու քերիչներն անտեսում են robots.txt-ը:
Իրականացրեք փամփուշտ եզրերի զտումը Cloaker.net-ի միջոցով:

Մինչ որոնման համակարգերը հարգում են robots.txt-ը, գովազդի վերանայողները (Meta, Google Ads, TikTok) և քերիչներն անտեսում են տեքստային հրահանգները: Cloaker.net-ը ստուգում է ապարատային մատնահետքերը և TLS ծածկագրերը եզրին 15 մվ-ից ցածր:

Ակտիվ բոտերի և գրախոսների ընդհատում
Sub-15ms Single-Hop Edge Redirection
Նախապես զտված մետա և Google ստորագրություններ
Դինամիկ երկիր, սարք և ASN երթուղում
Սկսեք անվճար փորձաշրջան Ակնթարթային կարգավորում · Զրոյական կոդի կարգավորում
Աջակցություն և ուղղորդում

Հաճախակի տրվող հարցեր

Ընդհանուր տեխնիկական հարցեր սողունի հրահանգների, թույլ չտալու կանոնների և քողարկման պաշտպանության վերաբերյալ:

Ի՞նչ է robots.txt ֆայլը:

Robots.txt ֆայլը ստանդարտ տեքստային ֆայլ է, որը տեղադրված է վեբկայքի արմատային գրացուցակում, որը հայտնում է որոնողական ռոբոտներին և ավտոմատ սողացողներին, թե որ URL-ները կարող են կամ չեն կարող մուտք գործել ձեր կայքում:

Արդյո՞ք robots.txt-ը պաշտպանում է փոխկապակցված ձագարները գովազդի վերանայման սողուններից:

Ոչ: Թեև որոնողական համակարգի օրինական բոտերը հնազանդվում են robots.txt-ին, գովազդի վերանայման սկաներները (Meta, TikTok, Google Ads) և վնասակար քերիչները հաճախ անտեսում են թույլտվության հրահանգները: Ակտիվ սերվերի կողմից եզրերի զտում Cloaker.net-ով պահանջվում է չթույլատրված սողուններին արգելափակելու համար:

Արդյո՞ք robots.txt-ում արգելելու կանոնը խոչընդոտում է էջի ինդեքսավորմանը:

Պարտադիր չէ: URL-ի չթույլատրելը խանգարում է որոնման բոտերին սողալ դրա բովանդակությունը, բայց եթե արտաքին հղումները մատնանշում են այդ URL-ը, Google-ը դեռ կարող է ինդեքսավորել URL-ը: Որպեսզի էջը երբեք ինդեքսավորվի, փոխարենը օգտագործեք noindex մետա թեգ:

Որտե՞ղ պետք է վերբեռնվի robots.txt ֆայլը:

Robots.txt ֆայլը պետք է վերբեռնվի ձեր կայքի տիրույթի արմատական գրացուցակում (օրինակ՝ https://example.com/robots.txt):

Անխափան աշխատում է ձեր սիրած գովազդային ցանցերի, հետագծերի և երթևեկության աղբյուրների հետ

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Վերահսկել սողացող երթևեկությունը մասշտաբով

Տեղադրեք 15 ms եզրային վերահղումներ, զտեք բոտերի վերանայողներին և պաշտպանեք ձեր գովազդային արշավները Cloaker.net-ի միջոցով:

✓ Փորձարկման համար վարկային քարտ չի պահանջվում  ·  ✓ Չեղարկել ցանկացած ժամանակ  ·  ✓ Ենթամլիվայրկյան ուշացում