Հատուկ Robots.txt
& Crawler Builder
Կազմաձևեք սողացողի հրահանգները, սահմանեք որոնման համակարգի մուտքի թույլտվությունները, նշեք XML կայքի քարտեզի ուղիները և կառավարեք սողնման արագությունները առանց ջանքերի:
robots.txt Ելք
RFC 9309 Պատրաստ էԻրական ժամանակի Robots Exclusion Protocol ֆայլի ստեղծող
Core Robots.txt շարահյուսություն և կանոններ
Robots Exclusion Protocol-ը (REP) RFC 9309 ստանդարտ է, որը կարգավորում է որոնման համակարգերի սկանավորման բյուջեները և ուղիների ինդեքսավորումը:
Թիրախային սողացող ընտանիք
Սահմանում է, թե որ սողունի վրա են կիրառվում հետևյալ կանոնները. «User-agent.
Ուղու մուտքի կանոններ
«Արգելել. /admin/»-ն արգելում է համապատասխանող սողուններին թղթապանակները քերել: «Թույլատրել. /»-ն ապահովում է ենթառեսուրսների բացահայտ մուտք:
Ցուցանիշի արագացում
Հայտարարում է ձեր XML կայքի քարտեզի բացարձակ URL-ը, որը թույլ է տալիս որոնման համակարգերին հայտնաբերել բոլոր ինդեքսավորվող էջերը կառուցվածքային մանիֆեստում:
Սողացող արագության սահմանափակում
Աջակցվում է Bing-ի և Yandex-ի կողմից՝ կանխելու սերվերի բարձրացումները՝ դադար տալով (վայրկյաններով) հաջորդական էջի հարցումների միջև:
Գովազդի վերանայման բոտերն ու քերիչներն անտեսում են robots.txt-ը:
Իրականացրեք փամփուշտ եզրերի զտումը Cloaker.net-ի միջոցով:
Մինչ որոնման համակարգերը հարգում են robots.txt-ը, գովազդի վերանայողները (Meta, Google Ads, TikTok) և քերիչներն անտեսում են տեքստային հրահանգները: Cloaker.net-ը ստուգում է ապարատային մատնահետքերը և TLS ծածկագրերը եզրին 15 մվ-ից ցածր:
Հաճախակի տրվող հարցեր
Ընդհանուր տեխնիկական հարցեր սողունի հրահանգների, թույլ չտալու կանոնների և քողարկման պաշտպանության վերաբերյալ:
Robots.txt ֆայլը ստանդարտ տեքստային ֆայլ է, որը տեղադրված է վեբկայքի արմատային գրացուցակում, որը հայտնում է որոնողական ռոբոտներին և ավտոմատ սողացողներին, թե որ URL-ները կարող են կամ չեն կարող մուտք գործել ձեր կայքում:
Ոչ: Թեև որոնողական համակարգի օրինական բոտերը հնազանդվում են robots.txt-ին, գովազդի վերանայման սկաներները (Meta, TikTok, Google Ads) և վնասակար քերիչները հաճախ անտեսում են թույլտվության հրահանգները: Ակտիվ սերվերի կողմից եզրերի զտում Cloaker.net-ով պահանջվում է չթույլատրված սողուններին արգելափակելու համար:
Պարտադիր չէ: URL-ի չթույլատրելը խանգարում է որոնման բոտերին սողալ դրա բովանդակությունը, բայց եթե արտաքին հղումները մատնանշում են այդ URL-ը, Google-ը դեռ կարող է ինդեքսավորել URL-ը: Որպեսզի էջը երբեք ինդեքսավորվի, փոխարենը օգտագործեք noindex մետա թեգ:
Robots.txt ֆայլը պետք է վերբեռնվի ձեր կայքի տիրույթի արմատական գրացուցակում (օրինակ՝ https://example.com/robots.txt):
Անխափան աշխատում է ձեր սիրած գովազդային ցանցերի, հետագծերի և երթևեկության աղբյուրների հետ
Վերահսկել սողացող երթևեկությունը մասշտաբով
Տեղադրեք 15 ms եզրային վերահղումներ, զտեք բոտերի վերանայողներին և պաշտպանեք ձեր գովազդային արշավները Cloaker.net-ի միջոցով:
✓ Փորձարկման համար վարկային քարտ չի պահանջվում · ✓ Չեղարկել ցանկացած ժամանակ · ✓ Ենթամլիվայրկյան ուշացում