Tinkintas Robots.txt
ir tikrinimo programos kūrimo priemonė

Konfigūruokite tikrinimo direktyvas, apibrėžkite paieškos variklio prieigos leidimus, nurodykite XML svetainės schemos kelius ir be vargo valdykite tikrinimo greitį.

Išankstiniai nustatymai:

robots.txt išvestis

RFC 9309 paruošta

Realaus laiko robotų išskyrimo protokolo failų kūrimo priemonė

Suformatuotas direktyvos tekstas
utf-8 plain text
Įkelti į šakninį katalogą: /robots.txt Sukurti XML svetainės schemą →
Direktyvos telemetrija
Protokolo standartas: RFC 9309 / REP
Šakninio failo kelias: /robots.txt
Paieškos tikrinimo būsena: Standartinis indeksavimas
Direktyvos nuoroda

Pagrindinė Robots.txt sintaksė ir taisyklės

Robotų išskyrimo protokolas (REP) yra RFC 9309 standartas, reglamentuojantis paieškos variklio tikrinimo biudžetus ir kelio indeksavimą.

User-agent Directive

Tikslinė robotų šeima

Nurodo, kuriam tikrintuvui taikomos šios taisyklės. „User-agent: *“ taikoma visiems robotams, o tam tikri prieigos raktai yra skirti atskiriems tikrintuvams.

Neleisti ir leisti

Kelio prieigos taisyklės

„Disallow: /admin/“ neleis suderinamoms tikrinimo programoms rinkti aplankus. „Allow: /“ suteikia aiškią prieigą prie antrinių išteklių.

Svetainės schemos deklaracija

Indekso pagreitis

Nurodomas absoliutus jūsų XML svetainės schemos URL, leidžiantis paieškos sistemoms atrasti visus indeksuojamus puslapius struktūriniame apraše.

Nuskaitymo delsos taisyklė

Nuskaitymo greičio apribojimas

Palaikoma „Bing“ ir „Yandex“, kad būtų išvengta serverio šuolių, pritaikant pauzę (sekundėmis) tarp nuoseklių puslapių užklausų.

Aktyvi vikšrinė gynyba

Skelbimų peržiūros robotai ir grandikliai nepaiso robots.txt.
Suaktyvinkite neperšaunamų kraštų filtravimą naudodami Cloaker.net.

Nors paieškos sistemos gerbia robots.txt, skelbimų tikrintojai (Meta, Google Ads, TikTok) ir grandikliai nepaiso teksto nurodymų. Cloaker.net patikrina aparatinės įrangos pirštų atspaudus ir TLS šifrus kraštuose per mažiau nei 15 ms.

Aktyvus roboto ir apžvalgininko perėmimas
Peradresavimas iki 15 ms vieno šuolio krašto
Iš anksto filtruota meta ir Google parašai
Dinaminis šalies, įrenginio ir ASN maršruto parinkimas
Pradėkite nemokamą bandomąją versiją Momentinė sąranka · Nulinio kodo sąranka
Pagalba ir patarimai

Dažnai užduodami klausimai

Įprasti techniniai klausimai apie tikrinimo programas, neleidimo taisykles ir apsaugą nuo maskavimo.

Kas yra robots.txt failas?

Failas robots.txt yra standartinis tekstinis failas, įdėtas į svetainės šakninį katalogą, kuris nurodo paieškos variklių robotams ir automatiniams tikrintuvams, kuriuos URL jie gali pasiekti arba kurių negali pasiekti jūsų svetainėje.

Ar robots.txt apsaugo filialų kanalus nuo skelbimų peržiūros tikrintuvų?

Ne. Nors teisėti paieškos sistemų robotai paklūsta robots.txt, skelbimų peržiūros robotai (Meta, TikTok, Google Ads) ir kenkėjiški grandikliai dažnai nepaiso neleistinų direktyvų. Norint blokuoti neleistinus tikrinimo programas, reikalingas aktyvus serverio krašto filtravimas naudojant Cloaker.net.

Ar neleidimo taisyklė faile robots.txt neleidžia indeksuoti puslapio?

Nebūtinai. Neleidus URL, paieškos robotai nebegali tikrinti jo turinio, bet jei išorinės nuorodos nukreipia į tą URL, „Google“ vis tiek gali indeksuoti patį URL. Norėdami užtikrinti, kad puslapis niekada nebūtų indeksuojamas, naudokite neindeksuotą metažymą.

Kur turėtų būti įkeltas failas robots.txt?

Failas robots.txt turi būti įkeltas į jūsų svetainės domeno šakninį katalogą (pvz., https://example.com/robots.txt).

Sklandžiai veikia su jūsų mėgstamiausiais skelbimų tinklais, stebėjimo priemonėmis ir srauto šaltiniais

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kontroliuokite vikšrinį srautą dideliu mastu

Įdiekite trumpesnius nei 15 ms peradresavimus, filtruokite robotų tikrintojus ir apsaugokite savo skelbimų kampanijas naudodami Cloaker.net.

✓ Bandomajam laikotarpiui nereikia kredito kortelės  ·  ✓ bet kada atšaukti  ·  ✓ Submilisekundės delsa