Kohandatud fail Robots.txt
ja roomikuehitaja

Konfigureerige roomaja käskkirjad, määrake otsingumootori juurdepääsuõigused, määrake XML-i saidiplaani teed ja hallake roomamiskiirusi vaevata.

Eelseaded:

robots.txt väljund

RFC 9309 valmis

Reaalajas robotite välistamisprotokolli faili koostaja

Vormindatud direktiivi tekst
utf-8 plain text
Laadige üles juurkataloogi: /robots.txt Loo XML-saidiplaan →
Direktiiv telemeetria
Protokolli standard: RFC 9309 / REP
Juurfaili tee: /robots.txt
Otsingu roomiku olek: Standardne indekseerimine
Direktiivi viide

Põhiline Robots.txt süntaks ja reeglid

Robotite välistamise protokoll (REP) on RFC 9309 standard, mis reguleerib otsingumootori roomamise eelarveid ja tee indekseerimist.

User-agent Directive

Sihtroomaja perekond

Määrab, millise roomaja kohta järgmised reeglid kehtivad. „User-agent: *” sihib kõiki roboteid, samas kui konkreetsed märgid sihivad üksikuid roomajaid.

Keela ja luba

Tee juurdepääsu reeglid

'Disallow: /admin/' peatab ühilduvatel roomajatel kaustade kraapimise. „Luba: /” annab selge juurdepääsu alamressurssidele.

Saidiplaani deklaratsioon

Indeksi kiirendus

Deklareerib teie XML-saidiplaani absoluutse URL-i, võimaldades otsingumootoritel leida struktureeritud manifestist kõik indekseeritavad lehed.

Roomamise viivituse reegel

Roomamissageduse piiramine

Toetavad Bing ja Yandex, et vältida serveri hüppeid, kehtestades pausi (sekundites) järjestikuste lehepäringute vahel.

Aktiivne roomikkaitse

Reklaamide ülevaatamise robotid ja kaabitsad ignoreerivad faili robots.txt.
Jõustage kuulikindla serva filtreerimine Cloaker.net-iga.

Kui otsingumootorid austavad faili robots.txt, siis reklaamide ülevaatajad (Meta, Google Ads, TikTok) ja kaabitsad ignoreerivad tekstijuhiseid. Cloaker.net kontrollib riistvaralisi sõrmejälgi ja TLS-i šifreid servas vähem kui 15 ms jooksul.

Aktiivne roboti ja ülevaataja pealtkuulamine
Alla 15 ms ühe hüppe serva ümbersuunamine
Eelfiltreeritud meta- ja Google'i allkirjad
Dünaamiline riigi, seadme ja ASN-i marsruutimine
Alustage tasuta prooviperioodi Kiirseadistus · Nullkoodi seadistamine
Tugi ja juhised

Korduma kippuvad küsimused

Levinud tehnilised küsimused roomamisjuhiste, keelureeglite ja kaitsevarjamise kohta.

Mis on fail robots.txt?

Fail robots.txt on standardne tekstifail, mis on paigutatud veebisaidi juurkataloogi ja annab otsingumootori robotitele ja automaatsetele roomajatele teada, millistele URL-idele nad teie saidil juurde pääsevad või mitte.

Kas fail robots.txt kaitseb sidusettevõtte lehtreid reklaamide ülevaatuse roomajate eest?

Ei. Kuigi seaduslikud otsingumootori robotid järgivad faili robots.txt, eiravad reklaamide ülevaatuse roomajad (Meta, TikTok, Google Ads) ja pahatahtlikud kaabitsad sageli keelamisjuhiseid. Volitamata roomajate blokeerimiseks on vajalik aktiivne serveripoolne servafiltreerimine Cloaker.net-iga.

Kas faili robots.txt keelamisreegel takistab lehe indekseerimist?

Mitte tingimata. URL-i keelamine peatab otsingurobotidel selle sisu roomamise, kuid kui välised lingid viitavad sellele URL-ile, saab Google siiski URL-i enda indekseerida. Lehtede mitte kunagi indekseerimise tagamiseks kasutage selle asemel noindexi metasilti.

Kuhu tuleks fail robots.txt üles laadida?

Fail robots.txt tuleb üles laadida teie veebisaidi domeeni juurkataloogi (nt https://example.com/robots.txt).

Töötab sujuvalt teie lemmikreklaamivõrkude, jälgijate ja liiklusallikatega

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kontrollige roomikute liiklust ulatuslikult

Kasutage alla 15 ms pikkuseid ümbersuunamisi, filtreerige robotite ülevaatajaid ja kaitske oma reklaamikampaaniaid saidiga Cloaker.net.

✓ Prooviversiooniks pole krediitkaarti vaja