Kohandatud fail Robots.txt
ja roomikuehitaja
Konfigureerige roomaja käskkirjad, määrake otsingumootori juurdepääsuõigused, määrake XML-i saidiplaani teed ja hallake roomamiskiirusi vaevata.
robots.txt väljund
RFC 9309 valmisReaalajas robotite välistamisprotokolli faili koostaja
Põhiline Robots.txt süntaks ja reeglid
Robotite välistamise protokoll (REP) on RFC 9309 standard, mis reguleerib otsingumootori roomamise eelarveid ja tee indekseerimist.
Sihtroomaja perekond
Määrab, millise roomaja kohta järgmised reeglid kehtivad. „User-agent: *” sihib kõiki roboteid, samas kui konkreetsed märgid sihivad üksikuid roomajaid.
Tee juurdepääsu reeglid
'Disallow: /admin/' peatab ühilduvatel roomajatel kaustade kraapimise. „Luba: /” annab selge juurdepääsu alamressurssidele.
Indeksi kiirendus
Deklareerib teie XML-saidiplaani absoluutse URL-i, võimaldades otsingumootoritel leida struktureeritud manifestist kõik indekseeritavad lehed.
Roomamissageduse piiramine
Toetavad Bing ja Yandex, et vältida serveri hüppeid, kehtestades pausi (sekundites) järjestikuste lehepäringute vahel.
Reklaamide ülevaatamise robotid ja kaabitsad ignoreerivad faili robots.txt.
Jõustage kuulikindla serva filtreerimine Cloaker.net-iga.
Kui otsingumootorid austavad faili robots.txt, siis reklaamide ülevaatajad (Meta, Google Ads, TikTok) ja kaabitsad ignoreerivad tekstijuhiseid. Cloaker.net kontrollib riistvaralisi sõrmejälgi ja TLS-i šifreid servas vähem kui 15 ms jooksul.
Korduma kippuvad küsimused
Levinud tehnilised küsimused roomamisjuhiste, keelureeglite ja kaitsevarjamise kohta.
Fail robots.txt on standardne tekstifail, mis on paigutatud veebisaidi juurkataloogi ja annab otsingumootori robotitele ja automaatsetele roomajatele teada, millistele URL-idele nad teie saidil juurde pääsevad või mitte.
Ei. Kuigi seaduslikud otsingumootori robotid järgivad faili robots.txt, eiravad reklaamide ülevaatuse roomajad (Meta, TikTok, Google Ads) ja pahatahtlikud kaabitsad sageli keelamisjuhiseid. Volitamata roomajate blokeerimiseks on vajalik aktiivne serveripoolne servafiltreerimine Cloaker.net-iga.
Mitte tingimata. URL-i keelamine peatab otsingurobotidel selle sisu roomamise, kuid kui välised lingid viitavad sellele URL-ile, saab Google siiski URL-i enda indekseerida. Lehtede mitte kunagi indekseerimise tagamiseks kasutage selle asemel noindexi metasilti.
Fail robots.txt tuleb üles laadida teie veebisaidi domeeni juurkataloogi (nt https://example.com/robots.txt).
Töötab sujuvalt teie lemmikreklaamivõrkude, jälgijate ja liiklusallikatega
Kontrollige roomikute liiklust ulatuslikult
Kasutage alla 15 ms pikkuseid ümbersuunamisi, filtreerige robotite ülevaatajaid ja kaitske oma reklaamikampaaniaid saidiga Cloaker.net.
✓ Prooviversiooniks pole krediitkaarti vaja