Robots.txt po meri
& Graditelj pajkov

Konfigurirajte direktive pajka, definirajte dovoljenja za dostop do iskalnika, določite poti do zemljevida spletnega mesta XML in enostavno upravljajte stopnje pajkanja.

Prednastavitve:

Izhod robots.txt

RFC 9309 pripravljen

Graditelj datotek protokola za izključitev robotov v realnem času

Oblikovano besedilo direktive
utf-8 plain text
Naložite v korenski imenik: /robots.txt Ustvari zemljevid spletnega mesta XML →
Direktiva o telemetriji
Standard protokola: RFC 9309 / REP
Pot korenske datoteke: /robots.txt
Stanje pajka iskanja: Standardno indeksiranje
Referenca direktive

Osnovna sintaksa in pravila Robots.txt

Protokol za izključitev robotov (REP) je standard RFC 9309, ki ureja proračune za pajkanje iskalnikov in indeksiranje poti.

User-agent Directive

Ciljna družina pajkov

Določa, za katerega pajka veljajo naslednja pravila. 'Uporabniški agent: *' cilja na vse bote, medtem ko so specifični žetoni usmerjeni na posamezne pajke.

Onemogoči in dovoli

Pravila dostopa do poti

'Disallow: /admin/' ustavi skladne pajke pri strganju map. 'Allow: /' dovoli eksplicitni dostop do podvirov.

Izjava zemljevida spletnega mesta

Pospešek indeksa

Izjavi absolutni URL vašega zemljevida spletnega mesta XML, kar iskalnikom omogoča odkrivanje vseh strani, ki jih je mogoče indeksirati, v strukturiranem manifestu.

Pravilo zakasnitve pajkanja

Omejitev hitrosti pajkanja

Podprta s strani Bing in Yandex za preprečevanje skokov strežnika z uveljavitvijo premora (v sekundah) med zaporednimi zahtevami strani.

Aktivna obramba pajkov

Boti in strgala za pregledovanje oglasov prezrejo datoteko robots.txt.
Uveljavite neprebojno filtriranje robov s Cloaker.net.

Medtem ko iskalniki spoštujejo robots.txt, pregledovalci oglasov (Meta, Google Ads, TikTok) in strgala ignorirajo besedilne direktive. Cloaker.net pregleda prstne odtise strojne opreme in šifre TLS na robu v manj kot 15 ms.

Aktivno prestrezanje botov in pregledovalcev
Sub-15ms Single-Hop Edge Preusmeritev
Vnaprej filtrirani meta in Googlovi podpisi
Dinamično usmerjanje po državah, napravah in ASN
Začni brezplačni preizkus Takojšnja nastavitev · Nastavitev ničelne kode
Podpora in vodenje

Pogosta vprašanja

Pogosta tehnična vprašanja o navodilih za pajke, pravilih prepovedi in zaščiti pred prikrivanjem.

Kaj je datoteka robots.txt?

Datoteka robots.txt je standardna besedilna datoteka, postavljena v korenski imenik spletnega mesta, ki robotom iskalnikov in avtomatiziranim pajkom sporoča, do katerih URL-jev lahko ali ne morejo dostopati na vašem spletnem mestu.

Ali robots.txt ščiti pridružene tokove pred pajki za pregled oglasov?

Ne. Medtem ko legitimni roboti iskalnikov upoštevajo datoteko robots.txt, pajki za pregledovanje oglasov (Meta, TikTok, Google Ads) in zlonamerni strgalniki pogosto prezrejo direktive o prepovedi. Aktivno robno filtriranje na strani strežnika s Cloaker.net je potrebno za blokiranje nepooblaščenih pajkov.

Ali pravilo prepovedi v datoteki robots.txt preprečuje indeksiranje strani?

Ni nujno. Če URL-ju onemogočite, iskalnim robotom preprečite iskanje po vsebini, vendar če zunanje povezave kažejo na ta URL, lahko Google še vedno sam indeksira URL. Če želite zagotoviti, da stran ni nikoli indeksirana, namesto tega uporabite metaoznako noindex.

Kam je treba naložiti datoteko robots.txt?

Datoteka robots.txt mora biti naložena v korenski imenik domene vašega spletnega mesta (npr. https://example.com/robots.txt).

Brezhibno deluje z vašimi najljubšimi oglasnimi omrežji, sledilci in viri prometa

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Nadzor prometa pajkov v velikem obsegu

Uvedite robne preusmeritve pod 15 ms, filtrirajte pregledovalce botov in zaščitite svoje oglaševalske akcije s Cloaker.net.

✓ Za preizkus ni potrebna kreditna kartica  ·  ✓ Prekličite kadar koli  ·  ✓ Zakasnitev manj kot milisekunde