Robots.txt po meri
& Graditelj pajkov
Konfigurirajte direktive pajka, definirajte dovoljenja za dostop do iskalnika, določite poti do zemljevida spletnega mesta XML in enostavno upravljajte stopnje pajkanja.
Izhod robots.txt
RFC 9309 pripravljenGraditelj datotek protokola za izključitev robotov v realnem času
Osnovna sintaksa in pravila Robots.txt
Protokol za izključitev robotov (REP) je standard RFC 9309, ki ureja proračune za pajkanje iskalnikov in indeksiranje poti.
Ciljna družina pajkov
Določa, za katerega pajka veljajo naslednja pravila. 'Uporabniški agent: *' cilja na vse bote, medtem ko so specifični žetoni usmerjeni na posamezne pajke.
Pravila dostopa do poti
'Disallow: /admin/' ustavi skladne pajke pri strganju map. 'Allow: /' dovoli eksplicitni dostop do podvirov.
Pospešek indeksa
Izjavi absolutni URL vašega zemljevida spletnega mesta XML, kar iskalnikom omogoča odkrivanje vseh strani, ki jih je mogoče indeksirati, v strukturiranem manifestu.
Omejitev hitrosti pajkanja
Podprta s strani Bing in Yandex za preprečevanje skokov strežnika z uveljavitvijo premora (v sekundah) med zaporednimi zahtevami strani.
Boti in strgala za pregledovanje oglasov prezrejo datoteko robots.txt.
Uveljavite neprebojno filtriranje robov s Cloaker.net.
Medtem ko iskalniki spoštujejo robots.txt, pregledovalci oglasov (Meta, Google Ads, TikTok) in strgala ignorirajo besedilne direktive. Cloaker.net pregleda prstne odtise strojne opreme in šifre TLS na robu v manj kot 15 ms.
Pogosta vprašanja
Pogosta tehnična vprašanja o navodilih za pajke, pravilih prepovedi in zaščiti pred prikrivanjem.
Datoteka robots.txt je standardna besedilna datoteka, postavljena v korenski imenik spletnega mesta, ki robotom iskalnikov in avtomatiziranim pajkom sporoča, do katerih URL-jev lahko ali ne morejo dostopati na vašem spletnem mestu.
Ne. Medtem ko legitimni roboti iskalnikov upoštevajo datoteko robots.txt, pajki za pregledovanje oglasov (Meta, TikTok, Google Ads) in zlonamerni strgalniki pogosto prezrejo direktive o prepovedi. Aktivno robno filtriranje na strani strežnika s Cloaker.net je potrebno za blokiranje nepooblaščenih pajkov.
Ni nujno. Če URL-ju onemogočite, iskalnim robotom preprečite iskanje po vsebini, vendar če zunanje povezave kažejo na ta URL, lahko Google še vedno sam indeksira URL. Če želite zagotoviti, da stran ni nikoli indeksirana, namesto tega uporabite metaoznako noindex.
Datoteka robots.txt mora biti naložena v korenski imenik domene vašega spletnega mesta (npr. https://example.com/robots.txt).
Brezhibno deluje z vašimi najljubšimi oglasnimi omrežji, sledilci in viri prometa
Nadzor prometa pajkov v velikem obsegu
Uvedite robne preusmeritve pod 15 ms, filtrirajte pregledovalce botov in zaščitite svoje oglaševalske akcije s Cloaker.net.
✓ Za preizkus ni potrebna kreditna kartica · ✓ Prekličite kadar koli · ✓ Zakasnitev manj kot milisekunde