Custom Robots.txt
& Crawler Builder
Nakonfigurujte direktivy prohledávače, definujte přístupová oprávnění pro vyhledávače, určete cesty k souboru Sitemap XML a snadno spravujte rychlost procházení.
Výstup robots.txt
Připraveno pro RFC 9309Tvůrce souborů protokolu robotů v reálném čase
Syntaxe a pravidla Core Robots.txt
Robots Exclusion Protocol (REP) je standard RFC 9309 upravující rozpočty procházení vyhledávačů a indexování cest.
Cílová rodina prohledávačů
Definuje, na který prolézací modul se vztahují následující pravidla. 'User-agent: *' cílí na všechny roboty, zatímco konkrétní tokeny cílí na jednotlivé prohledávače.
Pravidla přístupu k cestě
'Disallow: /admin/' zabrání kompatibilním prohledávačům v odstraňování složek. 'Povolit: /' uděluje explicitní přístup k dílčím zdrojům.
Zrychlení indexu
Deklaruje absolutní adresu URL vašeho souboru Sitemap XML, což vyhledávačům umožňuje objevit všechny indexovatelné stránky ve strukturovaném manifestu.
Omezení rychlosti procházení
Podporováno Bingem a Yandexem, aby se zabránilo špičkám serveru vynucením pauzy (v sekundách) mezi po sobě jdoucími požadavky na stránky.
Roboti a škrabky na kontrolu reklam ignorují soubor robots.txt.
Prosadit neprůstřelné filtrování hran pomocí Cloaker.net.
Zatímco vyhledávače respektují soubor robots.txt, kontroloři reklam (Meta, Google Ads, TikTok) a scrapeři textové příkazy ignorují. Cloaker.net kontroluje hardwarové otisky prstů a šifry TLS na okraji za méně než 15 ms.
Často kladené otázky
Běžné technické otázky týkající se příkazů prohledávače, pravidel zákazu a ochrany před maskováním.
Soubor robots.txt je standardní textový soubor umístěný v kořenovém adresáři webové stránky, který robotům vyhledávačů a automatickým prohledávačům sděluje, ke kterým adresám URL mají nebo nemají přístup na vašem webu.
Ne. Zatímco legitimní roboti vyhledávačů se řídí souborem robots.txt, prohledávače reklam (Meta, TikTok, Google Ads) a škodlivé škrabky často ignorují příkazy k zákazu. Active server-side edge filtering with Cloaker.net is required to block unauthorized crawlers.
Ne nutně. Zakázání adresy URL zabrání vyhledávacím robotům v procházení jejího obsahu, ale pokud na tuto adresu URL odkazují externí odkazy, Google může i nadále indexovat adresu URL samotnou. Abyste zajistili, že stránka nebude nikdy indexována, použijte místo toho metaznačku noindex.
Soubor robots.txt je nutné nahrát do kořenového adresáře domény vašeho webu (např. https://example.com/robots.txt).
Bezproblémově spolupracuje s vašimi oblíbenými reklamními sítěmi, sledovači a zdroji návštěvnosti
Ovládejte provoz prohledávače v měřítku
Nasaďte okrajová přesměrování pod 15 ms, filtrujte recenzenty robotů a chraňte své reklamní kampaně pomocí Cloaker.net.
✓ Pro zkušební období není vyžadována žádná kreditní karta · ✓ Zrušit kdykoli · ✓ Zpoždění nižší než milisekundy