Custom Robots.txt
& Crawler Builder

Nakonfigurujte direktivy prohledávače, definujte přístupová oprávnění pro vyhledávače, určete cesty k souboru Sitemap XML a snadno spravujte rychlost procházení.

Předvolby:

Výstup robots.txt

Připraveno pro RFC 9309

Tvůrce souborů protokolu robotů v reálném čase

Formátovaný text směrnice
utf-8 plain text
Nahrajte do kořenového adresáře: /robots.txt Vytvořit XML Sitemap →
Direktivní telemetrie
Standardní protokol: RFC 9309 / REP
Cesta kořenového souboru: /robots.txt
Stav vyhledávacího prohledávače: Standardní indexování
Odkaz na směrnici

Syntaxe a pravidla Core Robots.txt

Robots Exclusion Protocol (REP) je standard RFC 9309 upravující rozpočty procházení vyhledávačů a indexování cest.

User-agent Directive

Cílová rodina prohledávačů

Definuje, na který prolézací modul se vztahují následující pravidla. 'User-agent: *' cílí na všechny roboty, zatímco konkrétní tokeny cílí na jednotlivé prohledávače.

Zakázat a povolit

Pravidla přístupu k cestě

'Disallow: /admin/' zabrání kompatibilním prohledávačům v odstraňování složek. 'Povolit: /' uděluje explicitní přístup k dílčím zdrojům.

Prohlášení o souboru Sitemap

Zrychlení indexu

Deklaruje absolutní adresu URL vašeho souboru Sitemap XML, což vyhledávačům umožňuje objevit všechny indexovatelné stránky ve strukturovaném manifestu.

Pravidlo procházení-zpoždění

Omezení rychlosti procházení

Podporováno Bingem a Yandexem, aby se zabránilo špičkám serveru vynucením pauzy (v sekundách) mezi po sobě jdoucími požadavky na stránky.

Aktivní ochrana prohledávače

Roboti a škrabky na kontrolu reklam ignorují soubor robots.txt.
Prosadit neprůstřelné filtrování hran pomocí Cloaker.net.

Zatímco vyhledávače respektují soubor robots.txt, kontroloři reklam (Meta, Google Ads, TikTok) a scrapeři textové příkazy ignorují. Cloaker.net kontroluje hardwarové otisky prstů a šifry TLS na okraji za méně než 15 ms.

Aktivní odposlech robota a recenzenta
Méně než 15 ms Single-Hop Edge Redirection
Předfiltrované meta a podpisy Google
Dynamické směrování země, zařízení a ASN
Spusťte bezplatnou zkušební verzi Okamžité nastavení · Nastavení nulového kódu
Podpora a pokyny

Často kladené otázky

Běžné technické otázky týkající se příkazů prohledávače, pravidel zákazu a ochrany před maskováním.

Co je soubor robots.txt?

Soubor robots.txt je standardní textový soubor umístěný v kořenovém adresáři webové stránky, který robotům vyhledávačů a automatickým prohledávačům sděluje, ke kterým adresám URL mají nebo nemají přístup na vašem webu.

Chrání robots.txt affiliate trychtýře před prohledávači pro kontrolu reklam?

Ne. Zatímco legitimní roboti vyhledávačů se řídí souborem robots.txt, prohledávače reklam (Meta, TikTok, Google Ads) a škodlivé škrabky často ignorují příkazy k zákazu. Active server-side edge filtering with Cloaker.net is required to block unauthorized crawlers.

Brání pravidlo zákazu v souboru robots.txt indexování stránky?

Ne nutně. Zakázání adresy URL zabrání vyhledávacím robotům v procházení jejího obsahu, ale pokud na tuto adresu URL odkazují externí odkazy, Google může i nadále indexovat adresu URL samotnou. Abyste zajistili, že stránka nebude nikdy indexována, použijte místo toho metaznačku noindex.

Kam se má nahrát soubor robots.txt?

Soubor robots.txt je nutné nahrát do kořenového adresáře domény vašeho webu (např. https://example.com/robots.txt).

Bezproblémově spolupracuje s vašimi oblíbenými reklamními sítěmi, sledovači a zdroji návštěvnosti

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Ovládejte provoz prohledávače v měřítku

Nasaďte okrajová přesměrování pod 15 ms, filtrujte recenzenty robotů a chraňte své reklamní kampaně pomocí Cloaker.net.

✓ Pro zkušební období není vyžadována žádná kreditní karta  ·  ✓ Zrušit kdykoli  ·  ✓ Zpoždění nižší než milisekundy