Custom Robots.txt
& Crawler Builder

Konfigurujte príkazy prehľadávača, definujte prístupové oprávnenia vyhľadávacieho nástroja, špecifikujte cesty k súborom XML sitemap a bez námahy spravujte rýchlosti prehľadávania.

Predvoľby:

Výstup robots.txt

RFC 9309 pripravený

Zostavovač súborov protokolu robotov v reálnom čase

Formátovaný text smernice
utf-8 plain text
Nahrajte do koreňového adresára: /robots.txt Vytvoriť súbor XML Sitemap →
Direktívna telemetria
Štandard protokolu: RFC 9309 / REP
Cesta koreňového súboru: /robots.txt
Stav prehľadávača vyhľadávania: Štandardné indexovanie
Odkaz na smernicu

Syntax a pravidlá Core Robots.txt

Robots Exclusion Protocol (REP) je štandard RFC 9309, ktorý upravuje rozpočty prehľadávania vyhľadávacieho nástroja a indexovanie ciest.

User-agent Directive

Cieľová rodina prehľadávačov

Definuje, na ktorý prehľadávač sa vzťahujú nasledujúce pravidlá. 'User-agent: *' sa zameriava na všetky roboty, zatiaľ čo špecifické tokeny sa zameriavajú na jednotlivé prehľadávače.

Disallow & Allow

Pravidlá prístupu k ceste

'Disallow: /admin/' zastaví vyhovujúcim prehľadávačom zoškrabávanie priečinkov. 'Povoliť: /' udeľuje explicitný prístup k čiastkovým zdrojom.

Vyhlásenie o súbore Sitemap

Zrýchlenie indexu

Deklaruje absolútnu adresu URL vášho súboru Sitemap XML, čo umožňuje vyhľadávacím nástrojom objaviť všetky indexovateľné stránky v štruktúrovanom manifeste.

Pravidlo oneskoreného prehľadávania

Obmedzenie rýchlosti indexového prehľadávania

Podporované Bingom a Yandexom, aby sa zabránilo špičkám servera vynútením pauzy (v sekundách) medzi po sebe nasledujúcimi požiadavkami na stránku.

Aktívna obrana pásového zariadenia

Roboty a nástroje na kontrolu reklám ignorujú súbor robots.txt.
Presadzujte nepriestrelné filtrovanie okrajov pomocou Cloaker.net.

Zatiaľ čo vyhľadávače rešpektujú súbor robots.txt, kontrolóri reklám (Meta, Google Ads, TikTok) a scraperi ignorujú textové príkazy. Cloaker.net kontroluje hardvérové ​​odtlačky prstov a šifry TLS na okraji za menej ako 15 ms.

Aktívne zachytenie robota a recenzenta
Menej ako 15 ms Single-Hop Edge Redirection
Vopred filtrované meta a podpisy Google
Dynamické smerovanie krajiny, zariadenia a ASN
Spustiť bezplatnú skúšobnú verziu Okamžité nastavenie · Nastavenie nulového kódu
Podpora a poradenstvo

Často kladené otázky

Bežné technické otázky týkajúce sa príkazov indexového prehľadávača, pravidiel zákazu a ochrany pred maskovaním.

Čo je súbor robots.txt?

Súbor robots.txt je štandardný textový súbor umiestnený v koreňovom adresári webovej lokality, ktorý informuje roboty vyhľadávacích nástrojov a automatizované prehľadávače, ku ktorým adresám URL môžu alebo nemôžu pristupovať na vašej lokalite.

Chráni súbor robots.txt pridružené zúženia pred indexovými prehľadávačmi na kontrolu reklám?

Nie. Zatiaľ čo legitímne roboty vyhľadávačov dodržiavajú súbor robots.txt, indexové prehľadávače na kontrolu reklám (Meta, TikTok, Google Ads) a škodlivé škrabadlá často ignorujú príkazy na zakázanie. Na blokovanie neoprávnených prehľadávačov je potrebné aktívne filtrovanie okrajov na strane servera pomocou Cloaker.net.

Bráni pravidlo zakázania v súbore robots.txt indexovaniu stránky?

Nie nevyhnutne. Zakázanie adresy URL zastaví prehľadávacím robotom indexové prehľadávanie jej obsahu, ale ak externé odkazy smerujú na túto adresu URL, Google môže aj tak indexovať samotnú adresu URL. Ak chcete zaistiť, aby stránka nebola nikdy indexovaná, použite namiesto nej metaznačku noindex.

Kam sa má nahrať súbor robots.txt?

Súbor robots.txt je potrebné nahrať do koreňového adresára domény vašej webovej lokality (napr. https://example.com/robots.txt).

Bezproblémovo spolupracuje s vašimi obľúbenými reklamnými sieťami, sledovačmi a zdrojmi návštevnosti

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Ovládajte premávku prehľadávačov vo veľkom rozsahu

Nasaďte okrajové presmerovania pod 15 ms, filtrujte kontrolórov robotov a chráňte svoje reklamné kampane pomocou Cloaker.net.

✓ Na vyskúšanie nie je potrebná žiadna kreditná karta  ·  ✓ Zrušenie kedykoľvek  ·  ✓ Menej než milisekundová latencia