Custom Robots.txt
& Crawler Builder
Konfigurujte príkazy prehľadávača, definujte prístupové oprávnenia vyhľadávacieho nástroja, špecifikujte cesty k súborom XML sitemap a bez námahy spravujte rýchlosti prehľadávania.
Výstup robots.txt
RFC 9309 pripravenýZostavovač súborov protokolu robotov v reálnom čase
Syntax a pravidlá Core Robots.txt
Robots Exclusion Protocol (REP) je štandard RFC 9309, ktorý upravuje rozpočty prehľadávania vyhľadávacieho nástroja a indexovanie ciest.
Cieľová rodina prehľadávačov
Definuje, na ktorý prehľadávač sa vzťahujú nasledujúce pravidlá. 'User-agent: *' sa zameriava na všetky roboty, zatiaľ čo špecifické tokeny sa zameriavajú na jednotlivé prehľadávače.
Pravidlá prístupu k ceste
'Disallow: /admin/' zastaví vyhovujúcim prehľadávačom zoškrabávanie priečinkov. 'Povoliť: /' udeľuje explicitný prístup k čiastkovým zdrojom.
Zrýchlenie indexu
Deklaruje absolútnu adresu URL vášho súboru Sitemap XML, čo umožňuje vyhľadávacím nástrojom objaviť všetky indexovateľné stránky v štruktúrovanom manifeste.
Obmedzenie rýchlosti indexového prehľadávania
Podporované Bingom a Yandexom, aby sa zabránilo špičkám servera vynútením pauzy (v sekundách) medzi po sebe nasledujúcimi požiadavkami na stránku.
Roboty a nástroje na kontrolu reklám ignorujú súbor robots.txt.
Presadzujte nepriestrelné filtrovanie okrajov pomocou Cloaker.net.
Zatiaľ čo vyhľadávače rešpektujú súbor robots.txt, kontrolóri reklám (Meta, Google Ads, TikTok) a scraperi ignorujú textové príkazy. Cloaker.net kontroluje hardvérové odtlačky prstov a šifry TLS na okraji za menej ako 15 ms.
Často kladené otázky
Bežné technické otázky týkajúce sa príkazov indexového prehľadávača, pravidiel zákazu a ochrany pred maskovaním.
Súbor robots.txt je štandardný textový súbor umiestnený v koreňovom adresári webovej lokality, ktorý informuje roboty vyhľadávacích nástrojov a automatizované prehľadávače, ku ktorým adresám URL môžu alebo nemôžu pristupovať na vašej lokalite.
Nie. Zatiaľ čo legitímne roboty vyhľadávačov dodržiavajú súbor robots.txt, indexové prehľadávače na kontrolu reklám (Meta, TikTok, Google Ads) a škodlivé škrabadlá často ignorujú príkazy na zakázanie. Na blokovanie neoprávnených prehľadávačov je potrebné aktívne filtrovanie okrajov na strane servera pomocou Cloaker.net.
Nie nevyhnutne. Zakázanie adresy URL zastaví prehľadávacím robotom indexové prehľadávanie jej obsahu, ale ak externé odkazy smerujú na túto adresu URL, Google môže aj tak indexovať samotnú adresu URL. Ak chcete zaistiť, aby stránka nebola nikdy indexovaná, použite namiesto nej metaznačku noindex.
Súbor robots.txt je potrebné nahrať do koreňového adresára domény vašej webovej lokality (napr. https://example.com/robots.txt).
Bezproblémovo spolupracuje s vašimi obľúbenými reklamnými sieťami, sledovačmi a zdrojmi návštevnosti
Ovládajte premávku prehľadávačov vo veľkom rozsahu
Nasaďte okrajové presmerovania pod 15 ms, filtrujte kontrolórov robotov a chráňte svoje reklamné kampane pomocou Cloaker.net.
✓ Na vyskúšanie nie je potrebná žiadna kreditná karta · ✓ Zrušenie kedykoľvek · ✓ Menej než milisekundová latencia