Niestandardowy plik Robots.txt
& Kreator robotów indeksujących

Skonfiguruj dyrektywy robota, zdefiniuj uprawnienia dostępu do wyszukiwarki, określ ścieżki mapy witryny XML i bez problemu zarządzaj szybkością indeksowania.

Ustawienia wstępne:

plik robots.txt Dane wyjściowe

Gotowy na RFC 9309

Kreator plików protokołu wykluczenia robotów w czasie rzeczywistym

Sformatowany tekst dyrektywy
utf-8 plain text
Prześlij do katalogu głównego: /robots.txt Utwórz mapę witryny XML →
Dyrektywa Telemetria
Standard protokołu: RFC 9309 / REP
Ścieżka pliku głównego: /robots.txt
Stan robota wyszukiwania: Indeksowanie standardowe
Odniesienie do dyrektywy

Podstawowa składnia i reguły pliku Robots.txt

Protokół wykluczania robotów (REP) to standard RFC 9309 regulujący budżety indeksowania wyszukiwarek i indeksowanie ścieżek.

User-agent Directive

Docelowa rodzina gąsienic

Określa, którego przeszukiwacza dotyczą następujące reguły. „User-agent: *” jest przeznaczony dla wszystkich botów, podczas gdy określone tokeny są przeznaczone dla poszczególnych robotów.

Nie zezwalaj i zezwalaj

Zasady dostępu do ścieżki

„Disallow: /admin/” powstrzymuje zgodne roboty przed skrobaniem folderów. „Zezwalaj: /” przyznaje jawny dostęp do zasobów podrzędnych.

Deklaracja mapy witryny

Przyspieszenie indeksu

Deklaruje bezwzględny adres URL mapy witryny XML, umożliwiając wyszukiwarkom odnalezienie wszystkich indeksowanych stron w ustrukturyzowanym manifeście.

Reguła opóźnienia indeksowania

Ograniczanie szybkości indeksowania

Obsługiwane przez Bing i Yandex, aby zapobiegać skokom serwera poprzez wymuszanie przerwy (w sekundach) pomiędzy kolejnymi żądaniami stron.

Aktywna obrona pełzacza

Boty i skrobaki do sprawdzania reklam ignorują plik robots.txt.
Wymuś kuloodporne filtrowanie krawędzi za pomocą Cloaker.net.

Podczas gdy wyszukiwarki szanują plik robots.txt, recenzenci reklam (Meta, Google Ads, TikTok) i scraperzy ignorują dyrektywy tekstowe. Cloaker.net sprawdza odciski palców sprzętu i szyfry TLS na krawędzi w czasie krótszym niż 15 ms.

Przechwytywanie aktywnego bota i recenzenta
Przekierowanie krawędziowe z pojedynczym przeskokiem poniżej 15 ms
Wstępnie filtrowane meta i podpisy Google
Dynamiczne wyznaczanie tras dla krajów, urządzeń i ASN
Rozpocznij bezpłatny okres próbny Natychmiastowa konfiguracja · Konfiguracja zerowego kodu
Wsparcie i wskazówki

Często zadawane pytania

Często zadawane pytania techniczne dotyczące dyrektyw robotów, reguł blokowania i ochrony przed maskowaniem.

Co to jest plik robots.txt?

Plik robots.txt to standardowy plik tekstowy umieszczany w katalogu głównym witryny internetowej, który informuje roboty wyszukiwarek i automatyczne roboty indeksujące, do jakich adresów URL mogą uzyskać dostęp w Twojej witrynie, a których nie.

Czy plik robots.txt chroni ścieżki partnerów przed robotami sprawdzającymi reklamy?

Nie. Podczas gdy legalne boty wyszukiwarek przestrzegają pliku robots.txt, roboty przeglądające reklamy (Meta, TikTok, Google Ads) i złośliwe narzędzia skrobające często ignorują dyrektywy zakazujące. Aby blokować nieautoryzowane roboty indeksujące, wymagane jest aktywne filtrowanie krawędzi po stronie serwera za pomocą Cloaker.net.

Czy reguła zakazująca w pliku robots.txt uniemożliwia indeksowanie strony?

Nie koniecznie. Niedopuszczenie adresu URL powstrzymuje roboty wyszukiwania od indeksowania jego zawartości, ale jeśli linki zewnętrzne wskazują na ten adres URL, Google nadal może sam go zaindeksować. Aby mieć pewność, że strona nigdy nie zostanie zaindeksowana, użyj zamiast tego metatagu noindex.

Gdzie należy przesłać plik robots.txt?

Plik robots.txt należy przesłać do katalogu głównego domeny Twojej witryny (np. https://example.com/robots.txt).

Bezproblemowo współpracuje z Twoimi ulubionymi sieciami reklamowymi, modułami śledzącymi i źródłami ruchu

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kontroluj ruch robotów indeksujących na dużą skalę

Wdrażaj przekierowania brzegowe trwające poniżej 15 ms, filtruj recenzentów botów i chroń swoje kampanie reklamowe za pomocą Cloaker.net.

✓ Do okresu próbnego nie jest wymagana karta kredytowa  ·  ✓ Anuluj w dowolnym momencie  ·  ✓ Opóźnienie poniżej milisekundy