Niestandardowy plik Robots.txt
& Kreator robotów indeksujących
Skonfiguruj dyrektywy robota, zdefiniuj uprawnienia dostępu do wyszukiwarki, określ ścieżki mapy witryny XML i bez problemu zarządzaj szybkością indeksowania.
plik robots.txt Dane wyjściowe
Gotowy na RFC 9309Kreator plików protokołu wykluczenia robotów w czasie rzeczywistym
Podstawowa składnia i reguły pliku Robots.txt
Protokół wykluczania robotów (REP) to standard RFC 9309 regulujący budżety indeksowania wyszukiwarek i indeksowanie ścieżek.
Docelowa rodzina gąsienic
Określa, którego przeszukiwacza dotyczą następujące reguły. „User-agent: *” jest przeznaczony dla wszystkich botów, podczas gdy określone tokeny są przeznaczone dla poszczególnych robotów.
Zasady dostępu do ścieżki
„Disallow: /admin/” powstrzymuje zgodne roboty przed skrobaniem folderów. „Zezwalaj: /” przyznaje jawny dostęp do zasobów podrzędnych.
Przyspieszenie indeksu
Deklaruje bezwzględny adres URL mapy witryny XML, umożliwiając wyszukiwarkom odnalezienie wszystkich indeksowanych stron w ustrukturyzowanym manifeście.
Ograniczanie szybkości indeksowania
Obsługiwane przez Bing i Yandex, aby zapobiegać skokom serwera poprzez wymuszanie przerwy (w sekundach) pomiędzy kolejnymi żądaniami stron.
Boty i skrobaki do sprawdzania reklam ignorują plik robots.txt.
Wymuś kuloodporne filtrowanie krawędzi za pomocą Cloaker.net.
Podczas gdy wyszukiwarki szanują plik robots.txt, recenzenci reklam (Meta, Google Ads, TikTok) i scraperzy ignorują dyrektywy tekstowe. Cloaker.net sprawdza odciski palców sprzętu i szyfry TLS na krawędzi w czasie krótszym niż 15 ms.
Często zadawane pytania
Często zadawane pytania techniczne dotyczące dyrektyw robotów, reguł blokowania i ochrony przed maskowaniem.
Plik robots.txt to standardowy plik tekstowy umieszczany w katalogu głównym witryny internetowej, który informuje roboty wyszukiwarek i automatyczne roboty indeksujące, do jakich adresów URL mogą uzyskać dostęp w Twojej witrynie, a których nie.
Nie. Podczas gdy legalne boty wyszukiwarek przestrzegają pliku robots.txt, roboty przeglądające reklamy (Meta, TikTok, Google Ads) i złośliwe narzędzia skrobające często ignorują dyrektywy zakazujące. Aby blokować nieautoryzowane roboty indeksujące, wymagane jest aktywne filtrowanie krawędzi po stronie serwera za pomocą Cloaker.net.
Nie koniecznie. Niedopuszczenie adresu URL powstrzymuje roboty wyszukiwania od indeksowania jego zawartości, ale jeśli linki zewnętrzne wskazują na ten adres URL, Google nadal może sam go zaindeksować. Aby mieć pewność, że strona nigdy nie zostanie zaindeksowana, użyj zamiast tego metatagu noindex.
Plik robots.txt należy przesłać do katalogu głównego domeny Twojej witryny (np. https://example.com/robots.txt).
Bezproblemowo współpracuje z Twoimi ulubionymi sieciami reklamowymi, modułami śledzącymi i źródłami ruchu
Kontroluj ruch robotów indeksujących na dużą skalę
Wdrażaj przekierowania brzegowe trwające poniżej 15 ms, filtruj recenzentów botów i chroń swoje kampanie reklamowe za pomocą Cloaker.net.
✓ Do okresu próbnego nie jest wymagana karta kredytowa · ✓ Anuluj w dowolnym momencie · ✓ Opóźnienie poniżej milisekundy