Anpassad Robots.txt
& Crawler Builder
Konfigurera sökrobotdirektiv, definiera åtkomstbehörigheter för sökmotorer, ange sökvägar för XML-webbplatskartor och hantera genomsökningshastigheter utan ansträngning.
robots.txt Utdata
RFC 9309 KlarFilbyggare för Robots Exclusion Protocol i realtid
Core Robots.txt Syntax och regler
Robots Exclusion Protocol (REP) är en RFC 9309-standard som styr budgetar för genomsökning av sökmotorer och sökvägsindexering.
Målsökarfamilj
Definierar vilken sökrobot följande regler gäller. "User-agent: *" riktar sig till alla bots, medan specifika tokens riktar sig mot enskilda sökrobotar.
Regler för sökväg
'Disallow: /admin/' stoppar kompatibla sökrobotar från att skrapa mappar. 'Allow: /' ger explicit åtkomst till underresurser.
Indexacceleration
Deklarerar den absoluta webbadressen till din XML-webbplatskarta, vilket gör att sökmotorer kan upptäcka alla indexerbara sidor i ett strukturerat manifest.
Begränsning av genomsökningshastighet
Stöds av Bing och Yandex för att förhindra servertoppar genom att framtvinga en paus (i sekunder) mellan på varandra följande sidförfrågningar.
Bots och skrapor för annonsgranskning ignorerar robots.txt.
Tvinga fram skottsäker kantfiltrering med Cloaker.net.
Medan sökmotorer respekterar robots.txt, ignorerar annonsgranskare (Meta, Google Ads, TikTok) och skrapor textdirektiv. Cloaker.net inspekterar hårdvaru-fingeravtryck och TLS-chiffer i kanten på mindre än 15 ms.
Vanliga frågor
Vanliga tekniska frågor om sökrobotdirektiv, förbjudna regler och cloaking-försvar.
En robots.txt-fil är en standardtextfil som placeras i rotkatalogen på en webbplats som talar om för sökmotorrobotar och automatiska sökrobotar vilka webbadresser de kan eller inte kan komma åt på din webbplats.
Nej. Medan legitima sökmotorrobotar följer robots.txt, ignorerar sökrobotar för annonsgranskning (Meta, TikTok, Google Ads) och skadliga skrapare ofta direktiv om inte tillåta. Aktiv kantfiltrering på serversidan med Cloaker.net krävs för att blockera obehöriga sökrobotar.
Inte nödvändigtvis. Om du inte tillåter en webbadress stoppar sökrobotar från att genomsöka dess innehåll, men om externa länkar pekar på den webbadressen kan Google fortfarande indexera själva webbadressen. För att säkerställa att en sida aldrig indexeras, använd en noindex-metatagg istället.
Robots.txt-filen måste laddas upp till rotkatalogen för din webbplatsdomän (t.ex. https://example.com/robots.txt).
Fungerar sömlöst med dina favoritannonsnätverk, spårare och trafikkällor
Kontrollera larvbandstrafiken i stor skala
Distribuera omdirigeringar under 15 ms, filtrera botgranskare och skydda dina annonskampanjer med Cloaker.net.
✓ Inget kreditkort krävs för provperioden · ✓ Avbryt när som helst · ✓ Latens under millisekunder