Anpassad Robots.txt
& Crawler Builder

Konfigurera sökrobotdirektiv, definiera åtkomstbehörigheter för sökmotorer, ange sökvägar för XML-webbplatskartor och hantera genomsökningshastigheter utan ansträngning.

Förinställningar:

robots.txt Utdata

RFC 9309 Klar

Filbyggare för Robots Exclusion Protocol i realtid

Formaterad direktivtext
utf-8 plain text
Ladda upp till rotkatalogen: /robots.txt Skapa XML-webbplatskarta →
Direktiv telemetri
Protokollstandard: RFC 9309 / REP
Rotfilssökväg: /robots.txt
Sökrobotstatus: Standardindexering
Direktivreferens

Core Robots.txt Syntax och regler

Robots Exclusion Protocol (REP) är en RFC 9309-standard som styr budgetar för genomsökning av sökmotorer och sökvägsindexering.

User-agent Directive

Målsökarfamilj

Definierar vilken sökrobot följande regler gäller. "User-agent: *" riktar sig till alla bots, medan specifika tokens riktar sig mot enskilda sökrobotar.

Tillåt och tillåt

Regler för sökväg

'Disallow: /admin/' stoppar kompatibla sökrobotar från att skrapa mappar. 'Allow: /' ger explicit åtkomst till underresurser.

Deklaration för webbplatskarta

Indexacceleration

Deklarerar den absoluta webbadressen till din XML-webbplatskarta, vilket gör att sökmotorer kan upptäcka alla indexerbara sidor i ett strukturerat manifest.

Genomsökningsfördröjningsregel

Begränsning av genomsökningshastighet

Stöds av Bing och Yandex för att förhindra servertoppar genom att framtvinga en paus (i sekunder) mellan på varandra följande sidförfrågningar.

Active Crawler Defense

Bots och skrapor för annonsgranskning ignorerar robots.txt.
Tvinga fram skottsäker kantfiltrering med Cloaker.net.

Medan sökmotorer respekterar robots.txt, ignorerar annonsgranskare (Meta, Google Ads, TikTok) och skrapor textdirektiv. Cloaker.net inspekterar hårdvaru-fingeravtryck och TLS-chiffer i kanten på mindre än 15 ms.

Aktiv Bot & Reviewer Avlyssning
Sub-15 ms Single-Hop Edge Redirection
Förfiltrerade meta- och Google-signaturer
Dynamisk land-, enhets- och ASN-routing
Starta gratis provperiod Instant Setup · Zero Code Setup
Support & vägledning

Vanliga frågor

Vanliga tekniska frågor om sökrobotdirektiv, förbjudna regler och cloaking-försvar.

Vad är en robots.txt-fil?

En robots.txt-fil är en standardtextfil som placeras i rotkatalogen på en webbplats som talar om för sökmotorrobotar och automatiska sökrobotar vilka webbadresser de kan eller inte kan komma åt på din webbplats.

Skyddar robots.txt affiliate-kanaler från sökrobotar för annonsgranskning?

Nej. Medan legitima sökmotorrobotar följer robots.txt, ignorerar sökrobotar för annonsgranskning (Meta, TikTok, Google Ads) och skadliga skrapare ofta direktiv om inte tillåta. Aktiv kantfiltrering på serversidan med Cloaker.net krävs för att blockera obehöriga sökrobotar.

Förhindrar en disallow-regel i robots.txt en sida från att indexeras?

Inte nödvändigtvis. Om du inte tillåter en webbadress stoppar sökrobotar från att genomsöka dess innehåll, men om externa länkar pekar på den webbadressen kan Google fortfarande indexera själva webbadressen. För att säkerställa att en sida aldrig indexeras, använd en noindex-metatagg istället.

Var ska robots.txt-filen laddas upp?

Robots.txt-filen måste laddas upp till rotkatalogen för din webbplatsdomän (t.ex. https://example.com/robots.txt).

Fungerar sömlöst med dina favoritannonsnätverk, spårare och trafikkällor

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kontrollera larvbandstrafiken i stor skala

Distribuera omdirigeringar under 15 ms, filtrera botgranskare och skydda dina annonskampanjer med Cloaker.net.

✓ Inget kreditkort krävs för provperioden  ·  ✓ Avbryt när som helst  ·  ✓ Latens under millisekunder