Tilpasset Robots.txt
& Crawler Builder

Konfigurer crawler-direktiver, definer søgemaskineadgangstilladelser, angiv XML-sitemapstier og administrer crawlhastigheder uden besvær.

Forudindstillinger:

robots.txt-output

Klar til RFC 9309

Real-time Robots Exclusion Protocol filbygger

Formateret direktivtekst
utf-8 plain text
Upload til rodmappe: /robots.txt Opret XML-sitemap →
Direktiv telemetri
Protokolstandard: RFC 9309 / REP
Rodfilsti: /robots.txt
Søgewebcrawlerstatus: Standardindeksering
Direktivhenvisning

Core Robots.txt Syntaks og regler

Robots Exclusion Protocol (REP) er en RFC 9309-standard, der styrer søgemaskinecrawl-budgetter og stiindeksering.

User-agent Directive

Target Crawler Familie

Definerer, hvilken crawler følgende regler gælder for. 'User-agent: *' målretter mod alle bots, mens specifikke tokens målretter mod individuelle crawlere.

Tillad og Tillad

Stiadgangsregler

'Disallow: /admin/' forhindrer kompatible crawlere i at skrabe mapper. 'Allow: /' giver eksplicit adgang til underressourcer.

Sitemap-erklæring

Indeksacceleration

Erklærer den absolutte URL på dit XML-sitemap, hvilket gør det muligt for søgemaskiner at opdage alle indekserbare sider i et struktureret manifest.

Crawl-Delay-regel

Begrænsning af gennemgangshastighed

Understøttet af Bing og Yandex for at forhindre serverspidser ved at gennemtvinge en pause (i sekunder) mellem på hinanden følgende sideanmodninger.

Aktivt Crawler-forsvar

Bots og skrabere til annoncegennemgang ignorerer robots.txt.
Håndhæv skudsikker kantfiltrering med Cloaker.net.

Mens søgemaskiner respekterer robots.txt, ignorerer annonceanmeldere (Meta, Google Ads, TikTok) og skrabere tekstdirektiver. Cloaker.net inspicerer hardware-fingeraftryk og TLS-cifre ved kanten på under 15 ms.

Aktiv Bot & Reviewer aflytning
Sub-15 ms Single-Hop Edge Redirection
Forfiltrerede meta- og Google-signaturer
Dynamisk lande-, enheds- og ASN-routing
Start gratis prøveperiode Øjeblikkelig opsætning · Nulkodeopsætning
Support & Vejledning

Ofte stillede spørgsmål

Almindelige tekniske spørgsmål om crawler-direktiver, regler for forbud mod tilladelse og tilsløringsforsvar.

Hvad er en robots.txt-fil?

En robots.txt-fil er en standardtekstfil placeret i rodmappen på et websted, der fortæller søgemaskinerobotter og automatiserede crawlere, hvilke URL'er de kan eller ikke kan få adgang til på dit websted.

Beskytter robots.txt affilierede tragte mod crawlere til annoncegennemgange?

Nej. Mens legitime søgemaskinebots adlyder robots.txt, ignorerer crawlere af annoncegennemgange (Meta, TikTok, Google Ads) og ondsindede skrabere ofte ikke-tilladelsesdirektiver. Aktiv kantfiltrering på serversiden med Cloaker.net er påkrævet for at blokere uautoriserede crawlere.

Forhindrer en disallow-regel i robots.txt en side i at blive indekseret?

Ikke nødvendigvis. At ikke tillade en URL forhindrer søgerobotter i at crawle dens indhold, men hvis eksterne links peger på den URL, kan Google stadig indeksere selve URL'en. For at sikre, at en side aldrig bliver indekseret, skal du bruge et noindex-metatag i stedet.

Hvor skal robots.txt-filen uploades?

Robots.txt-filen skal uploades til rodmappen på dit webstedsdomæne (f.eks. https://example.com/robots.txt).

Fungerer problemfrit med dine foretrukne annoncenetværk, trackere og trafikkilder

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Styr crawlertrafik i skala

Implementer sub-15 ms edge-omdirigeringer, filtrer botanmeldere, og beskyt dine annoncekampagner med Cloaker.net.

✓ Intet kreditkort kræves for prøveversion  ·  ✓ Annuller når som helst  ·  ✓ Sub-millisekunder latency