Custom Robots.txt
& Crawler Builder

Konfigurer crawler-direktiver, definer tilgangstillatelser for søkemotorer, spesifiser XML-nettstedskartbaner og administrer gjennomsøkingshastigheter uten problemer.

Forhåndsinnstillinger:

robots.txt-utdata

RFC 9309 klar

Sanntids Robots Exclusion Protocol filbygger

Formatert direktivtekst
utf-8 plain text
Last opp til rotkatalogen: /robots.txt Lag XML Sitemap →
Direktiv telemetri
Protokollstandard: RFC 9309 / REP
Rotfilbane: /robots.txt
Søkerobotstatus: Standard indeksering
Direktivreferanse

Kjerne Robots.txt Syntaks og regler

Robots Exclusion Protocol (REP) er en RFC 9309-standard som styrer gjennomsøkingsbudsjetter for søkemotorer og baneindeksering.

User-agent Directive

Målsøkerobotfamilie

Definerer hvilken crawler følgende regler gjelder for. 'User-agent: *' målretter mot alle roboter, mens spesifikke tokens målretter mot individuelle søkeroboter.

Ikke tillat og tillat

Rutetilgangsregler

'Disallow: /admin/' stopper kompatible crawlere fra å skrape mapper. 'Tillat: /' gir eksplisitt tilgang til underressurser.

Sitemap-erklæring

Indeksakselerasjon

Erklærer den absolutte URL-en til XML-nettkartet ditt, slik at søkemotorer kan oppdage alle indekserbare sider i et strukturert manifest.

Crawl-Delay-regel

Begrensning av gjennomsøkingshastighet

Støttes av Bing og Yandex for å forhindre servertopper ved å fremtvinge en pause (i sekunder) mellom påfølgende sideforespørsler.

Aktivt robotforsvar

Annonsevurderingsroboter og -skrapere ignorerer robots.txt.
Håndhev skuddsikker kantfiltrering med Cloaker.net.

Mens søkemotorer respekterer robots.txt, ignorerer annonseanmeldere (Meta, Google Ads, TikTok) og skrapere tekstdirektiver. Cloaker.net inspiserer maskinvare-fingeravtrykk og TLS-chiffer i kanten på under 15 ms.

Aktiv bot- og anmelderavlytting
Sub-15 ms Single-Hop Edge Redirection
Forhåndsfiltrerte meta- og Google-signaturer
Dynamisk land-, enhets- og ASN-ruting
Start gratis prøveversjon Øyeblikkelig oppsett · Nullkodeoppsett
Støtte og veiledning

Ofte stilte spørsmål

Vanlige tekniske spørsmål om crawler-direktiver, forbudsregler og maskeringsforsvar.

Hva er en robots.txt-fil?

En robots.txt-fil er en standard tekstfil plassert i rotkatalogen til et nettsted som forteller søkemotorroboter og automatiserte crawlere hvilke URL-er de har eller ikke kan få tilgang til på nettstedet ditt.

Beskytter robots.txt tilknyttede trakter fra søkeroboter for annonsevurdering?

Nei. Mens legitime søkemotorroboter adlyder robots.txt, ignorerer søkeroboter for annonsevurderinger (Meta, TikTok, Google Ads) og ondsinnede skrapere ofte ikke-tillatte direktiver. Aktiv kantfiltrering på serversiden med Cloaker.net er nødvendig for å blokkere uautoriserte crawlere.

Hindrer en disallow-regel i robots.txt at en side ikke blir indeksert?

Ikke nødvendigvis. Hvis du ikke tillater en nettadresse, stopper søkeroboter fra å gjennomsøke innholdet, men hvis eksterne lenker peker til den nettadressen, kan Google fortsatt indeksere selve nettadressen. For å sikre at en side aldri blir indeksert, bruk en noindex-metakode i stedet.

Hvor skal robots.txt-filen lastes opp?

Robots.txt-filen må lastes opp til rotkatalogen til nettstedets domene (f.eks. https://example.com/robots.txt).

Fungerer sømløst med favorittannonsenettverkene, sporerne og trafikkkildene dine

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kontroller robottrafikk i stor skala

Implementer omdirigeringer på under 15 ms, filtrer botanmeldere og beskytt annonsekampanjene dine med Cloaker.net.

✓ Ingen kredittkort kreves for prøveversjon  ·  ✓ Avbryt når som helst  ·  ✓ Sub-millisekundes latens