Pielāgots Robots.txt
un rāpuļprogrammas veidotājs

Konfigurējiet rāpuļprogrammas direktīvas, definējiet meklētājprogrammu piekļuves atļaujas, norādiet XML vietnes kartes ceļus un bez piepūles pārvaldiet rāpuļprogrammas ātrumu.

Iepriekšējie iestatījumi:

robots.txt izvade

RFC 9309 gatavs

Reāllaika robotu izslēgšanas protokola failu veidotājs

Formatēts direktīvas teksts
utf-8 plain text
Augšupielādēt saknes direktorijā: /robots.txt Izveidot XML vietnes karti →
Direktīva telemetrija
Protokola standarts: RFC 9309 / REP
Saknes faila ceļš: /robots.txt
Meklēšanas rāpuļprogrammas statuss: Standarta indeksācija
Direktīvas atsauce

Galvenā Robots.txt sintakse un noteikumi

Robotu izslēgšanas protokols (REP) ir RFC 9309 standarts, kas regulē meklētājprogrammu pārmeklēšanas budžetus un ceļu indeksēšanu.

User-agent Directive

Mērķa rāpuļprogrammu ģimene

Nosaka, uz kuru rāpuļprogrammu attiecas tālāk minētie noteikumi. “User-agent: *” ir mērķēts uz visiem robotiem, savukārt konkrēti marķieri ir paredzēti atsevišķiem rāpuļprogrammām.

Neatļaut un atļaut

Ceļa piekļuves noteikumi

"Disallow: /admin/" neļauj saderīgām rāpuļprogrammām nokasīt mapes. “Atļaut: /” nodrošina skaidru piekļuvi apakšresursiem.

Vietnes kartes deklarācija

Indeksa paātrinājums

Deklarē jūsu XML vietnes kartes absolūto URL, ļaujot meklētājprogrammām atklāt visas indeksējamās lapas strukturētā manifestā.

Pārmeklēšanas aizkaves noteikums

Pārmeklēšanas ātruma ierobežojums

Atbalsta Bing un Yandex, lai novērstu servera lēcienus, ieviešot pauzi (sekundēs) starp secīgiem lapu pieprasījumiem.

Aktīvā kāpurķēžu aizsardzība

Reklāmu pārskatīšanas roboti un skrāpji ignorē failu robots.txt.
Izmantojiet necaurlaidīgu malu filtrēšanu, izmantojot Cloaker.net.

Kamēr meklētājprogrammas ievēro robots.txt, reklāmu pārskatītāji (Meta, Google Ads, TikTok) un skrāpji ignorē teksta norādījumus. Cloaker.net pārbauda aparatūras pirkstu nospiedumus un TLS šifrus malās mazāk nekā 15 ms laikā.

Aktīvā robotprogrammatūra un recenzenta pārtveršana
Apakš 15 ms viena lēciena malas novirzīšana
Iepriekš filtrēti meta un Google paraksti
Dinamiskā valsts, ierīces un ASN maršrutēšana
Sāciet bezmaksas izmēģinājuma versiju Tūlītēja iestatīšana · Nulles koda iestatīšana
Atbalsts un norādījumi

Bieži uzdotie jautājumi

Bieži sastopami tehniski jautājumi par rāpuļprogrammas direktīvām, aizlieguma noteikumiem un maskēšanas aizsardzību.

Kas ir fails robots.txt?

Fails robots.txt ir standarta teksta fails, kas ievietots vietnes saknes direktorijā, kas meklētājprogrammu robotiem un automatizētajām rāpuļprogrammām norāda, kuriem vietrāžiem URL tie var piekļūt vai kuriem nevar piekļūt jūsu vietnē.

Vai fails robots.txt aizsargā saistīto uzņēmumu piltuves no reklāmu pārskatīšanas rāpuļprogrammām?

Nē. Lai gan likumīgi meklētājprogrammu roboti pakļaujas failam robots.txt, reklāmu pārskatīšanas rāpuļprogrammas (Meta, TikTok, Google Ads) un ļaunprātīgie skrāpji bieži ignorē aizliedzošās direktīvas. Lai bloķētu nesankcionētus rāpuļprogrammas, ir nepieciešama aktīva servera puses malu filtrēšana, izmantojot Cloaker.net.

Vai failā robots.txt esošais aizlieguma kārtula neļauj indeksēt lapu?

Nav obligāti. Atļaujot URL, meklēšanas roboti nevar pārmeklēt tā saturu, taču, ja ārējās saites norāda uz šo URL, Google joprojām var indeksēt pašu URL. Lai nodrošinātu, ka lapa nekad netiek indeksēta, izmantojiet metatagu noindex.

Kur augšupielādēt failu robots.txt?

Fails robots.txt ir jāaugšupielādē jūsu vietnes domēna saknes direktorijā (piemēram, https://example.com/robots.txt).

Nemanāmi darbojas ar jūsu iecienītākajiem reklāmu tīkliem, izsekotājiem un trafika avotiem

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kontrolējiet rāpuļprogrammas satiksmi mērogā

Ieviesiet zem 15 ms malas novirzīšanu, filtrējiet robotu pārskatītājus un aizsargājiet savas reklāmu kampaņas, izmantojot Cloaker.net.

✓ Izmēģinājumam nav nepieciešama kredītkarte  ·  ✓ Atcelt jebkurā laikā  ·  ✓ Submilisekundes latentums