Muokattu Robots.txt
ja indeksointirobotti

Määritä indeksointikäskyjä, määritä hakukoneiden käyttöoikeudet, määritä XML-sivustokartan polut ja hallitse indeksointitiheyttä vaivattomasti.

Esiasetukset:

robots.txt-tulostus

RFC 9309 valmis

Reaaliaikainen robottien poissulkemisprotokollan tiedostojen rakentaja

Muotoiltu direktiiviteksti
utf-8 plain text
Lataa juurihakemistoon: /robots.txt Luo XML-sivustokartta →
Telemetriadirektiivi
Protokollastandardi: RFC 9309 / REP
Juuritiedoston polku: /robots.txt
Haun indeksointirobotin tila: Normaali indeksointi
Direktiivin viite

Robots.txt-tiedoston ydinsyntaksi ja säännöt

Robots Exclusion Protocol (REP) on RFC 9309 -standardi, joka säätelee hakukoneiden indeksointibudjetteja ja polun indeksointia.

User-agent Directive

Kohde-indeksointiperhe

Määrittää, mitä indeksointirobottia seuraavat säännöt koskevat. "User-agent: *" kohdistaa kaikkiin robotteihin, kun taas tietyt tunnukset kohdistavat yksittäisiin indeksointiroboteihin.

Estä & Salli

Polun pääsysäännöt

"Disallow: /admin/" estää yhteensopivia indeksointirobotteja kaappamasta kansioita. "Allow: /" antaa nimenomaisen pääsyn aliresursseihin.

Sivustokartan ilmoitus

Indeksin kiihtyvyys

Ilmoittaa XML-sivustokarttasi absoluuttisen URL-osoitteen, jolloin hakukoneet voivat löytää kaikki indeksoitavat sivut jäsennellystä luettelosta.

Indeksoinnin viive sääntö

Indeksointinopeuden rajoitus

Bingin ja Yandexin tukema palvelinpiikkien estämiseksi pakottamalla tauko (sekunneissa) peräkkäisten sivupyyntöjen väliin.

Aktiivinen indeksointipuolustus

Mainosten tarkistusbotit ja -kaapijat jättävät robots.txt-tiedoston huomiotta.
Tee luodinkestävä reunasuodatus Cloaker.net-palvelun avulla.

Vaikka hakukoneet kunnioittavat robots.txt-tiedostoa, mainosten tarkistajat (Meta, Google Ads, TikTok) ja kaavinta jättävät huomiotta tekstiohjeet. Cloaker.net tarkistaa laitteiston sormenjäljet ​​ja TLS-salaukset reunasta alle 15 ms:ssa.

Aktiivinen botin ja arvioijan sieppaus
Sub-15ms yhden hypyn reunan uudelleenohjaus
Esisuodatettu meta- ja Google-allekirjoitukset
Dynaaminen maa-, laite- ja ASN-reititys
Aloita ilmainen kokeilu Pika-asennus · Nollakoodin asetukset
Tuki ja opastus

Usein kysytyt kysymykset

Yleisiä teknisiä kysymyksiä indeksointiohjeista, estosäännöistä ja suojauksen peittämisestä.

Mikä on robots.txt-tiedosto?

Robots.txt-tiedosto on tavallinen tekstitiedosto, joka on sijoitettu verkkosivuston juurihakemistoon ja joka kertoo hakukoneroboteille ja automaattisille indeksointiroboteille, mitä URL-osoitteita he voivat käyttää sivustossasi.

Suojaako robots.txt yhteistyökumppanien kanavia mainosten tarkistusindeksoijilta?

Ei. Vaikka lailliset hakukonebotit tottelevat robots.txt-tiedostoa, mainosten tarkistusindeksoijat (Meta, TikTok, Google Ads) ja haitalliset kaavinta jättävät usein huomiotta kieltävät käskyt. Aktiivinen palvelinpuolen reunasuodatus Cloaker.net:n kanssa vaaditaan luvattomien indeksointirobottien estämiseksi.

Estääkö robots.txt-tiedoston disallow-sääntö sivua indeksoimasta?

Ei välttämättä. URL-osoitteen kieltäminen estää hakurobotteja indeksoimasta sen sisältöä, mutta jos ulkoiset linkit osoittavat kyseiseen URL-osoitteeseen, Google voi silti indeksoida URL-osoitteen itse. Varmista, että sivua ei koskaan indeksoida, käyttämällä sen sijaan noindex-sisällönkuvauskenttää.

Mihin robots.txt-tiedosto tulee ladata?

Robots.txt-tiedosto on ladattava verkkosivustosi verkkotunnuksen juurihakemistoon (esim. https://example.com/robots.txt).

Toimii saumattomasti suosikkimainosverkostojesi, seuranta- ja liikennelähteesi kanssa

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Hallitse telaketjuliikennettä mittakaavassa

Ota käyttöön alle 15 ms:n reuna-uudelleenohjaukset, suodata bottien tarkastajat ja suojaa mainoskampanjasi Cloaker.net-palvelun avulla.

✓ Luottokorttia ei vaadita kokeiluun  ·  ✓ Peru milloin tahansa  ·  ✓ Millisekunnin viive