Prilagođeni Robots.txt
& Alat za izradu indeksiranja

Konfigurirajte direktive alata za indeksiranje, definirajte dopuštenja za pristup tražilici, odredite staze XML karte web mjesta i upravljajte stopama indeksiranja bez napora.

Unaprijed postavljene postavke:

robots.txt Izlaz

RFC 9309 Spremno

Graditelj datoteka protokola za isključivanje robota u stvarnom vremenu

Formatirani tekst direktive
utf-8 plain text
Prenesi u korijenski direktorij: /robots.txt Stvorite XML Sitemap →
Direktivna telemetrija
Standardni protokol: RFC 9309 / REP
Put korijenske datoteke: /robots.txt
Status alata za indeksiranje pretraživanja: Standardno indeksiranje
Referenca direktive

Core Robots.txt sintaksa i pravila

Protokol za isključivanje robota (REP) standard je RFC 9309 koji upravlja proračunima indeksiranja tražilice i indeksiranjem putanje.

User-agent Directive

Ciljana obitelj indeksiranja

Definira na kojeg se pretraživača primjenjuju sljedeća pravila. 'User-agent: *' cilja na sve botove, dok specifični tokeni ciljaju na pojedinačne pretraživače.

Onemogući & Dopusti

Pravila pristupa stazi

'Disallow: /admin/' zaustavlja usklađene alate za indeksiranje u struganju mapa. 'Allow: /' daje izričit pristup pod-resursima.

Sitemap deklaracija

Ubrzanje indeksa

Deklariše apsolutni URL vašeg XML sitemapa, omogućujući tražilicama da otkriju sve stranice koje je moguće indeksirati u strukturiranom manifestu.

Pravilo odgode indeksiranja

Ograničenje brzine indeksiranja

Podržavaju ga Bing i Yandex za sprječavanje skokova poslužitelja nametanjem pauze (u sekundama) između uzastopnih zahtjeva stranica.

Aktivna obrana gusjenica

Roboti i strugači za pregled oglasa ignoriraju robots.txt.
Nametnite neprobojno rubno filtriranje uz Cloaker.net.

Dok tražilice poštuju robots.txt, recenzenti oglasa (Meta, Google Ads, TikTok) i strugači ignoriraju tekstualne direktive. Cloaker.net provjerava hardverske otiske prstiju i TLS šifre na rubu za manje od 15 ms.

Aktivno presretanje robota i preglednika
Sub-15ms Single-Hop Edge Preusmjeravanje
Unaprijed filtrirani meta & Google potpisi
Dinamičko usmjeravanje po zemlji, uređaju i ASN-u
Započni besplatnu probu Instant Setup · Zero Code Setup
Podrška i smjernice

Često postavljana pitanja

Uobičajena tehnička pitanja o uputama za indeksiranje, pravilima zabrane i zaštiti od maskiranja.

Što je datoteka robots.txt?

Datoteka robots.txt standardna je tekstualna datoteka smještena u korijenski direktorij web stranice koja govori robotima tražilica i automatiziranim alatima za indeksiranje kojim URL-ovima mogu ili ne mogu pristupiti na vašoj web stranici.

Štiti li robots.txt tokove podružnica od alata za indeksiranje oglasa?

Ne. Dok legitimni botovi tražilice poštuju robots.txt, alati za indeksiranje oglasa (Meta, TikTok, Google Ads) i zlonamjerni alati za struganje često ignoriraju direktive zabrane. Aktivno rubno filtriranje na strani poslužitelja s Cloaker.net potrebno je za blokiranje neovlaštenih alata za indeksiranje.

Sprječava li pravilo zabrane u robots.txt indeksiranje stranice?

Nije nužno. Onemogućavanje URL-a zaustavlja robote za pretraživanje u indeksiranju njegovog sadržaja, ali ako vanjske veze upućuju na taj URL, Google i dalje može indeksirati sam URL. Kako biste osigurali da se stranica nikada ne indeksira, umjesto toga upotrijebite metaoznaku noindex.

Gdje treba učitati datoteku robots.txt?

Datoteka robots.txt mora biti učitana u korijenski direktorij domene vaše web stranice (npr. https://example.com/robots.txt).

Besprijekorno radi s vašim omiljenim oglasnim mrežama, alatima za praćenje i izvorima prometa

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Kontrolirajte promet indeksiranja u velikom broju

Implementirajte rubna preusmjeravanja ispod 15 ms, filtrirajte bot recenzente i zaštitite svoje oglasne kampanje s Cloaker.net.

✓ Za probu nije potrebna kreditna kartica  ·  ✓ Otkažite bilo kada  ·  ✓ Kašnjenje ispod milisekunde