Egyéni Robots.txt
& Feltérképező robot

Konfigurálhatja a bejáró utasításait, meghatározhatja a keresőmotorok hozzáférési engedélyeit, megadhatja az XML-webhelytérkép-útvonalakat, és könnyedén kezelheti a bejárási sebességet.

Előbeállítások:

robots.txt kimenet

RFC 9309 kész

Valós idejű robotkizárási protokoll fájlkészítő

Formázott irányelv szövege
utf-8 plain text
Feltöltés a gyökérkönyvtárba: /robots.txt XML-webhelytérkép létrehozása →
Telemetriai irányelv
Protokoll szabvány: RFC 9309 / REP
Gyökérfájl elérési útja: /robots.txt
Keresési robot állapota: Szabványos indexelés
Irányelv hivatkozás

Alapvető Robots.txt szintaxis és szabályok

A Robots Exclusion Protocol (REP) egy RFC 9309 szabvány, amely szabályozza a keresőmotorok feltérképezési költségkeretét és az útvonalindexelést.

User-agent Directive

Cél Crawler család

Meghatározza, hogy a következő szabályok melyik bejáróra vonatkoznak. A 'User-agent: *' az összes botot megcélozza, míg az egyes tokenek az egyes bejárókat célozzák meg.

Letiltás és engedélyezés

Útvonal hozzáférési szabályok

A „Disallow: /admin/” megakadályozza, hogy a kompatibilis bejárók lekaparják a mappákat. Az "Allow: /" explicit hozzáférést biztosít az al-erőforrásokhoz.

Webhelytérkép nyilatkozat

Index gyorsulás

Kijelenti az XML-webhelytérkép abszolút URL-jét, lehetővé téve a keresőmotorok számára, hogy felfedezzék az összes indexelhető oldalt egy strukturált jegyzékben.

Feltérképezés késleltetési szabálya

Feltérképezési sebesség korlátozása

A Bing és a Yandex támogatja, hogy megakadályozza a szerver kiugró emelkedéseit azáltal, hogy szünetet (másodpercben) kényszerít ki az egymást követő oldalkérések között.

Aktív lánctalpas védelem

A hirdetés-ellenőrző robotok és kaparók figyelmen kívül hagyják a robots.txt fájlt.
A golyóálló élszűrés érvényesítése a Cloaker.net segítségével.

Míg a keresőmotorok tiszteletben tartják a robots.txt fájlt, a hirdetésellenőrzők (Meta, Google Ads, TikTok) és a lehúzók figyelmen kívül hagyják a szöveges direktívákat. A Cloaker.net 15 ms alatt ellenőrzi a hardveres ujjlenyomatokat és a TLS titkosításokat a széleken.

Active Bot & Reviewer Interception
15 ms alatti egyugrásos él átirányítás
Előszűrt meta- és Google-aláírások
Dinamikus ország-, eszköz- és ASN-útválasztás
Indítsa el az ingyenes próbaverziót Azonnali beállítás · Zero Code Setup
Támogatás és útmutatás

Gyakran ismételt kérdések

Gyakori technikai kérdések a feltérképezési utasításokkal, a tiltó szabályokkal és az álcázó védelemmel kapcsolatban.

Mi az a robots.txt fájl?

A robots.txt fájl egy szabványos szöveges fájl, amelyet a webhely gyökérkönyvtárában helyeznek el, és megmondja a keresőrobotoknak és az automatikus feltérképező robotoknak, hogy mely URL-címekhez férhetnek hozzá az Ön webhelyén.

A robots.txt megvédi a társult csatornákat a hirdetés-ellenőrző robotoktól?

Nem. Míg a legitim keresőrobotok engedelmeskednek a robots.txt fájlnak, a hirdetés-ellenőrző robotok (Meta, TikTok, Google Ads) és a rosszindulatú lehúzók gyakran figyelmen kívül hagyják a tiltó utasításokat. A jogosulatlan bejárók blokkolásához aktív szerveroldali élszűrés szükséges a Cloaker.net segítségével.

A robots.txt fájl tiltó szabálya megakadályozza az oldal indexelését?

Nem feltétlenül. Egy URL letiltása megakadályozza, hogy a keresőrobotok feltérképezzék annak tartalmát, de ha külső hivatkozások mutatnak erre az URL-re, a Google magát az URL-t is indexelni tudja. Annak biztosítására, hogy egy oldal soha ne kerüljön indexelésre, használjon helyette noindex metacímkét.

Hová kell feltölteni a robots.txt fájlt?

A robots.txt fájlt fel kell tölteni a webhely domainjének gyökérkönyvtárába (pl. https://example.com/robots.txt).

Zökkenőmentesen működik kedvenc hirdetési hálózataival, nyomkövetőivel és forgalmi forrásaival

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Irányítsd a lánctalpas forgalmat nagy léptékben

Vezessen be 15 ms-nál rövidebb éles átirányításokat, szűrje ki a bot-ellenőrzőket, és védje meg hirdetési kampányait a Cloaker.net segítségével.

✓ A próbaverzióhoz nincs szükség hitelkártyára  ·  ✓ Bármikor lemondhatja