Robots.txt personalizat
Și Generator de crawler

Configurați directivele crawlerelor, definiți permisiunile de acces la motorul de căutare, specificați căile XML sitemap și gestionați fără efort ratele de accesare cu crawlere.

Presetari:

Ieșire robots.txt

RFC 9309 Gata

Creator de fișiere de protocol de excludere a roboților în timp real

Text directiv formatat
utf-8 plain text
Încărcați în directorul rădăcină: /robots.txt Creați un sitemap XML →
Telemetrie directivă
Standard de protocol: RFC 9309 / REP
Calea fișierului rădăcină: /robots.txt
Starea crawlerului de căutare: Indexare standard
Referință directivă

Core Robots.txt Sintaxă și reguli

Robots Exclusion Protocol (REP) este un standard RFC 9309 care guvernează bugetele de accesare cu crawlere a motoarelor de căutare și indexarea căilor.

User-agent Directive

Familia de crawler țintă

Definește la ce crawler se aplică următoarele reguli. „User-agent: *” vizează toți roboții, în timp ce anumite simboluri vizează crawlerele individuale.

Dezactivați și permiteți

Reguli de acces la cale

„Disallow: /admin/” oprește crawlerele conforme de la răzuirea dosarelor. „Permite: /” acordă acces explicit la subresurse.

Declarație Sitemap

Accelerarea indexului

Declara adresa URL absolută a sitemap-ului dvs. XML, permițând motoarelor de căutare să descopere toate paginile indexabile într-un manifest structurat.

Regulă de întârziere cu crawler

Limitarea ratei de accesare cu crawlere

Sprijinit de Bing și Yandex pentru a preveni vârfurile serverului prin impunerea unei pauze (în secunde) între solicitările consecutive de pagini.

Apărare activă pe șenile

Boții de examinare a anunțurilor și scrapers ignoră robots.txt.
Implementați filtrarea marginilor antiglonț cu Cloaker.net.

În timp ce motoarele de căutare respectă robots.txt, examinatorii de anunțuri (Meta, Google Ads, TikTok) și scrapers ignoră directivele de text. Cloaker.net inspectează amprentele hardware și cifrurile TLS de la margine în mai puțin de 15 ms.

Interceptarea botului activ și a recenzentului
Redirecționare sub-15ms cu un singur salt
Semnături meta și Google prefiltrate
Rutare dinamică pentru țară, dispozitiv și ASN
Începeți proba gratuită Configurare instantanee · Configurare cod zero
Suport și îndrumare

Întrebări frecvente

Întrebări tehnice obișnuite despre directivele crawlerelor, regulile de interzicere și apărarea încuviințării.

Ce este un fișier robots.txt?

Un fișier robots.txt este un fișier text standard plasat în directorul rădăcină al unui site web, care le spune roboților motoarelor de căutare și crawlerelor automate ce adrese URL pot sau nu pot accesa pe site-ul dvs.

Robots.txt protejează canalele afiliate de crawlerele de examinare a anunțurilor?

Nu. În timp ce roboții legitimi ai motoarelor de căutare se supun robots.txt, crawlerele de revizuire a anunțurilor (Meta, TikTok, Google Ads) și scraper-urile rău intenționate ignoră adesea directivele de respingere. Filtrarea activă pe marginea serverului cu Cloaker.net este necesară pentru a bloca crawlerele neautorizate.

O regulă de interzicere în robots.txt împiedică indexarea unei pagini?

Nu neapărat. Interzicerea unei adrese URL împiedică roboții de căutare să acceseze cu crawlere conținutul său, dar dacă linkurile externe indică acea adresă URL, Google poate indexa în continuare adresa URL în sine. Pentru a vă asigura că o pagină nu este niciodată indexată, utilizați în schimb o metaetichetă noindex.

Unde ar trebui să fie încărcat fișierul robots.txt?

Fișierul robots.txt trebuie să fie încărcat în directorul rădăcină al domeniului site-ului dvs. web (de exemplu, https://example.com/robots.txt).

Funcționează perfect cu rețelele, dispozitivele de urmărire și sursele de trafic preferate

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Controlați traficul pe șenile la scară

Implementați redirecționări edge sub 15 ms, filtrați examinatorii bot și protejați-vă campaniile publicitare cu Cloaker.net.

✓ Nu este nevoie de card de credit pentru încercare  ·  ✓ Anulați oricând  ·  ✓ Latență sub milisecundă