Custom Robots.txt
e Crawler Builder

Configura le direttive del crawler, definisci le autorizzazioni di accesso ai motori di ricerca, specifica i percorsi della mappa del sito XML e gestisci le velocità di scansione senza sforzo.

Preimpostazioni:

Risultati del file robots.txt

RFC 9309 pronto

Generatore di file del protocollo di esclusione dei robot in tempo reale

Testo della direttiva formattata
utf-8 plain text
Carica nella directory principale: /robots.txt Crea mappa del sito XML →
Telemetria direttiva
Standard di protocollo: RFC 9309 / REP
Percorso file radice: /robots.txt
Stato del crawler di ricerca: Indicizzazione standard
Riferimento alla Direttiva

Sintassi e regole di Core Robots.txt

Il Robots Exclusion Protocol (REP) è uno standard RFC 9309 che regola i budget di scansione dei motori di ricerca e l'indicizzazione dei percorsi.

User-agent Directive

Famiglia di cingolati target

Definisce a quale crawler si applicano le seguenti regole. "User-agent: *" prende di mira tutti i bot, mentre token specifici prendono di mira i singoli crawler.

Non consentire e consentire

Regole di accesso al percorso

"Disallow: /admin/" impedisce ai crawler conformi di eseguire lo scraping delle cartelle. 'Consenti: /' garantisce l'accesso esplicito alle risorse secondarie.

Dichiarazione della mappa del sito

Accelerazione dell'indice

Dichiara l'URL assoluto della tua mappa del sito XML, consentendo ai motori di ricerca di scoprire tutte le pagine indicizzabili in un manifest strutturato.

Regola di ritardo della scansione

Limitazione della velocità di scansione

Supportato da Bing e Yandex per prevenire picchi del server imponendo una pausa (in secondi) tra richieste di pagine consecutive.

Difesa attiva del crawler

I robot e gli scraper per la revisione degli annunci ignorano robots.txt.
Applica il filtraggio edge a prova di proiettile con Cloaker.net.

Mentre i motori di ricerca rispettano robots.txt, i revisori degli annunci (Meta, Google Ads, TikTok) e gli scraper ignorano le direttive di testo. Cloaker.net ispeziona le impronte digitali dell'hardware e le cifre TLS all'edge in meno di 15 ms.

Intercettazione attiva di bot e revisori
Reindirizzamento del fronte a hop singolo inferiore a 15 ms
Meta prefiltrata e firme Google
Routing dinamico per paese, dispositivo e ASN
Inizia la prova gratuita Configurazione istantanea · Configurazione codice zero
Supporto e guida

Domande frequenti

Domande tecniche comuni sulle direttive del crawler, sulle regole di non autorizzazione e sulla difesa dal cloaking.

Cos'è un file robots.txt?

Un file robots.txt è un file di testo standard inserito nella directory principale di un sito web che indica ai robot dei motori di ricerca e ai crawler automatizzati a quali URL possono o non possono accedere sul tuo sito.

Robots.txt protegge le canalizzazioni di affiliazione dai crawler di revisione degli annunci?

No. Mentre i bot legittimi dei motori di ricerca obbediscono al file robots.txt, i crawler di revisione degli annunci (Meta, TikTok, Google Ads) e gli scraper dannosi spesso ignorano le direttive di non autorizzazione. È necessario un filtro edge attivo lato server con Cloaker.net per bloccare i crawler non autorizzati.

Una regola non consentita nel file robots.txt impedisce l'indicizzazione di una pagina?

Non necessariamente. Non consentire un URL impedisce ai robot di ricerca di scansionarne il contenuto, ma se i collegamenti esterni puntano a quell'URL, Google può comunque indicizzare l'URL stesso. Per garantire che una pagina non venga mai indicizzata, utilizza invece un meta tag noindex.

Dove deve essere caricato il file robots.txt?

Il file robots.txt deve essere caricato nella directory principale del dominio del tuo sito web (ad esempio https://example.com/robots.txt).

Funziona perfettamente con le tue reti pubblicitarie, tracker e sorgenti di traffico preferite

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Controlla il traffico dei crawler su larga scala

Distribuisci reindirizzamenti edge inferiori a 15 ms, filtra i revisori dei bot e proteggi le tue campagne pubblicitarie con Cloaker.net.

✓ Nessuna carta di credito richiesta per la prova  ·  ✓ Annulla in qualsiasi momento  ·  ✓ Latenza inferiore al millisecondo