Custom Robots.txt
e Crawler Builder
Configura le direttive del crawler, definisci le autorizzazioni di accesso ai motori di ricerca, specifica i percorsi della mappa del sito XML e gestisci le velocità di scansione senza sforzo.
Risultati del file robots.txt
RFC 9309 prontoGeneratore di file del protocollo di esclusione dei robot in tempo reale
Sintassi e regole di Core Robots.txt
Il Robots Exclusion Protocol (REP) è uno standard RFC 9309 che regola i budget di scansione dei motori di ricerca e l'indicizzazione dei percorsi.
Famiglia di cingolati target
Definisce a quale crawler si applicano le seguenti regole. "User-agent: *" prende di mira tutti i bot, mentre token specifici prendono di mira i singoli crawler.
Regole di accesso al percorso
"Disallow: /admin/" impedisce ai crawler conformi di eseguire lo scraping delle cartelle. 'Consenti: /' garantisce l'accesso esplicito alle risorse secondarie.
Accelerazione dell'indice
Dichiara l'URL assoluto della tua mappa del sito XML, consentendo ai motori di ricerca di scoprire tutte le pagine indicizzabili in un manifest strutturato.
Limitazione della velocità di scansione
Supportato da Bing e Yandex per prevenire picchi del server imponendo una pausa (in secondi) tra richieste di pagine consecutive.
I robot e gli scraper per la revisione degli annunci ignorano robots.txt.
Applica il filtraggio edge a prova di proiettile con Cloaker.net.
Mentre i motori di ricerca rispettano robots.txt, i revisori degli annunci (Meta, Google Ads, TikTok) e gli scraper ignorano le direttive di testo. Cloaker.net ispeziona le impronte digitali dell'hardware e le cifre TLS all'edge in meno di 15 ms.
Domande frequenti
Domande tecniche comuni sulle direttive del crawler, sulle regole di non autorizzazione e sulla difesa dal cloaking.
Un file robots.txt è un file di testo standard inserito nella directory principale di un sito web che indica ai robot dei motori di ricerca e ai crawler automatizzati a quali URL possono o non possono accedere sul tuo sito.
No. Mentre i bot legittimi dei motori di ricerca obbediscono al file robots.txt, i crawler di revisione degli annunci (Meta, TikTok, Google Ads) e gli scraper dannosi spesso ignorano le direttive di non autorizzazione. È necessario un filtro edge attivo lato server con Cloaker.net per bloccare i crawler non autorizzati.
Non necessariamente. Non consentire un URL impedisce ai robot di ricerca di scansionarne il contenuto, ma se i collegamenti esterni puntano a quell'URL, Google può comunque indicizzare l'URL stesso. Per garantire che una pagina non venga mai indicizzata, utilizza invece un meta tag noindex.
Il file robots.txt deve essere caricato nella directory principale del dominio del tuo sito web (ad esempio https://example.com/robots.txt).
Funziona perfettamente con le tue reti pubblicitarie, tracker e sorgenti di traffico preferite
Controlla il traffico dei crawler su larga scala
Distribuisci reindirizzamenti edge inferiori a 15 ms, filtra i revisori dei bot e proteggi le tue campagne pubblicitarie con Cloaker.net.
✓ Nessuna carta di credito richiesta per la prova · ✓ Annulla in qualsiasi momento · ✓ Latenza inferiore al millisecondo