Robots.txt personalizado
& Construtor de rastreador
Configure diretivas de rastreadores, defina permissões de acesso de motores de busca, especifique caminhos de sitemap XML e gestione taxas de crawl sem esforço.
Saída robots.txt
Pronto para RFC 9309Construtor de ficheiro Robots Exclusion Protocol em tempo real
Sintaxe e regras principais do Robots.txt
O Robots Exclusion Protocol (REP) é uma norma RFC 9309 que rege orçamentos de crawl de motores de busca e indexação de caminhos.
Família de Rastreadores-Alvo
Define a qual rastreador as regras a seguir se aplicam. 'User-agent: *' tem como alvo todos os bots, enquanto tokens específicos têm como alvo rastreadores individuais.
Regras de Acesso ao Caminho
'Disallow: /admin/' impede rastreadores conformes de raspar pastas. 'Allow: /' concede acesso explícito a sub-recursos.
Aceleração de Índice
Declara o URL absoluto do seu sitemap XML, permitindo que os motores de busca descubram todas as páginas indexáveis num manifesto estruturado.
Limitação de Taxa de Crawl
Suportado pelo Bing e Yandex para prevenir picos de servidor ao impor uma pausa (em segundos) entre pedidos de página consecutivos.
Os bots e raspadores de revisão de anúncios ignoram o robots.txt.
Aplicar filtragem de borda à prova de balas com Cloaker.net.
Embora os motores de busca respeitem o robots.txt, os revisores de anúncios (Meta, Google Ads, TikTok) e os scrapers ignoram as diretivas de texto. O Cloaker.net inspeciona impressões digitais de hardware e criptografias TLS na edge em menos de 15 ms.
Perguntas frequentes
Perguntas técnicas comuns sobre diretivas de rastreadores, regras de disallow e defesa de cloaking.
Um ficheiro robots.txt é um ficheiro de texto padrão colocado no diretório raiz de um site web que diz aos robôs de motores de busca e rastreadores automatizados a que URLs podem ou não aceder no seu site.
Não. Embora os bots legítimos de motores de busca obedeçam ao robots.txt, os rastreadores de revisão de anúncios (Meta, TikTok, Google Ads) e os scrapers maliciosos ignoram frequentemente as diretivas de disallow. É necessária filtragem de edge ativa do lado do servidor com o Cloaker.net para bloquear rastreadores não autorizados.
Não necessariamente. Impedir um URL faz com que os bots de pesquisa parem de rastrear o seu conteúdo, mas se ligações externas apontarem para esse URL, o Google ainda pode indexar o URL em si. Para garantir que uma página nunca seja indexada, use uma meta tag noindex em vez disso.
O ficheiro robots.txt deve ser carregado no diretório raiz do domínio do seu site web (ex: https://example.com/robots.txt).
Funciona de forma transparente com as suas redes de anúncios, rastreadores e fontes de tráfego favoritas
Controle o tráfego de rastreadores à escala
Implemente redirecionamentos de edge de menos de 15 ms, filtre bots revisores e proteja as suas campanhas de anúncios com o Cloaker.net.
✓ Não é necessário cartão de crédito para teste · ✓ Cancele a qualquer momento · ✓ Latência abaixo de um milissegundo