Robots.txt personalizado
& Construtor de rastreador
Configure diretivas de rastreadores, defina permissões de acesso de motores de busca, especifique caminhos de sitemap XML e gerencie taxas de rastreamento sem esforço.
Saída robots.txt
Pronto para RFC 9309Construtor de arquivo Robots Exclusion Protocol em tempo real
Sintaxe e regras principais do Robots.txt
O Robots Exclusion Protocol (REP) é um padrão RFC 9309 que rege orçamentos de rastreamento de motores de busca e indexação de caminhos.
Família de Rastreadores Alvo
Define a qual rastreador as regras a seguir se aplicam. 'User-agent: *' tem como alvo todos os bots, enquanto tokens específicos têm como alvo rastreadores individuais.
Regras de Acesso de Caminho
'Disallow: /admin/' impede rastreadores compatíveis de raspar pastas. 'Allow: /' concede acesso explícito a sub-recursos.
Aceleração de Índice
Declara a URL absoluta do seu sitemap XML, permitindo que motores de busca descubram todas as páginas indexáveis em um manifesto estruturado.
Limitação de Taxa de Rastreamento
Suportado por Bing e Yandex para prevenir picos de servidor aplicando uma pausa (em segundos) entre requisições de página consecutivas.
Os bots e raspadores de revisão de anúncios ignoram o robots.txt.
Aplicar filtragem de borda à prova de balas com Cloaker.net.
Enquanto motores de busca respeitam robots.txt, revisores de anúncios (Meta, Google Ads, TikTok) e scrapers ignoram diretivas de texto. O Cloaker.net inspeciona fingerprints de hardware e criptografias TLS na borda em menos de 15ms.
Perguntas frequentes
Perguntas técnicas comuns sobre diretivas de rastreadores, regras de disallow e defesa de cloaking.
Um arquivo robots.txt é um arquivo de texto padrão colocado no diretório raiz de um site que diz aos robôs de motores de busca e rastreadores automatizados quais URLs eles podem ou não podem acessar no seu site.
Não. Enquanto bots legítimos de motores de busca obedecem ao robots.txt, rastreadores de revisão de anúncios (Meta, TikTok, Google Ads) e scrapers maliciosos frequentemente ignoram diretivas de disallow. Filtragem de borda ativa do lado do servidor com Cloaker.net é necessária para bloquear rastreadores não autorizados.
Não necessariamente. Impedir uma URL faz com que bots de busca parem de rastrear seu conteúdo, mas se links externos apontarem para aquela URL, o Google ainda pode indexar a URL em si. Para garantir que uma página nunca seja indexada, use uma meta tag noindex em vez disso.
O arquivo robots.txt deve ser carregado no diretório raiz do domínio do seu site (ex: https://example.com/robots.txt).
Funciona perfeitamente com suas redes de anúncios, rastreadores e fontes de tráfego favoritas
Controle tráfego de rastreadores em escala
Implante redirecionamentos de borda de menos de 15ms, filtre bots revisores e proteja suas campanhas de anúncios com Cloaker.net.
✓ Não é necessário cartão de crédito para teste · ✓ Cancele a qualquer momento · ✓ Latência abaixo de um milissegundo