Robots.txt personalizado
& Construtor de rastreador

Configure diretivas de rastreadores, defina permissões de acesso de motores de busca, especifique caminhos de sitemap XML e gerencie taxas de rastreamento sem esforço.

Predefinições:

Saída robots.txt

Pronto para RFC 9309

Construtor de arquivo Robots Exclusion Protocol em tempo real

Texto de Diretiva Formatado
utf-8 plain text
Carregar para diretório raiz: /robots.txt Criar Sitemap XML →
Telemetria de Diretiva
Padrão de Protocolo: RFC 9309 / REP
Caminho do Arquivo Raiz: /robots.txt
Status de Rastreador de Busca: Indexação Padrão
Referência de Diretivas

Sintaxe e regras principais do Robots.txt

O Robots Exclusion Protocol (REP) é um padrão RFC 9309 que rege orçamentos de rastreamento de motores de busca e indexação de caminhos.

User-agent Directive

Família de Rastreadores Alvo

Define a qual rastreador as regras a seguir se aplicam. 'User-agent: *' tem como alvo todos os bots, enquanto tokens específicos têm como alvo rastreadores individuais.

Impedir e Permitir

Regras de Acesso de Caminho

'Disallow: /admin/' impede rastreadores compatíveis de raspar pastas. 'Allow: /' concede acesso explícito a sub-recursos.

Declaração de Sitemap

Aceleração de Índice

Declara a URL absoluta do seu sitemap XML, permitindo que motores de busca descubram todas as páginas indexáveis em um manifesto estruturado.

Regra de Crawl-Delay

Limitação de Taxa de Rastreamento

Suportado por Bing e Yandex para prevenir picos de servidor aplicando uma pausa (em segundos) entre requisições de página consecutivas.

Defesa Ativa de Rastreadores

Os bots e raspadores de revisão de anúncios ignoram o robots.txt.
Aplicar filtragem de borda à prova de balas com Cloaker.net.

Enquanto motores de busca respeitam robots.txt, revisores de anúncios (Meta, Google Ads, TikTok) e scrapers ignoram diretivas de texto. O Cloaker.net inspeciona fingerprints de hardware e criptografias TLS na borda em menos de 15ms.

Interceptação ativa de bot e revisores
Redirecionamento de Borda de Salto Único de Menos de 15ms
Meta pré-filtrada e assinaturas do Google
Roteamento dinâmico de país, dispositivo e ASN
Iniciar Teste Grátis Configuração Instantânea · Configuração Zero de Código
Suporte e Orientação

Perguntas frequentes

Perguntas técnicas comuns sobre diretivas de rastreadores, regras de disallow e defesa de cloaking.

O que é um arquivo robots.txt?

Um arquivo robots.txt é um arquivo de texto padrão colocado no diretório raiz de um site que diz aos robôs de motores de busca e rastreadores automatizados quais URLs eles podem ou não podem acessar no seu site.

O robots.txt protege funis de afiliados de rastreadores de revisão de anúncios?

Não. Enquanto bots legítimos de motores de busca obedecem ao robots.txt, rastreadores de revisão de anúncios (Meta, TikTok, Google Ads) e scrapers maliciosos frequentemente ignoram diretivas de disallow. Filtragem de borda ativa do lado do servidor com Cloaker.net é necessária para bloquear rastreadores não autorizados.

Uma regra de disallow em robots.txt impede que uma página seja indexada?

Não necessariamente. Impedir uma URL faz com que bots de busca parem de rastrear seu conteúdo, mas se links externos apontarem para aquela URL, o Google ainda pode indexar a URL em si. Para garantir que uma página nunca seja indexada, use uma meta tag noindex em vez disso.

Onde o arquivo robots.txt deve ser carregado?

O arquivo robots.txt deve ser carregado no diretório raiz do domínio do seu site (ex: https://example.com/robots.txt).

Funciona perfeitamente com suas redes de anúncios, rastreadores e fontes de tráfego favoritas

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Controle tráfego de rastreadores em escala

Implante redirecionamentos de borda de menos de 15ms, filtre bots revisores e proteja suas campanhas de anúncios com Cloaker.net.

✓ Não é necessário cartão de crédito para teste  ·  ✓ Cancele a qualquer momento  ·  ✓ Latência abaixo de um milissegundo