Robots.txt personalizado
& Construtor de rastreador

Configure diretivas de rastreadores, defina permissões de acesso de motores de busca, especifique caminhos de sitemap XML e gestione taxas de crawl sem esforço.

Predefinições:

Saída robots.txt

Pronto para RFC 9309

Construtor de ficheiro Robots Exclusion Protocol em tempo real

Texto de Diretiva Formatado
utf-8 plain text
Carregar para diretório raiz: /robots.txt Criar Sitemap XML →
Telemetria de Diretiva
Padrão de Protocolo: RFC 9309 / REP
Caminho do Ficheiro Raiz: /robots.txt
Estado de Rastreador de Pesquisa: Indexação Padrão
Referência de Diretivas

Sintaxe e regras principais do Robots.txt

O Robots Exclusion Protocol (REP) é uma norma RFC 9309 que rege orçamentos de crawl de motores de busca e indexação de caminhos.

User-agent Directive

Família de Rastreadores-Alvo

Define a qual rastreador as regras a seguir se aplicam. 'User-agent: *' tem como alvo todos os bots, enquanto tokens específicos têm como alvo rastreadores individuais.

Impedir e Permitir

Regras de Acesso ao Caminho

'Disallow: /admin/' impede rastreadores conformes de raspar pastas. 'Allow: /' concede acesso explícito a sub-recursos.

Declaração de Sitemap

Aceleração de Índice

Declara o URL absoluto do seu sitemap XML, permitindo que os motores de busca descubram todas as páginas indexáveis num manifesto estruturado.

Regra de Crawl-Delay

Limitação de Taxa de Crawl

Suportado pelo Bing e Yandex para prevenir picos de servidor ao impor uma pausa (em segundos) entre pedidos de página consecutivos.

Defesa Ativa contra Rastreadores

Os bots e raspadores de revisão de anúncios ignoram o robots.txt.
Aplicar filtragem de borda à prova de balas com Cloaker.net.

Embora os motores de busca respeitem o robots.txt, os revisores de anúncios (Meta, Google Ads, TikTok) e os scrapers ignoram as diretivas de texto. O Cloaker.net inspeciona impressões digitais de hardware e criptografias TLS na edge em menos de 15 ms.

Interceptação ativa de bot e revisores
Redirecionamento de Edge de Salto Único Inferior a 15 ms
Meta pré-filtrada e assinaturas do Google
Roteamento dinâmico de país, dispositivo e ASN
Iniciar Teste Gratuito Configuração Instantânea · Configuração Sem Código
Suporte e Orientação

Perguntas frequentes

Perguntas técnicas comuns sobre diretivas de rastreadores, regras de disallow e defesa de cloaking.

O que é um ficheiro robots.txt?

Um ficheiro robots.txt é um ficheiro de texto padrão colocado no diretório raiz de um site web que diz aos robôs de motores de busca e rastreadores automatizados a que URLs podem ou não aceder no seu site.

O robots.txt protege funis de afiliados de rastreadores de revisão de anúncios?

Não. Embora os bots legítimos de motores de busca obedeçam ao robots.txt, os rastreadores de revisão de anúncios (Meta, TikTok, Google Ads) e os scrapers maliciosos ignoram frequentemente as diretivas de disallow. É necessária filtragem de edge ativa do lado do servidor com o Cloaker.net para bloquear rastreadores não autorizados.

Uma regra de disallow no robots.txt impede que uma página seja indexada?

Não necessariamente. Impedir um URL faz com que os bots de pesquisa parem de rastrear o seu conteúdo, mas se ligações externas apontarem para esse URL, o Google ainda pode indexar o URL em si. Para garantir que uma página nunca seja indexada, use uma meta tag noindex em vez disso.

Onde deve ser carregado o ficheiro robots.txt?

O ficheiro robots.txt deve ser carregado no diretório raiz do domínio do seu site web (ex: https://example.com/robots.txt).

Funciona de forma transparente com as suas redes de anúncios, rastreadores e fontes de tráfego favoritas

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Controle o tráfego de rastreadores à escala

Implemente redirecionamentos de edge de menos de 15 ms, filtre bots revisores e proteja as suas campanhas de anúncios com o Cloaker.net.

✓ Não é necessário cartão de crédito para teste  ·  ✓ Cancele a qualquer momento  ·  ✓ Latência abaixo de um milissegundo