Robots.txt personalizado
y generador de rastreadores

Configure directivas de rastreo, defina permisos de acceso al motor de búsqueda, especifique rutas de mapas de sitio XML y administre las tasas de rastreo sin esfuerzo.

Preajustes:

salida del archivo robots.txt

RFC 9309 listo

Generador de archivos del protocolo de exclusión de robots en tiempo real

Texto directivo formateado
utf-8 plain text
Subir al directorio raíz: /robots.txt Crear mapa del sitio XML →
Telemetría directiva
Estándar de protocolo: RFC 9309 / REP
Ruta del archivo raíz: /robots.txt
Estado del rastreador de búsqueda: Indexación estándar
Referencia directiva

Sintaxis y reglas de Core Robots.txt

El Protocolo de exclusión de robots (REP) es un estándar RFC 9309 que rige los presupuestos de rastreo de los motores de búsqueda y la indexación de rutas.

User-agent Directive

Familia de rastreadores de destino

Define a qué rastreador se aplican las siguientes reglas. 'User-agent: *' se dirige a todos los bots, mientras que tokens específicos se dirigen a rastreadores individuales.

No permitir y permitir

Reglas de acceso al camino

'Disallow: /admin/' impide que los rastreadores compatibles rastreen carpetas. 'Permitir: /' otorga acceso explícito a los subrecursos.

Declaración del mapa del sitio

Aceleración del índice

Declara la URL absoluta de su mapa de sitio XML, lo que permite a los motores de búsqueda descubrir todas las páginas indexables en un manifiesto estructurado.

Regla de retraso de rastreo

Limitación de la velocidad de rastreo

Compatible con Bing y Yandex para evitar picos en el servidor al imponer una pausa (en segundos) entre solicitudes de páginas consecutivas.

Defensa activa sobre orugas

Los robots y raspadores de revisión de anuncios ignoran el archivo robots.txt.
Imponga el filtrado de bordes a prueba de balas con Cloaker.net.

Mientras que los motores de búsqueda respetan el archivo robots.txt, los revisores de anuncios (Meta, Google Ads, TikTok) y los raspadores ignoran las directivas de texto. Cloaker.net inspecciona las huellas digitales del hardware y los cifrados TLS en el borde en menos de 15 ms.

Intercepción de revisor y bot activo
Redirección de borde de un solo salto por debajo de 15 ms
Meta prefiltradas y firmas de Google
Enrutamiento dinámico por país, dispositivo y ASN
Iniciar prueba gratuita Configuración instantánea · Configuración de código cero
Soporte y orientación

Preguntas frecuentes

Preguntas técnicas comunes sobre directivas de rastreadores, reglas de no permitir y defensa de encubrimiento.

¿Qué es un archivo robots.txt?

Un archivo robots.txt es un archivo de texto estándar ubicado en el directorio raíz de un sitio web que indica a los robots de los motores de búsqueda y a los rastreadores automáticos a qué URL pueden o no acceder en su sitio.

¿Robots.txt protege los embudos de afiliados de los rastreadores de revisión de anuncios?

No. Si bien los robots legítimos de los motores de búsqueda obedecen a robots.txt, los rastreadores de revisión de anuncios (Meta, TikTok, Google Ads) y los raspadores maliciosos a menudo ignoran las directivas de no permitir. Se requiere un filtrado perimetral activo del lado del servidor con Cloaker.net para bloquear rastreadores no autorizados.

¿Una regla de no permitir en robots.txt impide que se indexe una página?

No necesariamente. No permitir una URL impide que los robots de búsqueda rastreen su contenido, pero si los enlaces externos apuntan a esa URL, Google aún puede indexar la URL. Para garantizar que una página nunca se indexe, utilice una metaetiqueta noindex en su lugar.

¿Dónde se debe cargar el archivo robots.txt?

El archivo robots.txt debe cargarse en el directorio raíz del dominio de su sitio web (por ejemplo, https://example.com/robots.txt).

Funciona a la perfección con sus redes publicitarias, rastreadores y fuentes de tráfico favoritas.

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Controle el tráfico de rastreadores a escala

Implemente redireccionamientos perimetrales de menos de 15 ms, filtre revisores de bots y proteja sus campañas publicitarias con Cloaker.net.

✓ No se requiere tarjeta de crédito para la prueba  ·  ✓ Cancelar en cualquier momento  ·  ✓ Latencia inferior a un milisegundo