Robots.txt personalizado
y generador de rastreadores

Configura directivas de rastreadores, define permisos de acceso de motores de búsqueda, especifica rutas de sitemaps XML y gestiona las tasas de rastreo sin esfuerzo.

Ajustes Preestablecidos:

Salida de robots.txt

Listo para RFC 9309

Constructor de archivos de Protocolo de Exclusión de Robots en tiempo real

Texto de Directiva Formateado
utf-8 plain text
Subir al directorio raíz: /robots.txt Crear mapa del sitio XML →
Telemetría de Directivas
Estándar de Protocolo: RFC 9309 / REP
Ruta del Archivo Raíz: /robots.txt
Estado del Rastreador de Búsqueda: Indexación Estándar
Referencia de Directivas

Sintaxis y reglas de Core Robots.txt

El Protocolo de Exclusión de Robots (REP) es un estándar RFC 9309 que rige los presupuestos de rastreo de motores de búsqueda y la indexación de rutas.

User-agent Directive

Familia de Rastreadores Objetivo

Define a qué rastreador se aplican las siguientes reglas. 'User-agent: *' se dirige a todos los bots, mientras que tokens específicos se dirigen a rastreadores individuales.

Disallow y Allow

Reglas de Acceso a Rutas

'Disallow: /admin/' detiene a los rastreadores compatibles de raspar carpetas. 'Allow: /' otorga acceso explícito a sub-recursos.

Declaración de Sitemap

Aceleración de Indexación

Declara la URL absoluta de tu sitemap XML, permitiendo a los motores de búsqueda descubrir todas las páginas indexables en un manifiesto estructurado.

Regla de Retraso de Rastreo

Limitación de Tasa de Rastreo

Soportado por Bing y Yandex para prevenir picos de servidores al aplicar una pausa (en segundos) entre solicitudes de páginas consecutivas.

Defensa Activa de Rastreadores

Los robots y raspadores de revisión de anuncios ignoran el archivo robots.txt.
Imponga el filtrado de bordes a prueba de balas con Cloaker.net.

Mientras que los motores de búsqueda respetan robots.txt, los revisores de anuncios (Meta, Google Ads, TikTok) y los rastreadores ignoran las directivas de texto. Cloaker.net inspecciona las huellas digitales de hardware y los cifrados TLS en el borde en menos de 15 ms.

Intercepción de revisor y bot activo
Redireccionamiento de Borde de Un Solo Salto de menos de 15 ms
Meta prefiltradas y firmas de Google
Enrutamiento dinámico por país, dispositivo y ASN
Iniciar Prueba Gratuita Configuración Instantánea · Configuración de Código Cero
Soporte y orientación

Preguntas frecuentes

Preguntas técnicas comunes sobre directivas de rastreadores, reglas de no permitir y defensa de cloaking.

¿Qué es un archivo robots.txt?

Un archivo robots.txt es un archivo de texto estándar colocado en el directorio raíz de un sitio web que les dice a los robots de los motores de búsqueda y a los rastreadores automatizados a qué URLs pueden o no pueden acceder en tu sitio.

¿Protege robots.txt los embudos de afiliados de los rastreadores de revisión de anuncios?

No. Mientras que los bots legítimos de motores de búsqueda obedecen robots.txt, los rastreadores de revisión de anuncios (Meta, TikTok, Google Ads) y los rastreadores maliciosos a menudo ignoran las directivas de no permitir. Se requiere filtrado de borde activo del lado del servidor con Cloaker.net para bloquear los rastreadores no autorizados.

¿Una regla de disallow en robots.txt evita que una página sea indexada?

No necesariamente. No permitir una URL detiene a los bots de búsqueda de rastrear su contenido, pero si enlaces externos apuntan a esa URL, Google aún puede indexar la URL en sí. Para asegurar que una página nunca sea indexada, usa una meta tag noindex en su lugar.

¿Dónde debe subirse el archivo robots.txt?

El archivo robots.txt debe subirse al directorio raíz del dominio de tu sitio web (ej., https://example.com/robots.txt).

Funciona a la perfección con tus redes de anuncios, rastreadores y fuentes de tráfico favoritos

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Controla el tráfico de rastreadores a escala

Implementa redireccionamientos de borde de menos de 15 ms, filtra los bots revisores y protege tus campañas de anuncios con Cloaker.net.

✓ No se requiere tarjeta de crédito para la prueba  ·  ✓ Cancelar en cualquier momento  ·  ✓ Latencia inferior a un milisegundo