Robots.txt personalizado
y generador de rastreadores
Configura directivas de rastreadores, define permisos de acceso de motores de búsqueda, especifica rutas de sitemaps XML y gestiona las tasas de rastreo sin esfuerzo.
Salida de robots.txt
Listo para RFC 9309Constructor de archivos de Protocolo de Exclusión de Robots en tiempo real
Sintaxis y reglas de Core Robots.txt
El Protocolo de Exclusión de Robots (REP) es un estándar RFC 9309 que rige los presupuestos de rastreo de motores de búsqueda y la indexación de rutas.
Familia de Rastreadores Objetivo
Define a qué rastreador se aplican las siguientes reglas. 'User-agent: *' se dirige a todos los bots, mientras que tokens específicos se dirigen a rastreadores individuales.
Reglas de Acceso a Rutas
'Disallow: /admin/' detiene a los rastreadores compatibles de raspar carpetas. 'Allow: /' otorga acceso explícito a sub-recursos.
Aceleración de Indexación
Declara la URL absoluta de tu sitemap XML, permitiendo a los motores de búsqueda descubrir todas las páginas indexables en un manifiesto estructurado.
Limitación de Tasa de Rastreo
Soportado por Bing y Yandex para prevenir picos de servidores al aplicar una pausa (en segundos) entre solicitudes de páginas consecutivas.
Los robots y raspadores de revisión de anuncios ignoran el archivo robots.txt.
Imponga el filtrado de bordes a prueba de balas con Cloaker.net.
Mientras que los motores de búsqueda respetan robots.txt, los revisores de anuncios (Meta, Google Ads, TikTok) y los rastreadores ignoran las directivas de texto. Cloaker.net inspecciona las huellas digitales de hardware y los cifrados TLS en el borde en menos de 15 ms.
Preguntas frecuentes
Preguntas técnicas comunes sobre directivas de rastreadores, reglas de no permitir y defensa de cloaking.
Un archivo robots.txt es un archivo de texto estándar colocado en el directorio raíz de un sitio web que les dice a los robots de los motores de búsqueda y a los rastreadores automatizados a qué URLs pueden o no pueden acceder en tu sitio.
No. Mientras que los bots legítimos de motores de búsqueda obedecen robots.txt, los rastreadores de revisión de anuncios (Meta, TikTok, Google Ads) y los rastreadores maliciosos a menudo ignoran las directivas de no permitir. Se requiere filtrado de borde activo del lado del servidor con Cloaker.net para bloquear los rastreadores no autorizados.
No necesariamente. No permitir una URL detiene a los bots de búsqueda de rastrear su contenido, pero si enlaces externos apuntan a esa URL, Google aún puede indexar la URL en sí. Para asegurar que una página nunca sea indexada, usa una meta tag noindex en su lugar.
El archivo robots.txt debe subirse al directorio raíz del dominio de tu sitio web (ej., https://example.com/robots.txt).
Funciona a la perfección con tus redes de anuncios, rastreadores y fuentes de tráfico favoritos
Controla el tráfico de rastreadores a escala
Implementa redireccionamientos de borde de menos de 15 ms, filtra los bots revisores y protege tus campañas de anuncios con Cloaker.net.
✓ No se requiere tarjeta de crédito para la prueba · ✓ Cancelar en cualquier momento · ✓ Latencia inferior a un milisegundo