Robots.txt personalizado
y generador de rastreadores
Configure directivas de rastreo, defina permisos de acceso al motor de búsqueda, especifique rutas de mapas de sitio XML y administre las tasas de rastreo sin esfuerzo.
salida del archivo robots.txt
RFC 9309 listoGenerador de archivos del protocolo de exclusión de robots en tiempo real
Sintaxis y reglas de Core Robots.txt
El Protocolo de exclusión de robots (REP) es un estándar RFC 9309 que rige los presupuestos de rastreo de los motores de búsqueda y la indexación de rutas.
Familia de rastreadores de destino
Define a qué rastreador se aplican las siguientes reglas. 'User-agent: *' se dirige a todos los bots, mientras que tokens específicos se dirigen a rastreadores individuales.
Reglas de acceso al camino
'Disallow: /admin/' impide que los rastreadores compatibles rastreen carpetas. 'Permitir: /' otorga acceso explícito a los subrecursos.
Aceleración del índice
Declara la URL absoluta de su mapa de sitio XML, lo que permite a los motores de búsqueda descubrir todas las páginas indexables en un manifiesto estructurado.
Limitación de la velocidad de rastreo
Compatible con Bing y Yandex para evitar picos en el servidor al imponer una pausa (en segundos) entre solicitudes de páginas consecutivas.
Los robots y raspadores de revisión de anuncios ignoran el archivo robots.txt.
Imponga el filtrado de bordes a prueba de balas con Cloaker.net.
Mientras que los motores de búsqueda respetan el archivo robots.txt, los revisores de anuncios (Meta, Google Ads, TikTok) y los raspadores ignoran las directivas de texto. Cloaker.net inspecciona las huellas digitales del hardware y los cifrados TLS en el borde en menos de 15 ms.
Preguntas frecuentes
Preguntas técnicas comunes sobre directivas de rastreadores, reglas de no permitir y defensa de encubrimiento.
Un archivo robots.txt es un archivo de texto estándar ubicado en el directorio raíz de un sitio web que indica a los robots de los motores de búsqueda y a los rastreadores automáticos a qué URL pueden o no acceder en su sitio.
No. Si bien los robots legítimos de los motores de búsqueda obedecen a robots.txt, los rastreadores de revisión de anuncios (Meta, TikTok, Google Ads) y los raspadores maliciosos a menudo ignoran las directivas de no permitir. Se requiere un filtrado perimetral activo del lado del servidor con Cloaker.net para bloquear rastreadores no autorizados.
No necesariamente. No permitir una URL impide que los robots de búsqueda rastreen su contenido, pero si los enlaces externos apuntan a esa URL, Google aún puede indexar la URL. Para garantizar que una página nunca se indexe, utilice una metaetiqueta noindex en su lugar.
El archivo robots.txt debe cargarse en el directorio raíz del dominio de su sitio web (por ejemplo, https://example.com/robots.txt).
Funciona a la perfección con sus redes publicitarias, rastreadores y fuentes de tráfico favoritas.
Controle el tráfico de rastreadores a escala
Implemente redireccionamientos perimetrales de menos de 15 ms, filtre revisores de bots y proteja sus campañas publicitarias con Cloaker.net.
✓ No se requiere tarjeta de crédito para la prueba · ✓ Cancelar en cualquier momento · ✓ Latencia inferior a un milisegundo