Direcionando os rastreadores
Um gerador robot.txt ajuda os webmasters a criar diretivas para bots (como Googlebot ou Bingbot). Embora não seja um mecanismo de segurança para manter arquivos confidenciais ocultos, um arquivo robots.txt bem estruturado, validado por um verificador de robô, otimiza seu orçamento de rastreamento de forma eficiente.