Kierowanie robotami
Generator pliku robot.txt pomaga webmasterom tworzyć dyrektywy dla botów (takich jak Googlebot lub Bingbot). Chociaż nie jest to mechanizm zabezpieczający umożliwiający ukrywanie wrażliwych plików, dobrze zorganizowany plik robots.txt, zweryfikowany przez robota sprawdzającego, skutecznie optymalizuje budżet indeksowania.