Rāpuļprogrammu virzīšana
Robot.txt B direktīvu var izveidot, piemēram, Googlemas vai bottersbot ģeneratoru. Lai gan tas nav drošības mehānisms sensitīvu failu slēpšanai, labi strukturēts robots.txt fails, ko apstiprinājis robotu pārbaudītājs, efektīvi optimizē jūsu rāpuļprogrammas budžetu.