Καθοδήγηση των ανιχνευτών
Ένα ρομπότ για ρομπότ που μοιάζει με το webxt. Googlebot ή Bingbot). Αν και δεν αποτελεί μηχανισμό ασφαλείας για τη διατήρηση των ευαίσθητων αρχείων κρυφών, ένα καλά δομημένο αρχείο robots.txt, επικυρωμένο από έναν ελεγκτή ρομπότ, βελτιστοποιεί αποτελεσματικά τον προϋπολογισμό ανίχνευσης.