Crawlers-ის რეჟისორობა
რობოტი, რომელიც ასახავს mb-4masters-ს, შექმნას რობოტები, როგორც webxt. Googlebot ან Bingbot). მიუხედავად იმისა, რომ ეს არ არის სენსიტიური ფაილების დამალვის უსაფრთხოების მექანიზმი, კარგად სტრუქტურირებული robots.txt ფაილი, რომელიც დამოწმებულია რობოტის შემმოწმებლის მიერ, ეფექტურად ოპტიმიზაციას უკეთებს თქვენს crawl-ის ბიუჯეტს.