Προσαρμοσμένο Robots.txt
& Εργαλείο δημιουργίας ανιχνευτή
Διαμορφώστε τις οδηγίες ανίχνευσης, ορίστε δικαιώματα πρόσβασης στις μηχανές αναζήτησης, καθορίστε διαδρομές χάρτη ιστότοπου XML και διαχειριστείτε τους ρυθμούς ανίχνευσης χωρίς κόπο.
Έξοδος robots.txt
RFC 9309 έτοιμοΠρόγραμμα δημιουργίας αρχείων πρωτοκόλλου εξαίρεσης ρομπότ σε πραγματικό χρόνο
Core Robots.txt Σύνταξη & Κανόνες
Το πρωτόκολλο εξαίρεσης ρομπότ (REP) είναι ένα πρότυπο RFC 9309 που διέπει τους προϋπολογισμούς ανίχνευσης μηχανών αναζήτησης και την ευρετηρίαση διαδρομής.
Στόχος της οικογένειας ανιχνευτών
Καθορίζει σε ποιο πρόγραμμα ανίχνευσης ισχύουν οι ακόλουθοι κανόνες. Το 'User-agent: *' στοχεύει όλα τα bots, ενώ συγκεκριμένα token στοχεύουν μεμονωμένους ανιχνευτές.
Κανόνες πρόσβασης διαδρομής
Το 'Disallow: /admin/' εμποδίζει τα συμβατά προγράμματα ανίχνευσης να ξύνουν φακέλους. Το "Allow: /" παρέχει ρητή πρόσβαση σε δευτερεύοντες πόρους.
Επιτάχυνση δείκτη
Δηλώνει την απόλυτη διεύθυνση URL του χάρτη ιστοτόπου XML, επιτρέποντας στις μηχανές αναζήτησης να ανακαλύψουν όλες τις σελίδες με δυνατότητα ευρετηρίασης σε ένα δομημένο μανιφέστο.
Περιορισμός ρυθμού ανίχνευσης
Υποστηρίζεται από το Bing και το Yandex για την αποτροπή αιχμών διακομιστή επιβάλλοντας μια παύση (σε δευτερόλεπτα) μεταξύ διαδοχικών αιτημάτων σελίδας.
Τα ρομπότ και οι ξύστρες ελέγχου διαφημίσεων αγνοούν το robots.txt.
Επιβολή φιλτραρίσματος αλεξίσφαιρων άκρων με το Cloaker.net.
Ενώ οι μηχανές αναζήτησης σέβονται το robots.txt, οι αναθεωρητές διαφημίσεων (Meta, Google Ads, TikTok) και οι scrapers αγνοούν τις οδηγίες κειμένου. Το Cloaker.net επιθεωρεί τα δακτυλικά αποτυπώματα υλικού και τους κρυπτογράφους TLS στην άκρη σε λιγότερο από 15 ms.
Συχνές ερωτήσεις
Συνήθεις τεχνικές ερωτήσεις σχετικά με τις οδηγίες ανίχνευσης, τους κανόνες απαγόρευσης και την άμυνα απόκρυψης απόκρυψης.
Ένα αρχείο robots.txt είναι ένα τυπικό αρχείο κειμένου που τοποθετείται στον ριζικό κατάλογο ενός ιστότοπου και ενημερώνει τα ρομπότ των μηχανών αναζήτησης και τα αυτοματοποιημένα προγράμματα ανίχνευσης σε ποιες διευθύνσεις URL μπορούν ή δεν μπορούν να έχουν πρόσβαση στον ιστότοπό σας.
Όχι. Ενώ τα νόμιμα bots μηχανών αναζήτησης υπακούουν στο robots.txt, τα προγράμματα ανίχνευσης ελέγχου διαφημίσεων (Meta, TikTok, Google Ads) και οι κακόβουλοι scrapers συχνά αγνοούν τις οδηγίες απαγόρευσης. Απαιτείται ενεργό φιλτράρισμα από την πλευρά του διακομιστή με το Cloaker.net για τον αποκλεισμό μη εξουσιοδοτημένων ανιχνευτών.
Όχι απαραίτητα. Η απαγόρευση μιας διεύθυνσης URL εμποδίζει τα ρομπότ αναζήτησης να ανιχνεύουν το περιεχόμενό της, αλλά εάν εξωτερικοί σύνδεσμοι παραπέμπουν σε αυτήν τη διεύθυνση URL, η Google εξακολουθεί να μπορεί να ευρετηριάσει την ίδια τη διεύθυνση URL. Για να διασφαλίσετε ότι μια σελίδα δεν είναι ποτέ ευρετηριασμένη, χρησιμοποιήστε μια μετα-ετικέτα noindex.
Το αρχείο robots.txt πρέπει να μεταφορτωθεί στον ριζικό κατάλογο του τομέα του ιστότοπού σας (π.χ. https://example.com/robots.txt).
Λειτουργεί άψογα με τα αγαπημένα σας δίκτυα διαφημίσεων, προγράμματα παρακολούθησης και πηγές επισκεψιμότητας
Ελέγξτε την κυκλοφορία του ανιχνευτή σε κλίμακα
Αναπτύξτε ανακατευθύνσεις άκρης κάτω των 15 ms, φιλτράρετε αναθεωρητές bot και προστατεύστε τις διαφημιστικές σας καμπάνιες με το Cloaker.net.
✓ Δεν απαιτείται πιστωτική κάρτα για δοκιμαστική περίοδο · ✓ Ακύρωση ανά πάσα στιγμή · ✓ Καθυστέρηση κάτω του χιλιοστού του δευτερολέπτου