Προσαρμοσμένο Robots.txt
& Εργαλείο δημιουργίας ανιχνευτή

Διαμορφώστε τις οδηγίες ανίχνευσης, ορίστε δικαιώματα πρόσβασης στις μηχανές αναζήτησης, καθορίστε διαδρομές χάρτη ιστότοπου XML και διαχειριστείτε τους ρυθμούς ανίχνευσης χωρίς κόπο.

Προεπιλογές:

Έξοδος robots.txt

RFC 9309 έτοιμο

Πρόγραμμα δημιουργίας αρχείων πρωτοκόλλου εξαίρεσης ρομπότ σε πραγματικό χρόνο

Μορφοποιημένο κείμενο οδηγίας
utf-8 plain text
Μεταφόρτωση στον ριζικό κατάλογο: /robots.txt Δημιουργία Χάρτη ιστότοπου XML →
Οδηγία Τηλεμετρίας
Πρότυπο πρωτοκόλλου: RFC 9309 / REP
Διαδρομή αρχείου ρίζας: /robots.txt
Αναζήτηση κατάστασης ανιχνευτή: Τυπική ευρετηρίαση
Παραπομπή στην οδηγία

Core Robots.txt Σύνταξη & Κανόνες

Το πρωτόκολλο εξαίρεσης ρομπότ (REP) είναι ένα πρότυπο RFC 9309 που διέπει τους προϋπολογισμούς ανίχνευσης μηχανών αναζήτησης και την ευρετηρίαση διαδρομής.

User-agent Directive

Στόχος της οικογένειας ανιχνευτών

Καθορίζει σε ποιο πρόγραμμα ανίχνευσης ισχύουν οι ακόλουθοι κανόνες. Το 'User-agent: *' στοχεύει όλα τα bots, ενώ συγκεκριμένα token στοχεύουν μεμονωμένους ανιχνευτές.

Απαγόρευση & Αποδοχή

Κανόνες πρόσβασης διαδρομής

Το 'Disallow: /admin/' εμποδίζει τα συμβατά προγράμματα ανίχνευσης να ξύνουν φακέλους. Το "Allow: /" παρέχει ρητή πρόσβαση σε δευτερεύοντες πόρους.

Δήλωση χάρτη ιστότοπου

Επιτάχυνση δείκτη

Δηλώνει την απόλυτη διεύθυνση URL του χάρτη ιστοτόπου XML, επιτρέποντας στις μηχανές αναζήτησης να ανακαλύψουν όλες τις σελίδες με δυνατότητα ευρετηρίασης σε ένα δομημένο μανιφέστο.

Κανόνας Crawl-Delay

Περιορισμός ρυθμού ανίχνευσης

Υποστηρίζεται από το Bing και το Yandex για την αποτροπή αιχμών διακομιστή επιβάλλοντας μια παύση (σε δευτερόλεπτα) μεταξύ διαδοχικών αιτημάτων σελίδας.

Active Crawler Defense

Τα ρομπότ και οι ξύστρες ελέγχου διαφημίσεων αγνοούν το robots.txt.
Επιβολή φιλτραρίσματος αλεξίσφαιρων άκρων με το Cloaker.net.

Ενώ οι μηχανές αναζήτησης σέβονται το robots.txt, οι αναθεωρητές διαφημίσεων (Meta, Google Ads, TikTok) και οι scrapers αγνοούν τις οδηγίες κειμένου. Το Cloaker.net επιθεωρεί τα δακτυλικά αποτυπώματα υλικού και τους κρυπτογράφους TLS στην άκρη σε λιγότερο από 15 ms.

Ενεργή υποκλοπή ρομπότ και αναθεωρητή
Υπο-15 ms Ανακατεύθυνση άκρου μονής μετάβασης
Προ-φιλτραρισμένες υπογραφές Meta & Google
Δυναμική δρομολόγηση χώρας, συσκευής & ASN
Ξεκινήστε τη δωρεάν δοκιμή Άμεση εγκατάσταση · Ρύθμιση μηδενικού κωδικού
Υποστήριξη & Καθοδήγηση

Συχνές ερωτήσεις

Συνήθεις τεχνικές ερωτήσεις σχετικά με τις οδηγίες ανίχνευσης, τους κανόνες απαγόρευσης και την άμυνα απόκρυψης απόκρυψης.

Τι είναι ένα αρχείο robots.txt;

Ένα αρχείο robots.txt είναι ένα τυπικό αρχείο κειμένου που τοποθετείται στον ριζικό κατάλογο ενός ιστότοπου και ενημερώνει τα ρομπότ των μηχανών αναζήτησης και τα αυτοματοποιημένα προγράμματα ανίχνευσης σε ποιες διευθύνσεις URL μπορούν ή δεν μπορούν να έχουν πρόσβαση στον ιστότοπό σας.

Το robots.txt προστατεύει τις διοχετεύσεις συνδεδεμένων εταιρειών από προγράμματα ανίχνευσης ελέγχου διαφημίσεων;

Όχι. Ενώ τα νόμιμα bots μηχανών αναζήτησης υπακούουν στο robots.txt, τα προγράμματα ανίχνευσης ελέγχου διαφημίσεων (Meta, TikTok, Google Ads) και οι κακόβουλοι scrapers συχνά αγνοούν τις οδηγίες απαγόρευσης. Απαιτείται ενεργό φιλτράρισμα από την πλευρά του διακομιστή με το Cloaker.net για τον αποκλεισμό μη εξουσιοδοτημένων ανιχνευτών.

Ένας κανόνας απαγόρευσης στο robots.txt εμποδίζει την ευρετηρίαση μιας σελίδας;

Όχι απαραίτητα. Η απαγόρευση μιας διεύθυνσης URL εμποδίζει τα ρομπότ αναζήτησης να ανιχνεύουν το περιεχόμενό της, αλλά εάν εξωτερικοί σύνδεσμοι παραπέμπουν σε αυτήν τη διεύθυνση URL, η Google εξακολουθεί να μπορεί να ευρετηριάσει την ίδια τη διεύθυνση URL. Για να διασφαλίσετε ότι μια σελίδα δεν είναι ποτέ ευρετηριασμένη, χρησιμοποιήστε μια μετα-ετικέτα noindex.

Πού πρέπει να μεταφορτωθεί το αρχείο robots.txt;

Το αρχείο robots.txt πρέπει να μεταφορτωθεί στον ριζικό κατάλογο του τομέα του ιστότοπού σας (π.χ. https://example.com/robots.txt).

Λειτουργεί άψογα με τα αγαπημένα σας δίκτυα διαφημίσεων, προγράμματα παρακολούθησης και πηγές επισκεψιμότητας

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Ελέγξτε την κυκλοφορία του ανιχνευτή σε κλίμακα

Αναπτύξτε ανακατευθύνσεις άκρης κάτω των 15 ms, φιλτράρετε αναθεωρητές bot και προστατεύστε τις διαφημιστικές σας καμπάνιες με το Cloaker.net.

✓ Δεν απαιτείται πιστωτική κάρτα για δοκιμαστική περίοδο  ·  ✓ Ακύρωση ανά πάσα στιγμή  ·  ✓ Καθυστέρηση κάτω του χιλιοστού του δευτερολέπτου