Robots.txt personnalisé
& Crawler Builder
Configurez les directives des robots d'exploration, définissez les permissions d'accès des moteurs de recherche, spécifiez les chemins de sitemap XML et gérez les taux de crawl sans effort.
Sortie robots.txt
Prêt pour RFC 9309Constructeur de fichier Robots Exclusion Protocol en temps réel
Syntaxe et règles du fichier Core Robots.txt
Le protocole d'exclusion des robots (REP) est une norme RFC 9309 régissant les budgets de crawl des moteurs de recherche et l'indexation des chemins.
Famille de Robots d'Exploration Cible
Définit à quel robot d'exploration les règles suivantes s'appliquent. « User-agent : * » cible tous les robots, tandis que des jetons spécifiques ciblent des robots d'exploration individuels.
Règles d'Accès au Chemin
'Disallow: /admin/' empêche les robots d'exploration conformes de scraper des dossiers. 'Allow: /' accorde un accès explicite aux sous-ressources.
Accélération d'Index
Déclare l'URL absolue de votre sitemap XML, permettant aux moteurs de recherche de découvrir toutes les pages indexables dans un manifeste structuré.
Limitation du Taux de Crawl
Pris en charge par Bing et Yandex pour prévenir les pics de serveur en imposant une pause (en secondes) entre les requêtes de page consécutives.
Les robots et scrapers de révision des annonces ignorent le fichier robots.txt.
Appliquez un filtrage de bord à toute épreuve avec Cloaker.net.
Alors que les moteurs de recherche respectent robots.txt, les réviseurs publicitaires (Meta, Google Ads, TikTok) et les scrapers ignorent les directives textuelles. Cloaker.net inspecte les empreintes matérielles et les chiffrements TLS à la périphérie en moins de 15 ms.
Questions fréquemment posées
Questions techniques courantes sur les directives des robots d'exploration, les règles de disallow et la défense par masquage.
Un fichier robots.txt est un fichier texte standard placé dans le répertoire racine d'un site web qui indique aux robots des moteurs de recherche et aux robots d'exploration automatisés quelles URL ils peuvent ou ne peuvent pas accéder sur votre site.
Non. Bien que les bots légitimes des moteurs de recherche obéissent à robots.txt, les robots d'exploration de révision publicitaire (Meta, TikTok, Google Ads) et les scrapers malveillants ignorent souvent les directives de disallow. Un filtrage de périphérie actif côté serveur avec Cloaker.net est nécessaire pour bloquer les robots d'exploration non autorisés.
Pas nécessairement. Interdire une URL empêche les bots de recherche de crawler son contenu, mais si des liens externes pointent vers cette URL, Google peut toujours indexer l'URL elle-même. Pour garantir qu'une page ne soit jamais indexée, utilisez plutôt une meta tag noindex.
Le fichier robots.txt doit être téléchargé dans le répertoire racine de votre domaine de site web (ex. : https://example.com/robots.txt).
Fonctionne de manière transparente avec vos réseaux publicitaires, suiveurs et sources de trafic préférés
Contrôlez le trafic des robots d'exploration à grande échelle
Déployez des redirections de périphérie de moins de 15 ms, filtrez les bots réviseurs et protégez vos campagnes publicitaires avec Cloaker.net.
✓ Aucune carte de crédit requise pour l'essai · ✓ Annulez à tout moment · ✓ Latence inférieure à la milliseconde