Robots.txt personnalisé
& Crawler Builder

Configurez les directives des robots d'exploration, définissez les permissions d'accès des moteurs de recherche, spécifiez les chemins de sitemap XML et gérez les taux de crawl sans effort.

Préréglages :

Sortie robots.txt

Prêt pour RFC 9309

Constructeur de fichier Robots Exclusion Protocol en temps réel

Texte de Directive Formaté
utf-8 plain text
Télécharger dans le répertoire racine : /robots.txt Créer un plan de site XML →
Télémétrie des Directives
Norme de Protocole : RFC 9309 / REP
Chemin du Fichier Racine : /robots.txt
Statut du Robot d'Exploration de Recherche : Indexation Standard
Référence des Directives

Syntaxe et règles du fichier Core Robots.txt

Le protocole d'exclusion des robots (REP) est une norme RFC 9309 régissant les budgets de crawl des moteurs de recherche et l'indexation des chemins.

User-agent Directive

Famille de Robots d'Exploration Cible

Définit à quel robot d'exploration les règles suivantes s'appliquent. « User-agent : * » cible tous les robots, tandis que des jetons spécifiques ciblent des robots d'exploration individuels.

Interdire et Autoriser

Règles d'Accès au Chemin

'Disallow: /admin/' empêche les robots d'exploration conformes de scraper des dossiers. 'Allow: /' accorde un accès explicite aux sous-ressources.

Déclaration de Sitemap

Accélération d'Index

Déclare l'URL absolue de votre sitemap XML, permettant aux moteurs de recherche de découvrir toutes les pages indexables dans un manifeste structuré.

Règle de Crawl-Delay

Limitation du Taux de Crawl

Pris en charge par Bing et Yandex pour prévenir les pics de serveur en imposant une pause (en secondes) entre les requêtes de page consécutives.

Défense Active contre les Robots d'Exploration

Les robots et scrapers de révision des annonces ignorent le fichier robots.txt.
Appliquez un filtrage de bord à toute épreuve avec Cloaker.net.

Alors que les moteurs de recherche respectent robots.txt, les réviseurs publicitaires (Meta, Google Ads, TikTok) et les scrapers ignorent les directives textuelles. Cloaker.net inspecte les empreintes matérielles et les chiffrements TLS à la périphérie en moins de 15 ms.

Interception active de robots et de réviseurs
Redirection de Périphérie à Saut Unique Inférieure à 15 ms
Méta pré-filtrées et signatures Google
Routage dynamique des pays, des appareils et des ASN
Commencer l'Essai Gratuit Configuration Instantanée · Configuration Sans Code
Assistance et conseils

Questions fréquemment posées

Questions techniques courantes sur les directives des robots d'exploration, les règles de disallow et la défense par masquage.

Qu'est-ce qu'un fichier robots.txt ?

Un fichier robots.txt est un fichier texte standard placé dans le répertoire racine d'un site web qui indique aux robots des moteurs de recherche et aux robots d'exploration automatisés quelles URL ils peuvent ou ne peuvent pas accéder sur votre site.

Le fichier robots.txt protège-t-il les entonnoirs d'affiliation des robots d'exploration de révision publicitaire ?

Non. Bien que les bots légitimes des moteurs de recherche obéissent à robots.txt, les robots d'exploration de révision publicitaire (Meta, TikTok, Google Ads) et les scrapers malveillants ignorent souvent les directives de disallow. Un filtrage de périphérie actif côté serveur avec Cloaker.net est nécessaire pour bloquer les robots d'exploration non autorisés.

Une règle de disallow dans robots.txt empêche-t-elle une page d'être indexée ?

Pas nécessairement. Interdire une URL empêche les bots de recherche de crawler son contenu, mais si des liens externes pointent vers cette URL, Google peut toujours indexer l'URL elle-même. Pour garantir qu'une page ne soit jamais indexée, utilisez plutôt une meta tag noindex.

Où le fichier robots.txt doit-il être téléchargé ?

Le fichier robots.txt doit être téléchargé dans le répertoire racine de votre domaine de site web (ex. : https://example.com/robots.txt).

Fonctionne de manière transparente avec vos réseaux publicitaires, suiveurs et sources de trafic préférés

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

Contrôlez le trafic des robots d'exploration à grande échelle

Déployez des redirections de périphérie de moins de 15 ms, filtrez les bots réviseurs et protégez vos campagnes publicitaires avec Cloaker.net.

✓ Aucune carte de crédit requise pour l'essai  ·  ✓ Annulez à tout moment  ·  ✓ Latence inférieure à la milliseconde