カスタム Robots.txt
& クローラー ビルダー

クローラー ディレクティブの構成、検索エンジンのアクセス許可の定義、XML サイトマップ パスの指定、クロール レートの管理を簡単に実行できます。

プリセット:

robots.txt の出力

RFC 9309 対応

リアルタイム ロボット排除プロトコル ファイル ビルダー

フォーマットされたディレクティブテキスト
utf-8 plain text
ルート ディレクトリにアップロード: /robots.txt XMLサイトマップを作成 →
ディレクティブテレメトリー
プロトコル標準: RFC 9309 / REP
ルートファイルパス: /robots.txt
検索クローラーのステータス: 標準インデックス作成
ディレクティブのリファレンス

Core Robots.txt の構文とルール

Robots Exclusion Protocol (REP) は、検索エンジンのクロール バジェットとパス インデックスを管理する RFC 9309 標準です。

User-agent Directive

ターゲット クローラー ファミリ

次のルールがどのクローラーに適用されるかを定義します。 「User-agent: *」はすべてのボットをターゲットにし、特定のトークンは個々のクローラーをターゲットにします。

禁止と許可

パスアクセスルール

「Disallow: /admin/」は、準拠したクローラーによるフォルダーのスクレイピングを停止します。 「Allow: /」はサブリソースへの明示的なアクセスを許可します。

サイトマップ宣言

インデックスの高速化

XML サイトマップの絶対 URL を宣言し、検索エンジンが構造化マニフェスト内のインデックス可能なページをすべて検出できるようにします。

クロール遅延ルール

クロールレート制限

Bing と Yandex によってサポートされており、連続するページ要求の間に一時停止 (秒単位) を強制することでサーバーのスパイクを防ぎます。

アクティブクローラー防御

広告レビューボットとスクレーパーは robots.txt を無視します。
Cloaker.net を使用して防弾エッジ フィルタリングを適用します。

検索エンジンは robots.txt を尊重しますが、広告レビュー担当者 (Meta、Google 広告、TikTok) とスクレーパーはテキスト ディレクティブを無視します。 Cloaker.net は、ハードウェア フィンガープリントと TLS 暗号をエッジで 15 ミリ秒未満で検査します。

アクティブなボットとレビューアーの傍受
15ms 未満のシングルホップ エッジ リダイレクション
事前にフィルタリングされたメタ署名と Google 署名
国、デバイス、ASN の動的なルーティング
無料トライアルを開始する インスタントセットアップ・ゼロコードセットアップ
サポートとガイダンス

よくある質問

クローラー ディレクティブ、禁止ルール、クローキング防御に関する一般的な技術的な質問。

robots.txt ファイルとは何ですか?

robots.txt ファイルは、Web サイトのルート ディレクトリに配置される標準のテキスト ファイルで、検索エンジン ロボットや自動クローラーに、サイト上でアクセスできる URL とアクセスできない URL を通知します。

robots.txt はアフィリエイト ファネルを広告レビュー クローラーから保護しますか?

いいえ。正規の検索エンジン ボットは robots.txt に従いますが、広告レビュー クローラー (Meta、TikTok、Google 広告) や悪意のあるスクレーパーは、禁止ディレクティブを無視することがよくあります。無許可のクローラーをブロックするには、Cloaker.net を使用したアクティブなサーバー側エッジ フィルターが必要です。

robots.txt の禁止ルールにより、ページのインデックス作成が妨げられますか?

必ずしもそうとは限りません。 URL を禁止すると、検索ボットがそのコンテンツをクロールできなくなりますが、外部リンクがその URL を指している場合でも、Google は URL 自体をインデックスに登録できます。ページにインデックスが作成されないようにするには、代わりに noindex メタ タグを使用します。

robots.txt ファイルはどこにアップロードする必要がありますか?

robots.txt ファイルは、Web サイト ドメインのルート ディレクトリにアップロードする必要があります (例: https://example.com/robots.txt)。

お気に入りの広告ネットワーク、トラッカー、トラフィック ソースとシームレスに連携します

Meta logo
Google Ads logo
Adsterra logo
PropellerAds logo
ExoClick logo
Microsoft Ads logo
TikTok logo
Snapchat logo
Bing Ads logo
Taboola logo
Outbrain logo
MGID logo
Clickadu logo
Google Play logo
Stripe logo

クローラー トラフィックを大規模に制御する

Cloaker.net を使用して、15 ミリ秒未満のエッジ リダイレクトを導入し、ボット レビュアーをフィルタリングし、広告キャンペーンを保護します。

✓ 試用にはクレジット カードは必要ありません · ✓ いつでもキャンセルできます · ✓ ミリ秒未満の遅延