カスタム Robots.txt
& クローラー ビルダー
クローラー ディレクティブの構成、検索エンジンのアクセス許可の定義、XML サイトマップ パスの指定、クロール レートの管理を簡単に実行できます。
robots.txt の出力
RFC 9309 対応リアルタイム ロボット排除プロトコル ファイル ビルダー
Core Robots.txt の構文とルール
Robots Exclusion Protocol (REP) は、検索エンジンのクロール バジェットとパス インデックスを管理する RFC 9309 標準です。
ターゲット クローラー ファミリ
次のルールがどのクローラーに適用されるかを定義します。 「User-agent: *」はすべてのボットをターゲットにし、特定のトークンは個々のクローラーをターゲットにします。
パスアクセスルール
「Disallow: /admin/」は、準拠したクローラーによるフォルダーのスクレイピングを停止します。 「Allow: /」はサブリソースへの明示的なアクセスを許可します。
インデックスの高速化
XML サイトマップの絶対 URL を宣言し、検索エンジンが構造化マニフェスト内のインデックス可能なページをすべて検出できるようにします。
クロールレート制限
Bing と Yandex によってサポートされており、連続するページ要求の間に一時停止 (秒単位) を強制することでサーバーのスパイクを防ぎます。
広告レビューボットとスクレーパーは robots.txt を無視します。
Cloaker.net を使用して防弾エッジ フィルタリングを適用します。
検索エンジンは robots.txt を尊重しますが、広告レビュー担当者 (Meta、Google 広告、TikTok) とスクレーパーはテキスト ディレクティブを無視します。 Cloaker.net は、ハードウェア フィンガープリントと TLS 暗号をエッジで 15 ミリ秒未満で検査します。
よくある質問
クローラー ディレクティブ、禁止ルール、クローキング防御に関する一般的な技術的な質問。
robots.txt ファイルは、Web サイトのルート ディレクトリに配置される標準のテキスト ファイルで、検索エンジン ロボットや自動クローラーに、サイト上でアクセスできる URL とアクセスできない URL を通知します。
いいえ。正規の検索エンジン ボットは robots.txt に従いますが、広告レビュー クローラー (Meta、TikTok、Google 広告) や悪意のあるスクレーパーは、禁止ディレクティブを無視することがよくあります。無許可のクローラーをブロックするには、Cloaker.net を使用したアクティブなサーバー側エッジ フィルターが必要です。
必ずしもそうとは限りません。 URL を禁止すると、検索ボットがそのコンテンツをクロールできなくなりますが、外部リンクがその URL を指している場合でも、Google は URL 自体をインデックスに登録できます。ページにインデックスが作成されないようにするには、代わりに noindex メタ タグを使用します。
robots.txt ファイルは、Web サイト ドメインのルート ディレクトリにアップロードする必要があります (例: https://example.com/robots.txt)。
お気に入りの広告ネットワーク、トラッカー、トラフィック ソースとシームレスに連携します
クローラー トラフィックを大規模に制御する
Cloaker.net を使用して、15 ミリ秒未満のエッジ リダイレクトを導入し、ボット レビュアーをフィルタリングし、広告キャンペーンを保護します。
✓ 試用にはクレジット カードは必要ありません · ✓ いつでもキャンセルできます · ✓ ミリ秒未満の遅延