robots.txt 生成ツール
複数の user-agent ブロック、Allow/Disallow、任意の Crawl-delay、Host、Sitemap 行を含む robots.txt を作成します。入力中にライブプレビューが更新されます。
User-agent ブロック
全体設定
注意:
Host は一部のクローラー（例: Yandex）で使用されます。Crawl-delay は Google では使用されませんが、他では使われる場合があります。ワイルドカード * と $ は広くサポートされています（コア RFC には未収載）。
プレビュー（robots.txt）
URL テスター
リマインダー:
robots.txt は公開されるファイルで、礼儀正しいクローラーへの助言に過ぎません。アクセス制御の仕組みではありません。
Asted Cloud
コメント (0)
感想を共有してください。礼儀正しく、話題に沿ってお願いします。
コメントするにはログイン