robots.txt生成ツール

ユーザーエージェント別のクロールルールを設定し、robots.txtファイルを生成できます。プリセットからすばやく設定するか、カスタムで細かく調整してください。

プリセット

ルールグループ 1

サイトマップURL

生成コード

User-agent: *
Allow: /
⚠️

※本ツールの結果はあくまで参考値です。正確性を保証するものではありません。

使い方

許可/拒否するクローラーとパスを選択してrobots.txtを生成します。

よくある質問

関連ツール