robots.txtジェネレーター
無料オンライン robots.txt 生成ツール、ビジュアル編集
robots.txtとは
robots.txtはWebサイトのルートに配置されるファイルで、検索エンジンのクローラーにアクセス可能/不可能なページや領域を指示します。Robots Exclusion Protocolを使用して、異なるuser-agent（クローラー）ごとにルールを定義します。適切なrobots.txtの設定はSEOに不可欠です。
robots.txtの生成方法
user-agent、Disallow（禁止パス）、Allow（許可パス）を指定してルールを追加します。Sitemap URLやクロール遅延をオプションで追加します。「生成」をクリックしてrobots.txtの内容を生成します。出力をコピーしてWebサイトのルート（https://example.com/robots.txt）に配置します。
▶robots.txtで検索エンジンのインデックスを阻止できますか？
robots.txtはクローラーに特定ページのクロールを指示しますが、他のページからリンクされている場合、インデックスを完全に阻止できません。確実に阻止するにはnoindexメタタグまたはパスワード保護を使用してください。
▶User-agent: *とは？
*ワイルドカードはすべてのクローラーにルールを適用します。User-agent: Googlebotのように名前で特定のクローラーを指定することもできます。
▶robots.txtはどこに配置しますか？
ドメインのルートに配置します：https://example.com/robots.txt。HTTP経由でアクセス可能である必要があり、サブディレクトリには配置できません。