WordPress小ネタ集③：robots.txtの謎を解く！物理ファイルなしの仕組みから設定まで初心者向けに解説

パソコン

WordPressを使い始めたばかりの皆さん、SEO対策を調べていて「robots.txt」という言葉を見たことはありませんか？
このファイルは、検索エンジンのクローラーに対して「このページは見てもいい」「このページは見ないで」という指示を出す、いわばサイトの交通整理係のような役割を持っています。

ところが、WordPressサイトで robots.txt を探しても「ファイルがない！」と驚く方が多いのではないでしょうか。
実は、WordPressでは物理ファイルを持たずに、内部で動的にrobots.txtを生成する仕組みがあるのです。

この記事では、この「謎」をわかりやすく解き明かし、基本の仕組みからカスタマイズ方法、注意点までを初心者向けに解説します。
SEOを強化したい方も、単純に仕組みを理解したい方も、この記事を読めばrobots.txtを安全に管理できるようになります。

スポンサーリンク
スポンサーリンク

ステップ1：仮想 robots.txt の仕組みを理解する

WordPressでは物理ファイルが存在しない

一般的なウェブサイトでは、サーバーのルートディレクトリに robots.txt というファイルが物理的に置かれています。
しかし、WordPressの場合は違います。

  • 実際のサーバーにファイルはありません
  • それでもブラウザで https://example.com/robots.txt にアクセスすると内容が表示されます

これは、WordPressが動的にrobots.txtを生成して返しているからです。
つまり、リクエストが来るたびに、WordPress本体がその場で内容を組み立てて配信しているのです。

💡 ポイント
物理ファイルがないため、FTPで探しても見つかりません。ですが、SEO的な機能はしっかり動作しています。

ステップ2：デフォルト設定の意味を知る

WordPressの仮想robots.txtを確認すると、多くのサイトで以下のようなシンプルな内容が表示されます。

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

それぞれの意味

記述意味
User-agent: *全ての検索エンジンのクローラーに適用する
Disallow: /wp-admin/管理画面以下のページはクロール禁止
Allow: /wp-admin/admin-ajax.phpサイト機能に必要なAJAX処理は許可

⚠ 注意
このデフォルト設定はセキュリティと機能性のバランスが取れています。特に理由がない限り、デフォルトのままで問題ありません。

ステップ3：robots.txtをカスタマイズする方法

サイトマップを指定したい、特定のページをクロールさせたくない場合は、robots.txtをカスタマイズできます。
方法は大きく分けて2つです。

方法A：物理ファイルを設置

  1. サーバーのルートに robots.txt ファイルを作成
  2. 必要なルールを書き込む
  3. アップロードすると物理ファイルが優先されます

メリット

  • 編集が直感的で簡単

デメリット

  • 更新が手動になる
  • プラグインによる自動調整が効かなくなる可能性がある

方法B：動的編集（推奨）

テーマファイルフォルダー中のfunctions.php などに以下を追加すると、仮想robots.txtをカスタマイズできます。

add_filter( 'robots_txt', function( $output, $public ) {
    $output .= "\nSitemap: https://example.com/sitemap.xml\n";
    $output .= "Disallow: /private/\n";
    return $output;
}, 10, 2 );

💡 初心者におすすめ
Yoast SEO や Rank Math などのSEOプラグインを使えば、管理画面からGUIで編集できます。
物理ファイルを触る必要がないので、安全かつ手軽です。

ステップ4：安全な記述例

1. 基本構成（デフォルト＋サイトマップ追加）

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

2. 特定ディレクトリをクロール禁止

User-agent: *
Disallow: /wp-admin/
Disallow: /private/
Allow: /wp-admin/admin-ajax.php

Sitemap: https://example.com/sitemap_index.xml

⚠ 注意

  • Disallow: / と書くとサイト全体がクロール禁止になります。
  • 記述ミスはSEOに悪影響を与えるので、Google Search Console の robots.txt テスターで必ず検証しましょう。

ステップ5：トラブル防止と確認方法

よくあるトラブル

症状対応
robots.txt が見つからない仮想生成なので正常。ブラウザで確認。
変更が反映されない物理ファイルが残っている場合はそちらが優先。
Google Search Console でエラーURL と記述を再確認し、キャッシュをクリア。

チェックリスト

  • https://example.com/robots.txt にアクセスして内容を確認した
  • サイトマップのURLを正しく記述した
  • Google Search Console のテスターでエラーがないことを確認した

まとめ

  • WordPressのrobots.txtは物理ファイルではなく動的に生成されている
  • デフォルト設定は安全でSEOフレンドリー
  • カスタマイズする場合は物理ファイル設置か動的編集を選択
  • SEOプラグインを使えば初心者でも簡単に安全に管理できる

robots.txtは小さな設定ですが、検索エンジンのクロール効率やSEO評価に大きく影響します。
この仕組みを正しく理解し、安全に管理することで、WordPressサイトの運営をよりスムーズに進められるでしょう。

スポンサーリンク