Googleなどの検索エンジンにインデックスさせたくない場合「robots.txt」というファイルによって検索エンジンロボットの巡回を制御し、アクセスを禁止したり、インデックスさせないようにすることができます。
robots.txt ファイルについて（Googleウェブマスター）
WordPressでは自動で「robots.txt」が生成されますので、
管理画面で編集できるプラグイン「KB Robots.txt」が便利です。
管理画面での編集
例えば以下のようにWordpressなら
全ロボットに対して以下のファイルなどは検索エンジンにインデックスさせる必要ないので拒否します。
