検索エンジンのインデックスに登録させたくない場合、「robots.txt」の設定で検索エンジン ロボットによるサイトへのアクセスを制限をかけることができます。
メタタグを使用する方法： すべての検索エンジンでインデックスへの登録を拒否
<meta name="robots" content="noindex">
「robots.txt」による方法： 検索エンジンのインデックスへの登録を拒否
User-agent: 以降のルールを適用するロボット
Disallow: ブロックする URL
全てのロボット検索を拒否 （※「User-agent: *」は、「すべてのクローラー」という意味）
User-agent: *
Disallow: /
特定のロボットに対する制御
Google検索拒否
User-agent: Googlebot
Disallow: /
Yahoo検索拒否
User-agent: Slurp
Disallow: /
Bing検索拒否
User-agent: msnbot
Disallow: /
Google 画像検索からサイトのすべての画像を削除
User-agent: Googlebot-Image
Disallow: /