После конфликта Мегафона и интернет магазинов с Яндексом, Яндекс написал официальное руководство по тому, как правильно закрывать информацию от индексации Яндексом на сайте. Данное руководство находится по адресу _http://webmaster.ya.ru/replies.xml?item_no=10941 и по своей сути оно не содержит никакой исключительно новой информации, которая бы не была известна большинству оптимизаторов и вебмастеров. Вкратце, в этом руководстве описано следующее:

• Всю конфиденциальную информацию нужно защищать при помощи запрета индексации в файле robots.txt, но даже это не панацея от роботов.
• Важно так же конфиденциальную информацию закрывать на пароль То есть к примеру чтобы информацию по заказам в интернет магазинах могли видеть исключительно клиенты и никто иной.

Так же стоит защитить конфиденциальные страницы тегом noindex, что запретит роботу Яндекса индексировать контент.
Игнорирование этих простых правил и приводит к разглашению информации, поэтому создавая сайт позаботьтесь о том, чтобы правильно настроить и индексацию своего сайта и будет вам счастье, а иначе могут наступить очень негативные последствия.