В связи с недавними глюками Яндекса, я рекомендую вам не полагаться только лишь на файл robots.txt для закрытия страниц от индексации, а так же производить некоторые другие процедуры. Именно о методах закрытия информации от индексации мы и поговорим ниже.

• robots.txt. Естественно просто необходимо правильно настроить этот файл, чтобы ничего лишнего не проиндексировалось на вашем сайте, но как видите — это не панацея, поэтому ее стоит использовать в комплексе с другими методами.
• nofollow и noindex. Рекомендуется на страницах, которые должны быть закрыты от индексации ставить тег noindex, чтобы он не мог проиндексировать контент, а на ссылках, ведущих на эту страницу ставить тег nofollow, чтобы поисковые роботы не ходили на эти страницы
• Редирект. Может помочь для закрытия от индексации, но вполне вероятно, что роботы по нему все равно пройдут.
• Изменение .htaaccess. Можно вообще закрыть доступ к страницам с недоваренных IP адресов и тогда кроме ваших друзей-знакомых-клиентов-партнеров-сотрудников никто не сможет попасть на целевые страницы.
• Выдача информации только залогиненным пользователям. Разумно разрешать к примеру накладные смотреть только самому клиенту. Организуется это при помощи сессий.