Как создать свой сайт знают многие, но не многие знают, что файл robots.txt стоит настраивать сразу же, как вы создадите свой сайт и этому есть несколько причин:
Гугл нормально воспринимает только тот файл robots.txt, который изначально был на на вашем сайте. Если вы в процессе работы поменяете что-то на своем блоге и решите запретить например индексацию категорий и архивов, то вряд ли вы сможете добиться нужного результата — Гугл будет продолжать индексировать все без перебора на вашем сайте. Возможно, что у вас выйдет как-то скормить ему новый robots.txt, но у меня это ни на одном из проектов не вышло. Яндекс же переиндексирует ваш новый файл роботс.тхт, но это скорее всего произойдет только через несколько месяцев, а к тому моменту у вас уже может сложиться другое мнение по данному файлу, тогда придется ждать опять несколько месяцев…
Если вы изначально забыли создать файл robots.txt, то вы можете вообще попробовать отказаться от этой идеи. Таким образом вы не привлечете внимание поисковых систем на свое SEO и продвижение будет казаться более естественным.