Комментарии участников:
это называется не заблокировать индексацию, а вежливо попросить поисковик не рыться на этом сайте. Если поисковик сочтет это убедительным, то не будет рыться.
никак. когда поисковая машина заходит на сайт, она явно себя обозначает. теоретически можно выдать липовую страницу, типа "сайт находится в разработке".
я про тоже. по-моему пока сама поисковая машина не захочет не индексировать страницы, ей никто не помешает это сделать.
слава робатам.
это "на корню" не запретит индексацию. Это вроде как договоренности и никто не обязан это соблюдать.
это "на корню" не запретит индексацию. Это вроде как договоренности и никто не обязан это соблюдать.
блокировать ip роботов. списки ip адресов ведутся и постоянно обновляются.
вариант — блокировать по user-agent: роботы крупных поисковиков блюдут этот заголовок
еще вариант: поставить пароль
вариант — блокировать по user-agent: роботы крупных поисковиков блюдут этот заголовок
еще вариант: поставить пароль
