Позавчера Яндекс написал о том, что теперь их робот понимает новую директиву в файле robots.txt. Сама директива называеться "Crawl-delay". Использовать ее необходимо в том, случае если ваш сервер, на котором размещается сайт, работает не сильно быстро.