Сотрудник Google Пьер Фар (Pierre Far) опубликовал рекомендации, как лучше отключать сайт, чтобы это не повредило ресурсу в поисковой выдаче Google.

Он пояснил, что сайт будет оштрафован, если вернёт поисковому боту другой контент вместо главной страницы. А ведь некоторые сайты собираются поставить заглушку на главную страницу с информацией о причинах бойкота, окошком прямой видеотрансляции из Палаты представителей США, где будут проходить слушания по SOPA. Именно так собирается сделать Reddit. По словам Пьера Фара, такой вариант приведёт к потере позиций в поисковой выдаче.

1. Самый главный совет бойкотирующим сайтам — возвращать корректный заголовок 503 Service Unavailable для всех URL, которые участвуют в бойкоте. Таким образом, робот Google не будет индексировать контент, при этом предыдущая версия сайта сохранится в кэше, и сайт не потеряет свои позиции в поисковой выдаче.

2. Периодичность индексации сайта снизится, если Googlebot увидит большое количество заголовков 503, но затем постепенно вернётся на прежний уровень.

3. В нынешней конфигурации Googlebot не индексирует сайт вообще, если получает статус 503 для robots.txt. таким образом, если в бойкоте участвует только часть сайта, убедитесь, что файл robots.txt не возвращает статус 503. Не рекомендуется также использовать в robots.txt инструкцию «Disallow: /», потому что это приведёт к длительной паузе в индексации сайта.