Комментарии участников:
Причем закрыта была не в robots.txt (а зачем?), а на уровне доступа «white list» — то есть зайти туда можно было только с офисных IP самой компании.
FAIL

> Откуда он знает?
Почти на всех сайтах есть гугл-аналитика, яндекс-метрика и прочие следилки. Начните с установки ад-блока во все используемые браузеры. На андройд-планшете можно поставить блокировщик рекламы (забыл точное название в маркете) и стараться НЕ использовать стандартный браузер.
Далее, флеш-плеер также часто устанавливает собственные следящие «кукисы», которые называются LSO. Это своего рода бессмертные кукисы, ибо браузеры как правило их не отображают, не контроллируют. Вот тут есть понятная инфа об этом чуде.
Почти на всех сайтах есть гугл-аналитика, яндекс-метрика и прочие следилки. Начните с установки ад-блока во все используемые браузеры. На андройд-планшете можно поставить блокировщик рекламы (забыл точное название в маркете) и стараться НЕ использовать стандартный браузер.
Далее, флеш-плеер также часто устанавливает собственные следящие «кукисы», которые называются LSO. Это своего рода бессмертные кукисы, ибо браузеры как правило их не отображают, не контроллируют. Вот тут есть понятная инфа об этом чуде.
ага, на roem такой коммент:
Вы тут все такие умные, кто защищает Империю Добра, творимого для всех сразу (тм), но я вот не поленился и посмотрел в соглашение:
www.google.com/chrome/intl/ru/eula_text.html
6. Конфиденциальность и личная информация
6.1. Информация о способах защиты данных, применяемых Google, изложена в политике конфиденциальности Google:www.google.ru/privacy.html и
www.google.com/chrome/intl/ru/privacy.html. В этой политике описывается, как Google обрабатывает личную информацию и обеспечивает Вашу конфиденциальность при использовании Услуг.
6.2. Вы разрешаете использовать свои данные в соответствии с политикой конфиденциальности Google.
7. Содержание, используемое в Услугах
7.1. Вы осознаете, что за всю информацию (такую как файлы данных, текстовые материалы, программное обеспечение, музыка, аудиофайлы и другие аудиоматериалы, фотографии, видео и другие изображения), к которой Вы можете получить доступ в процессе использования Услуг, ответственность несет исключительно то лицо, от которого поступило это содержание. Вся подобная информация будет именоваться далее «Содержание».
…
7.3. Компания Google оставляет за собой право (но не берет на себя никаких обязательств) предварительно просматривать, помечать, фильтровать, изменять, отклонять или удалять Содержание (частично или полностью) из любых Услуг.…
www.google.com/chrome/intl/ru/privacy.html
Кроме того, некоторые функции браузера Google отправляют в компанию Google дополнительную информацию.
Символы, которые вы вводите при указании URL или запросов в адресной строке, отправляются в поисковую систему, выбранную вами по умолчанию. Благодаря этому функция подсказок может автоматически предлагать варианты поискового запроса или URL, которые могут вам пригодиться. Если вы выбрали Google в качестве поисковой системы, браузер Chrome будет связываться с Google при запуске, чтобы определить наилучший локальный адрес для отправки поисковых запросов. Если вы решите предоставлять Google статистику использования и примете предложенный запрос или URL-адрес, Google Chrome отправит в Google также и эту информацию.…
…
Если включена вспомогательная функция «Автозаполнение», Chrome отправляет в Google лишь некоторые данные о структуре страницы с веб-формами и сведения о самих веб-формах. Эта информация необходима для улучшения работы Автозаполнения на этой странице. Chrome может отправлять в Google информацию о том, заполнено ли то или иное поле, но сами введенные данные не отправляются. Исключение составляют случаи, когда вы разрешаете сохранять эти данные в своем аккаунте с помощью функции синхронизации Google Chrome.
Ели вы пользуетесь встроенной в Google Chrome функцией передачи данных о своем местоположении, браузер будет отправлять сведения о вашем сетевом подключении в службы определения местоположения Google, чтобы получить ваши приблизительные координаты. В зависимости от характеристик вашего устройства сведения о вашем сетевом подключении могут включать данные о ближайших маршрутизаторах WiFi, идентификаторы базовых станций сотовой связи, уровень сигнала и такие данные, как IP-адрес вашего устройства. Эти сведения используются для обработки запросов о местоположении, а также для работы, поддержки и улучшения Google Chrome и служб определения местоположения Google. Собранные сведения носят анонимный характер и агрегируются перед использованием разработчиками Google для создания новых и улучшения существующих функций, продуктов и служб.
…
Использование
Информация, которую получает компания Google, когда вы используете Google Chrome, необходима для обеспечения работы и совершенствования браузера Google Chrome и других служб Google.…
из любых Услуг.…Сами же написали. Что есть Услуги? Вот-вот. Содержание сторонних сайтов здесь ни при чем.
для тех, кто не дочитал комменты на источнике:
даже количественный мониторинг трафика дыл бы многое: как ни крути, если бы хром отсылал тела страниц в штаб — пусть не всех, пусть даже со сжатием, — то он бы генерил подозрительно много исходящего трафика. так что хотя бы корреляции вроде «загрузили N страниц по X кб страниц и с вероятностью P от хрома ушло Y кб в гугл». если можно установить какую-то корреляцию между X и Y, то можно сказать что количество трафика, передаваемого в штаб зависит от размера просматриваемы страниц. это меряется элементарно. начать можно с этого, потом уже организовать MITM через самопальный CA для подтверждения. но, естественно, куда интереснее и продуктивнее начать с поста на роеме под альтерэгой: у гугла репутация есть и её можно испортить, даже если кричать полную ерунду, но громко — кто-то да поведтся. а у альтерэги репутации нет, так что терять нечего. профит!
даже количественный мониторинг трафика дыл бы многое: как ни крути, если бы хром отсылал тела страниц в штаб — пусть не всех, пусть даже со сжатием, — то он бы генерил подозрительно много исходящего трафика. так что хотя бы корреляции вроде «загрузили N страниц по X кб страниц и с вероятностью P от хрома ушло Y кб в гуглChrome может отправлять только недоступные страницы. А их не так много.
их мало у обычного юзера. Но к примеру у вебмастеров или админов тысячи. Этот траффик был бы заметен.
В первую очередь запалили бы в крупных компаниях имеющих закрытые разделы сайтов. Например в той же самой компании которая бредит в Роеме.
В первую очередь запалили бы в крупных компаниях имеющих закрытые разделы сайтов. Например в той же самой компании которая бредит в Роеме.
у крупных компаний очень много трафика, и входящего и исходящего.
и если тарифный план — анлим, то за ним вообще не следят.
на трафик могут обратить внимание, если чтото начинает тормозить, если какойто «особо продвинутый» сотрудник ставит на закачку торренты и засирает весь канал под завязку. и то — причину найдут, сотруднику вставят за торренты, и продолжат заниматься тем, чем до этого.
о каких корреляциях вы говорите, кто их меряет и замеряет??
и если тарифный план — анлим, то за ним вообще не следят.
на трафик могут обратить внимание, если чтото начинает тормозить, если какойто «особо продвинутый» сотрудник ставит на закачку торренты и засирает весь канал под завязку. и то — причину найдут, сотруднику вставят за торренты, и продолжат заниматься тем, чем до этого.
о каких корреляциях вы говорите, кто их меряет и замеряет??
и если тарифный план — анлим, то за ним вообще не следят.Смотря чем занимается компания. Я же говорю крупных компаний много. В некоторых следят исходя из соображений секурности. И был бы замечен соответствующий траффик.
ну тогда это должны быть системы уровня Intrusion Prevention и очень интеллектуальные анализаторы сетевой активности.
насколько я знаю, железки эти стоят очень некислых денег, а также очень грамотных специалистов. сомневаюсь, что даже среди многих крупных компаний в России есть такие.
на более простом уровне анализа трафика — есть запросы на сайты гугля, и вот он исходящий на них трафик.
чтобы заметить, что в исходящем трафике содержится содержимое приватных страниц, нужно
1) или парсер исходящих http-запросов, и поиск на предмет охраняемых данных (не только набор слов, но и словосочетаний, причем распознающий разметку данных и умеющий ее исключать)
2) или команда админов, которая будет просматривать вручную исходящий трафик, и в тоннах говна выискивать те самые секурные страницы
во второе не верю в силу занятости админов, в первое не верится, т.к. это сложная система и опять же — оно требует ресурсов.
насколько я знаю, железки эти стоят очень некислых денег, а также очень грамотных специалистов. сомневаюсь, что даже среди многих крупных компаний в России есть такие.
на более простом уровне анализа трафика — есть запросы на сайты гугля, и вот он исходящий на них трафик.
чтобы заметить, что в исходящем трафике содержится содержимое приватных страниц, нужно
1) или парсер исходящих http-запросов, и поиск на предмет охраняемых данных (не только набор слов, но и словосочетаний, причем распознающий разметку данных и умеющий ее исключать)
2) или команда админов, которая будет просматривать вручную исходящий трафик, и в тоннах говна выискивать те самые секурные страницы
во второе не верю в силу занятости админов, в первое не верится, т.к. это сложная система и опять же — оно требует ресурсов.
Думаю бред. Скорее всего был ляп админов но давно, который сами и прикрыли.
Опять же подобное очень просто проверяется. У меня есть целый ряд сайтов со страницами с закрытым доступом. В Гугле их нет, хотя я тестировал их и с Хромом.
Опять же подобное очень просто проверяется. У меня есть целый ряд сайтов со страницами с закрытым доступом. В Гугле их нет, хотя я тестировал их и с Хромом.
советую прочитать все комменты и забыть про эту тему, так как некоторые поля даже с синхронизируемыми доками могут отправляться, но доказательств, что отправляется вся страница и близко никто не видел, это ляп админов топикстартера
А если отправляется по одному элементу страницы с каждого такого пользователя, а потом Гуглем собирается воедино? :)
Ну чо, попоболь? Заметьте, никто в исходниках хромиума не смог найти указанного в новости добра. Даже самые изысканные любители анальных зондов уже сменили проприетарный хром на хромиум с сорцами, ибо зонд корпорации добра плохо притерается. А доказать суть новости или полностью опровергнуть невозможно, ибо исходников хрома в свободном доступе нет.
Подозреваю, что имеет место быть следующий сценарий:
1. Хомячки поднимают свой недосервер. Пока пилили-настраивали, естественно пользовались хромом с отсылкой анонимной статистики.
2. Гугл регулярно получал список посящеямых хомячками ссылок, естественно все URL были оперативно проиндексированы.
3. Потом хомячки решили, что всё готово и пора прикрыть доступ. Написали систему разграничения доступа на уровне HTTP-сервера, которая возвращает ошибку 500 при попытке захода извне. Ну ошибка 500 — это значит сервак упал. То есть прочитать RFC 2616 хомячкам в голову не пришло, настроить файрволл они тоже не смогли, поэтому они выставили 500 вместо положенного 403.
4. Гугл при попытках переиндексации получает 500 и думает, что сервак временно упал. Гугл не удаляет и не обновляет данные в базе поиска и в кеше, что совершенно верно в данной ситуации. Очевидно, что при получении ошибок типа 403/404 данные из баз гугла были бы уже удалены.
5. Хомячки плачут и винят гугл, хром, богов, птиц за окном, плохую погоду и холодное какао в стакане, но никак не подозревают о настоящей сути проблемы.
Подозреваю, что имеет место быть следующий сценарий:
1. Хомячки поднимают свой недосервер. Пока пилили-настраивали, естественно пользовались хромом с отсылкой анонимной статистики.
2. Гугл регулярно получал список посящеямых хомячками ссылок, естественно все URL были оперативно проиндексированы.
3. Потом хомячки решили, что всё готово и пора прикрыть доступ. Написали систему разграничения доступа на уровне HTTP-сервера, которая возвращает ошибку 500 при попытке захода извне. Ну ошибка 500 — это значит сервак упал. То есть прочитать RFC 2616 хомячкам в голову не пришло, настроить файрволл они тоже не смогли, поэтому они выставили 500 вместо положенного 403.
4. Гугл при попытках переиндексации получает 500 и думает, что сервак временно упал. Гугл не удаляет и не обновляет данные в базе поиска и в кеше, что совершенно верно в данной ситуации. Очевидно, что при получении ошибок типа 403/404 данные из баз гугла были бы уже удалены.
5. Хомячки плачут и винят гугл, хром, богов, птиц за окном, плохую погоду и холодное какао в стакане, но никак не подозревают о настоящей сути проблемы.
За коммент плюс, аналитика хорошая, но с этим несогласен:
Пруф отчасти тут.
Выпилено это все в SRWare Iron и Chromeplus.
уже сменили проприетарный хром на хромиум с сорцаминасколько мне известно, в хромиуме тоже реализованы все tracking-штучки chrome. Там есть тот же сбор анонимной статистики, есть поиск из строки адреса с предложением вариантов и т.д. и т.п.
Пруф отчасти тут.
Выпилено это все в SRWare Iron и Chromeplus.
Чисто технический вопрос. А почему все решили, что это хром, а не какой — нибудь троян или шпион?
Ахренеть, хомячки в админах…
Ахренеть, хомячки в админах…
троян отправляет сохраненные копии страниц в выдачу гугла? Ну знаете… Тогда собственно чей троян то?
Про выдачу гугла только сами хомячки и писали. Чисто голословно. В остальном — чисто вопиющий непроффесионализм, расписанный выше подробно.
Я бы еще добавил, что может быть и такой вариант, что после обнаружения своих «засекреченных» страниц в выдаче гугла и были предприняты неуклюжие попытки запретить к ним доступ поисковика через 500 ошибку и white list. И статья про «шпионство хрома» — как попытка обелиться перед начальством.
Я бы еще добавил, что может быть и такой вариант, что после обнаружения своих «засекреченных» страниц в выдаче гугла и были предприняты неуклюжие попытки запретить к ним доступ поисковика через 500 ошибку и white list. И статья про «шпионство хрома» — как попытка обелиться перед начальством.
все правильно ) тоже со скептисом отношусь к подобным историям. никаких методик проверки представлено не было, зато стрелки перевели на хром.
Историю про phpmyadmin я уже писал в комментах, но что и такие CEO бояны будут поднимать я не догадывался. ))) Даже FireFox после того как его стал распространять Гугл и появился гуглевская поисковая панель посылает на индекс любую страницу где он находится. И этой истории много-много лет.