Новая программа-краулер лишена этих недостатков. Она исследует сайт с нескольких IP-адресов, выдает себя за разные браузеры, очень медленно ходит по ссылкам, чтобы имитировать человека. Она даже скачивает флэш-анимацию, картинки, скрипты и ActiveX для большей реалистичности.
Добавил
venom 27 Января 2006