[2 года до поражения] «Ведомости»: 40,5% всего трафика в рунете в 2022 году - это бот-трафик*, что на 5% больше, чем в 2021 году. Интернет-трафик, сгенерированный людьми, сократился с 64,5 до 59,5%
![[2 года до поражения] «Ведомости»: 40,5% всего трафика в рунете в 2022 году - это бот-трафик*, что на 5% больше, чем в 2021 году. Интернет-трафик, сгенерированный людьми, сократился с 64,5 до 59,5%](/story_images/664000/1686812796_87_1686812554_13_1686811922_27_1686811545_99_1686811391_28_generated.png)
По данным агентства TelecomDaily, общий объем фиксированного трафика в рунете в 2022 г. вырос на 16% – с 78 до 91 эксабайта (квинтиллион байтов. – «Ведомости»). Мобильный трафик в 2022 г. вырос на 18% – с 29,6 до 35 эксабайт.
На «хороших» ботов – к ним, например, относятся поисковые роботы, принимающие участие в сканировании и индексации веб-ресурсов, и боты для проверки ресурсов на наличие уязвимостей – пришлось около 17,5% общего трафика. Их средняя доля за год изменилась незначительно, в пределах 1 п. п., отметил менеджер продукта Qrator.AntiBot в Qrator Labs Георгий Тарасов.
При этом доля «плохих», или вредоносных, ботов в 2022 г. увеличилась с 19 до 23%, сказал Тарасов. Рост бот-трафика в рунете «Ведомостям» подтвердили технический директор АО «Синклит» Лука Сафонов и владелец продукта Servicepipe DosGate Даниил Бобрышев. Бобрышев также отметил, что за первое полугодие 2023 г. количество вредоносных ботов продолжило увеличиваться, показав рост на 5–6% по сравнению с тем же периодом 2022 г. «Плохие» боты собирают конфиденциальную информацию о пользователях, оставляют спам-комментарии и поддельные отзывы, «скликивают» рекламные объявления (т. е. сжигают рекламный бюджет, обеспечивая достижение показателей по количеству показов), а также могут остановить работу сайта, генерируя бесконечное количество запросов (ведут DDos-атаки), пояснил специалист компании F.A.С.С.T. (бывшая Group-IB) по противодействию финансовому мошенничеству Дмитрий Дудков. Трафик вредоносных ботов, по его словам, несет угрозы для всех онлайн-ресурсов независимо от индустрии. Но если раньше они угрожали больше интернет-магазинам и маркетплейсам, то в последнее время их активность наблюдается и в финансовой сфере, энергетике, ЖКХ, сферах медицины, образования и развлечений.
Рост генерируемого ботами трафика в интернете – это мировая тенденция. Аналитики американской ИБ-компании Imperva посчитали, что в 2022 г. «человеческий» трафик упал до самого низкого уровня за восемь лет и составил 52,6%, в то время как остальные 47,5% приходились на ботов. Исследование Imperva также подтверждает данные по росту трафика «плохих» ботов: в 2022 г. их доля в мире выросла до 30,2%, что на 2,5 п. п. больше, чем в 2021 г. В тройке стран-лидеров, где трафик вредоносных ботов превышает среднемировой показатель, оказались Германия (68,6%), Ирландия (45,1%) и Сингапур (43,1%).
Рост количества ботов напрямую связан с развитием технологий и все большей автоматизацией процессов в интернете, объясняет Бобрышев. Также на ситуацию повлияли упрощение процесса разработки ботов и масштабирование мошеннических схем, добавил Дудков. Боты, используемые для сбора контента, спама, атак на аккаунты, стали дешевле в содержании, что позволяет злоумышленникам легко наращивать их мощность и количество, заметил Тарасов.
Общей тенденцией является снижение цены на вычислительные ресурсы, поэтому использование ботов только дешевеет, подтверждает сооснователь и исполнительный директор StormWall Рамиль Хантимиров. Немалую лепту вносит и развитие интернета вещей (IoT) – уже более 14 млрд таких устройств подключены к интернету и имеют проблемы с безопасностью, что делает их существенной частью ботнетов, добавляет он.
Среди причин роста трафика «хороших» ботов можно назвать развитие искусственного интеллекта, заметил заместитель руководителя Центра компетенций НТИ на базе «Сколтеха» по технологиям беспроводной связи и интернета вещей Александр Сиволобов. Простой запрос к ChatGPT, по его словам, вызывает целую серию взаимодействий между различными цифровыми сервисами. Например, при просьбе спланировать туристическую поездку ИИ учтет прогноз погоды, отзывы туристов, доступность гостиниц и авиабилетов, чтобы предложить оптимальный вариант, сказал эксперт: «Все эти внутренние обмены информацией между различными цифровыми системами являются примером «хорошего» бот-трафика».
Эксперты считают, что бот-трафик продолжит расти и в ближайшие годы превысит долю «человеческого». Простота реализации ботов как на платформах вроде Telegram, так и в качестве самостоятельного сервиса и дальнейшая цифровизация общества – хороший драйвер для этого, рассуждает замдиректора Центра компетенций НТИ «Технологии доверенного взаимодействия» Руслан Пермяков. Превалирующая доля ботов в интернет-трафике – это вопрос времени, согласен ведущий инженер CorpSoft24 Михаил Сергеев. Например, в американском Twitter в данный момент около 90% ботов и 10% реальных людей, в российском сегменте количество ботов тоже очень быстро растет, добавил эксперт.
Бот-трафик – это любое посещение вашего сайта не человеком. Этот термин обычно воспринимается в негативном ключе, но не весь бот-трафик плохой. Многие не до конца понимают суть бот-трафика, поэтому владельцы сайтов должны знать его разновидности и предпринимать меры для остановки всплесков трафика, которые могут поглощать ресурсы вашего сервера.
Не весь трафик одинаково хорош. Вы можете наблюдать постоянный приток посетителей на сайт, но нужно помнить, что интернет в значительной степени состоит из роботизированного трафика. Что же такое бот-трафик и как его предотвратить?
Статистика показывает, что объемы плохого бот-трафика быстро растут, и сейчас это наиболее распространенная форма искусственного трафика. Нужно ли владельцам сайтов усерднее бороться с этой тенденцией, учитывая развитие искусственного интеллекта и автоматизированных сервисов, благодаря которым в сети появляется все больше ботов?
Чтобы полностью понять, что такое бот-трафик, давайте рассмотрим различные типы автоматизированных роботов в сети и их действий.
Бот-трафик на вашем сайте
Ключ к управлению бот-трафиком – понимание того, что количество посетителей вашего сайта может быть разным, и того, что роботы, которые сканируют ваши страницы – это нормально. Наиболее распространенные формы бот-трафика — это сканеры поисковых систем и SEO-инструментов, боты для защиты авторских прав и другой безобидный автоматизированный трафик.
Однако растет и число вредоносных ботов, которые могут навредить сайту или бизнесу. К ним относятся спам-боты, DDoS-боты, парсеры и другие боты, которые пытаются использовать ваш сайт для незаконной выгоды своих разработчиков.
Хоть человек в этом процессе и не участвует, но появление ботов на ваших страницах по-прежнему считается посещениями. Это означает, что если вы не ограничиваете спам-трафик, то такие посещения могут исказить ваши аналитические показатели: просмотры страниц, показатель отказов, продолжительность сеанса, местоположение посетителей, а также последующие конверсии.
Такие несоответствия в показателях могут запутать владельцев сайтов, а производительность сайта, на котором очень активны роботы, может быть сложно измерить.
Кроме того, боты, смешивающиеся с реальными посетителями, могут отрицательно повлиять на веб-разработку – например, результаты A/B-тестирования или на меры по оптимизации конверсии.
Теперь, когда вы поняли потенциальную опасность того, что на ваших страницах будут копошиться роботы, давайте рассмотрим наиболее эффективные способы ограничения бот-трафика на сайте и наилучшие подходы к блокировке плохих ботов в сети.
Ищите уязвимости
Чтобы лучше проанализировать качество трафика и свести к нулю число любых ботов, способных навредить вашим страницам, регулярно сканируйте уязвимости и выявляйте возможные дыры в вашей безопасности.
Сканирование уязвимостей поможет обнаружить и классифицировать слабые места в вашем оборудовании, сетях и коммуникациях, чтобы рассчитать эффективность контрмер. Сканирование может выполнять внутренний ИТ-отдел компании или внешняя организация. Например, можно использовать инструмент сканирования уязвимостей Liquid Web.
Если вы заказываете услуги управления сетью у стороннего провайдера, то ожидаете, что он будет следить за обновлениями и контролировать вашу систему. Даже если внутренний ИТ-отдел способен провести сканирование уязвимостей, у стороннего провайдера услуг больше времени и ресурсов для такого интенсивного процесса – сканирование уязвимостей требует большой пропускной способности и может оказаться довольно интенсивным. При обнаружении уязвимостей персонал обязан выяснить, как их устранить и соответствующим образом обезопасить сеть.
Уберите ботов из данных для аналитики
Многие владельцы сайтов используют аналитические данные с платформ вроде Google Analytics, чтобы лучше управлять потоками трафика на своих сайтах и разобраться, как оптимизировать свои страницы.
Простым аналитическим инструментам может оказаться сложно обнаружить бот-трафик при анализе данных, потому что роботы получают доступ к вашим страницам и исследуют их почти как люди. К счастью, Google постарался исправить это в своем последнем обновлении Google Analytics 4, который автоматически определяет трафик ботов и отфильтровывает их из доступных аналитических данных.
Автоматическое исключение недоступно в Universal Analytics (альтернативе Google Analytics), но посещения известных ботов можно отфильтровать вручную, чтобы искусственный трафик не влиял на ваши решения по сайту.
Роботизированный трафик не всегда приходит на сайт с намерением навредить, но часто может исказить ваше понимание количества посетителей на страницах. В результате неэффективные страницы, привлекающие больше посетителей-ботов, могут навсегда остаться такими.
Чтобы включить эту функцию, войдите в настройки Admin View и поставьте галочку на пункте Exclude all hits from known bots and spiders. Можно легко поставить галочку один раз и забыть об этой функции, которая гарантирует, что ваши посетители фильтруются на людей и ботов. Сама функция работает путем автоматического исключения трафика, указанного в Международном списке ботов от Бюро интерактивной рекламы (IAB). Некоторые боты, которые еще не попали в этот список, могут просочиться через фильтр, но это все равно действенное и простое решение для контроля качества показателей вашего сайта.
Еще один отличный аналитический инструмент – Finteza. Он может определять трафик ботов и классифицировать их по типу роботов (DDoS, спамер, анализатор или чистый трафик). Определение и классификация этих ботов может принести понимание того, откуда и для чего вредоносные пользователи приходят на ваш сайт.
Если вашему сайту не помогают изменения на основе анализа внутренних данных, возможно, стоит обратить внимание на более совершенные аналитические системы, чтобы понять, реален ли ваш трафик. Если вы начнете подстраивать свои страницы под запросы ботов, то это может привести к пустой трате ресурсов.
Защита от DDoS-атак
DDoS-ботнеты – одна из самых опасных форм бот-трафика. DDoS-ботнет – это группа подключенных к интернету устройств, зараженных вредоносным ПО и удаленно управляемых без ведома их владельцев. С точки зрения хакера, ботнет-устройства – это взаимосвязанные ресурсы, используемые практически для любых целей, но наиболее опасной из них является DDoS-атака.
Любое отдельное устройство ботнета может быть использовано несколькими злоумышленниками, каждый из которых задействует его для разных форм атак одновременно. Например, хакер может использовать компьютер, зараженный вредоносным ПО, чтобы получить быстрый доступ к сайту в рамках DDoS-атаки. Тем временем, фактический владелец компьютера может использовать его для онлайн-покупок, даже не подозревая о происходящем.
DDoS-атаки становятся все более частыми и могут нагружать сервер сайта запросами с целью сделать его полностью недоступным – это приводит к значительным простоям и потере конверсий для коммерческих сайтов.
К счастью, в сети можно найти защиту от DDoS-атак – например, Liquid Web предлагает различные уровни защиты от DDoS-атак в зависимости от ваших потребностей.
Имейте в виду потенциальных злоумышленников
Многие владельцы сайтов предпочитают использовать ПО, чтобы защитить сайт от вредоносных программ и вирусов, но такой подход не всегда может обеспечить защиту от неопознанных угроз, которые могут проникнуть в вашу систему. Чтобы полностью защитить свои серверы от плохого трафика, важно рассмотреть возможность использования дополнительных возможностей — например, системы обнаружения вторжений.
ПО Threat Stack может собирать, отслеживать и анализировать телеметрию безопасности в серверных средах с целью обнаружения аномалий и оценки угроз.
Защитные меры также могут помочь компаниям соответствовать стандартам безопасности, в том числе требованиям PCI DSS, SOC 2 и HIPAA/HITECH.
Понимание бот-трафика для обеспечения безопасности и соответствия требованиям
Так как число плохих ботов увеличивается, компаниям необходимо уметь идентифицировать бот-трафик, чтобы лучше понимать свои показатели и предотвращать проникновение ботов в свои системы. При правильном соблюдении нормативных требований можно избежать разрушительных угроз и злонамеренных действий киберпреступников.
Ваш сайт должен быть вашей гордостью и радостью, и вы можете быть уверены, что не потеряете над ним контроль, если примете нужные меры.
Статьи по теме:
suare 15 Июня 2023
