[Big Data] Когда данные стали большими

отметили
34
человека
в архиве
[Big Data] Когда данные стали большими
«Возьмем не самого большого сотового оператора, с 50 миллионами абонентов, каждый из которых совершает несколько звонков в день. Сами по себе это данные небольшие, но если мы захотим сравнить каждого абонента с каждым, то для хранения такой матрицы потребуется приблизительно 10 петабайт, и это уже достаточно большая величина», — объясняет Юрий Чехович, генеральный директор компании «Форексис».

«Революционного скачка в технологиях хранения и обработки не произошло, — продолжает Юрий Чехович. — Шло их эволюционное развитие и наращивание мощностей. И в этом смысле Big Data — прежде всего маркетинговый ход разработчиков, продвигающих свою продукцию. Стоимость сбора данных как минимум на порядок превышает стоимость анализа. Поэтому ограничителем роста data science, по крайней мере в ближайшее время, будут источники данных, а не возможности их анализа».

В основе информационного взрыва лежит цифровизация нашей жизни. Практически все документы создаются в электронном виде, число цифровых камер давно превысило число аналоговых, движение почти каждого из нас можно отследить по GPS, а слово «игры» уже мало ассоциируется с чем-то настольным.

По данным Cisco, только мобильный трафик данных в мире к концу 2012 года достиг 885 петабайт в месяц, а к 2016-му ежегодный объем глобального IP-трафика составит 1,3 зеттабайта (один зеттабайт равен триллиону гигабайт). К 2016 году каждую секунду через интернет будет передаваться столько видеоматериалов, что их просмотр занял бы 1,2 миллиона минут, или 833 дня.

По прогнозам IDC, объемы информации будут удваиваться каждые два года в течение следующих восьми лет. Один из основных факторов этого роста — увеличение доли автоматически генерируемых данных: с 11% их общего объема в 2005 году до более чем 40% в 2020-м. При этом используется лишь менее 3% из 23% потенциально полезных данных. К 2020 году общий объем цифровых данных достигнет 40 зеттабайт. Для понимания масштаба: если записать 40 зеттабайт данных на самые емкие современные диски Blue-ray, общий вес дисков без упаковки будет равен весу 424 авианосцев.

Подводная часть айсберга — бум производства датчиков и сенсоров: от носимых кардиодатчиков до систем контроля трубопроводов, от бытовых сигнализаций до орбитальных телескопов. В 2015 году планируется запустить радиотелескоп SKA с площадью антенн один квадратный километр, с которых будет передаваться сигнал со скоростью несколько петабайт в секунду, что на два порядка больше нынешнего трафика глобального интернета.

Работа с данными велась всегда, но сейчас можно говорить о переходе количества в качество. Сравнительно недавно появилось умение понимать, осмысливать данные и принимать решения на их основе.

Термин Big Data появился несколько лет назад. Им обозначают работу с данными, соответствующими трем непривычно большим V: Variety, Velocity, Volume, то есть структурированными и неструктурированными, с высокой скоростью поступления и обработки и больших объемов.
Добавил suare suare 15 Мая 2013
Комментарии участников:
suare
+1
suare, 15 Мая 2013 , url
источник: expert.ru
источник: expert.ru
de3c984b
+4
de3c984b, 15 Мая 2013 , url
«Возьмем не самого большого сотового оператора, с 50 миллионами абонентов, каждый из которых совершает несколько звонков в день. Сами по себе это данные небольшие, но если мы захотим сравнить каждого абонента с каждым, то для хранения такой матрицы потребуется приблизительно 10 петабайт, и это уже достаточно большая величина», — объясняет Юрий Чехович, генеральный директор компании «Форексис».
Очень сомневаюсь, что так кто-то делает, квадратичная сложность на таких данных смерти подобна, от неё почти всегда избавляются, для этого придумано множество алгоритмов. Никто не сравнивает попарно всех пользователей, их кластеризуют и классифицируют.
suare
-1
suare, 15 Мая 2013 , url
Вы правы (см. ссылку ниже). Материал по ссылке на статью очень большой для новости, но мне показалось, что намечается тема по big data и data science. Не мог отказать себе в удовольствии даже понимая, что материал не топовый. Надеюсь сформировать (кластеризовать) хотя бы небольшую группу по интересам вокруг подобных материалов.
Data science — это наука о работе с данными, умении вытягивать из больших объемов информации не просто тренды, а их объяснение и обоснование возможных решений».

«Научные задачи, которые data science ставит перед математикой, лежат скорее в инженерной сфере. Это связано с тем, что при работе с большими данными мы вынуждены отказываться от большого числа методов, которые перестают удовлетворять нас по скорости работы.

Например, приходится отказываться от квадратичных методов, от линейного поиска.

Взамен приходится идти на различного рода ухищрения и компромиссы. Изобретаются приближенные методы, которые не дают абсолютно точных результатов с научной точки зрения, но достаточные по качеству с точки зрения бизнеса», — считает Юрий Чехович.

И это приносит свои плоды: например, после внедрения на «Балтике» решения по оптимизации управления цепочками поставок, позволяющего обрабатывать по 90 тыс. прогнозов в час, один человек стал справляться с объемом работ, который раньше выполнялся 30 сотрудниками, при этом точность прогнозирования возросла на 18,6%.

В работе с большими данными используется кластеризация — выделение однородных групп элементов, например потребительских сегментов или клиентов банков с нетипичным поведением, что сигнализирует о повышенном риске мошенничества. Оценки корреляций позволяют вычленить взаимосвязи между различными процессами — скажем, спросом на подгузники и сейсмической активностью.

Экстраполяция и регрессионные методы используют для формирования прогнозов. Контент-анализ для вычленения интересов объектов наблюдения: например, при росте числа поисковых запросов на определенную марку автомобиля можно скорректировать производственные планы, а в ответ на поиск рецепта сборки бомбы в скороварке рекомендовать ассортимент подходящей посуды.

Работа с большими данными востребована в бизнесе для анализа поведения клиентов, автоматизации принятия решений в режиме реального времени, оптимизации запасов, оценки рисков, построения прогнозов рынка.

Если проблемы скорости и объема данных решаются прежде всего техническими методами, то анализ неструктурированных данных и их применение в бизнес-практике — задача уже интеллектуальная.

Прежде компаниям приходилось иметь дело лишь с четко структурированными данными своей финансовой отчетности и такими же сведениями о клиентах и поставщиках. Теперь значительная часть представлена в форматах, мало соответствующих привычным форматам корпоративных баз данных, — это страницы в социальных сетях, видеозаписи, веб-журналы, логи многочисленных устройств, геолокационные данные. Но именно из них можно извлечь дополнительную информацию для принятия решений: если анкета заемщика кажется идеальной, но контент-анализ его поведения в интернете установил, что он с вероятностью 95% является неимущим, — это повод пересмотреть риски.

Подобные технологии намного эффективнее, чем может показаться на первый взгляд. В марте были опубликованы результаты работы алгоритма, характеризующего пользователей Facebook по оставляемым ими лайкам. Расовая принадлежность была угадана в 95% случаев, пол — в 93%, политические взгляды (демократ или республиканец) — в 85%, гомосексуальность — в 88%, религиозные убеждения — в 82%, наличие отношений — в 67%. При этом анализ ведется не по очевидным лайкам-маркерам, а по большим объемам менее информативных, но более популярных лайков. Например, гомосексуальность коррелирует с лайками Бритни Спирс и сериалу «Отчаянные домохозяйки», высокий IQ — с фильмом «Властелин колец» и музыкой Моцарта, а одиночество — с Марией Шараповой.

Data science требует видеть в данных отображение реальных процессов и уметь вычленять закономерности. Например, при панике, связанной с птичьим гриппом, карту его распространения построила компания Google, весьма далекая от медицины. Она обработала данные запросов о симптомах на разных стадиях развития болезни, что помогло ответить на вопросы, когда, где и в каком количестве люди заболеют.
Barban
+1
Barban, 15 Мая 2013 , url
Надо учиться отделять важное от второстепенного (и вообще мусора)
efys
0
efys, 15 Мая 2013 , url
Статью не читал, но подозреваю что автор восхитился выступлением одного из директоров ЦРУ.
jaik
0
jaik, 15 Мая 2013 , url
Завтра как раз поеду на конференцию Яндекса по подобной тематике. Интересно ж. :)


Войдите или станьте участником, чтобы комментировать