|
Big Data – технология, рождающая новый тип бизнеса
Главная /
Архив номеров / 2014 / Выпуск №3 (36) / Big Data – технология, рождающая новый тип бизнеса
Рубрика:
Тема номера /
Системы хранения и обработки данных (СХД и ЦОД)
Facebook
Мой мир
Вконтакте
Одноклассники
Google+
Игорь Савчук, работает в CoreLink Datacenter. Программист с 12-летним стажем. Автор более 200 опубликованных в печатной прессе статей по ИТ-тематике
Big Data – технология,
рождающая новый тип бизнеса
Еще относительно недавно технологии, традиционно связанные с Big Data, относились исключительно к узкоспециализированным областям ИТ и прочно ассоциировались с высоконагруженными интернет-проектами (HiLoad)
Бурное развитие Интернета и социальных сервисов подстегивало интернет-индустрию к поиску и разработке актуальных информационных решений, способных в режиме реального времени переваривать лавину входящей информации. По мере роста аудитории популярных интернет-проектов счет накапливаемой и обрабатываемой информации уже пошел на экзабайты.
Однако относительно недавно ситуация стала стремительно меняться, когда на рубеже 2012-2013 годов наука и бизнес, также столкнувшиеся с болезненным «информационным удушьем», вдруг осознали, что существуют готовые подходы и инструменты, пригодные для решения аналогичных информационных проблем.
Чтобы показать всю остроту вызова, приведу следующую цифру: согласно оценкам экспертов, в 2013 году информационные системы мира генерировали ежемесячно порядка четырех экзабайтов новых данных. Таким образом, наработки Big Data из мира ИТ стали все более широко проникать в традиционный бизнес, науку и промышленность, попутно порождая довольно неожиданные побочные эффекты.
Для лучшей иллюстрации этого «трансграничного» перехода приведем лишь несколько свежих примеров.
«Большие данные» сегодня
Совсем недавно корпорация IBM начала активные продажи собственных ИТ-систем для прогнозирования поломок горнодобывающего оборудования. Новый продукт в реальном времени через сеть сенсоров, встроенных в функционирующие машины, анализирует их работу, при этом сопоставляя поток данных с обширной базой данных предыдущих поломок.
Перманентный сбор и анализ информации позволяет на ранней стадии замечать в показаниях сенсоров любые отклонения и аномалии, выявлять скрытые закономерности, указывающие на высокий риск выхода из строя тех или иных компонент. Таким образом, это решение IBM позволяет программно предсказывать и вовремя выявлять самые разные опасные ситуации при каждодневной работе оборудования.
Интересно, что база данных подобного предприятия будет самостоятельно пополняться, что позволит системе самообучаться, делая ее все более точной и резистентной к конкретным условиям эксплуатации оборудования. В сумме это даст весьма ощутимую экономию на энергии, амортизации оборудования и устранит незапланированные простои из-за поломок и ремонта.
Сейчас любая поломка этого дорогого оборудования является одной из самых актуальных проблем горнодобывающих компаний. По прогнозам независимых экспертов это внедрение поможет сэкономить буквально миллиарды долларов в год. Так, сразу после выхода решения на рынок компания Thiess, один из крупнейших горнодобывающих игроков мира, объявила, что собирается использовать данную предикативную аналитику и статистическое моделирование от IBM на своих машинах.
Но подобное применение Big Data хотя бы очевидно и понятно. В последние годы начинает проявляться принципиально новый эффект от массового применения этого подхода в обработке данных. Для его иллюстрации приведу еще один пример – компанию Xegis Solutions, которая недавно закончила свои исследования в области боеготовности американской армии. Эти ученые по заказу Министерства обороны США искали скрытые корреляции между боеготовностью армии и тысячей других факторов, где в качестве исходных данных использовалась огромная статистика, накопленная во время недавних боевых действий.
 |
| Big Data на примере USA Special Forces показывает: хочешь остаться в живых в военном конфликте – носи бороду |
Помимо всех прочих полученных выводов, специалистов поразило то, что была обнаружена прямая корреляция между наличием бороды и ощутимо меньшей вероятностью получения ранений или возникновения других опасных инцидентов. Джонатон Бернс (Jonathon Burns), один из кураторов проекта, рассказывает подробности:
«Чтобы как-то перепроверить этот странный результат, нами была проведена отдельная контрольная выборка на базе данных по спецназу США (USA Special Forces), который принимал активное участие в огромном количестве боестолкновений в Афганистане. Результат проверки вновь однозначно подтверждает – среди американских бойцов, которые постоянно носили бороду, нет ни одного убитого, они получали наиболее легкие ранения и повреждения. С гладко выбритыми воинами, наоборот, различные неприятные инциденты приключались куда чаще, чем это допускает теория вероятностей».
И пока ученые, к которым обратились за комментариями военные, беспомощно разводят руками, выдвигая туманные версии, связанные с уровнем тестостерона в крови, американские военные всерьез намерены использовать эту эмпирически открытую закономерность. Джеймс Матис (James Mattis), глава Центральным командованием вооруженных сил США (CENTCOM), в своем интервью заявил, что совсем скоро армейский устав США станет поощрять ношение бойцами усов и бороды. Генерал также заметил, что это будет также рекомендовано всем женщинам-военнослужащим, «если они, конечно, будут в состоянии это соблюсти».
Big Data: заглянуть в неизвестность
Пару месяцев назад в США вышла книга «How Am I Doing? A Big Data approach to life», где рассматриваются буквально сотни подобных исследований. И если в случае с горным оборудованием «большие данные» резко повышают качество эксплуатации инфраструктуры, то сложные современные модели Big Data все чаще выявляют некие на первый взгляд иррационально-фантастические зависимости, позволяя заглядывать далеко за пределы известной научной картины мира.
В связи с этим автор упомянутой книги называет Big Data «новой астрологией XXI века». И это результат плавного перехода от количества информации к его качеству, когда машины становятся способными выявлять принципиально новые ранее недоступные для ограниченного осознания человека зависимости.
Сегодня Big Data более всего востребована, конечно, в торговле и бизнесе. Например, еще вчера эта технология плотно применялась в рекламной сети Google Adsense, существенно повышая эффективность ротации рекламы. Сегодня эти же наработки вышли полностью в оффлайн.
Так, фирма Objective Logistics из Бостона собирает и анализирует информацию о продажах непосредственно с торговых POS-систем своих многочисленных клиентов-магазинов. Через каждую POS-систему в среднем проводится от 3 до 15 миллионов транзакций в месяц, что генерирует поток около 8 гигабайт. Таких систем и клиентов у компании – тысячи.
Эта модель с очень высокой степенью вероятности предсказывает, что купит клиент вместе с каждым отдельным товаром, она также вычисляет популярность отдельных товаров, давая возможность логистике подстраиваться под всплески спроса, что в свою очередь позволяет зарабатывать дополнительные деньги.
Как вам, например, такая железная закономерность: во время непогоды эта компания фиксирует отчетливый всплеск отдачи (ROI) от рекламы, что помогает привлекать новых клиентов.
Не только бизнес
Big Data позволяет зарабатывать не только дополнительные деньги, но активно применяется для более эффективного управления обществом.
Например, в США уже третий год используется так называемая Predictive Policing. Это специализированная компьютерная система полиции США, разработанная на принципах анализа «больших данных», которая помогает предсказывать время всплесков преступлений, а также конкретные области их эскалации. У такого подхода есть вполне конкретные результаты – в городах, где была внедрена данная система, уже зафиксирован заметный спад преступности. Например, в Санта-Крус количество арестов увеличилось на 55%, а количество краж и угонов автомобилей упало на 10-15%.
Безусловно, предсказательные способности Big Data обладают впечатляющими возможностями. Например, после оглашения участников последнего музыкального конкурса Евровидение (до его начала) исследовательское подразделение Microsoft Research решило размяться и показать, на что оно способно. Был задействован огромный массив исторических данных всех прошлых конкурсов, после чего компьютер определил будущего победителя этого музыкального конкурса. Microsoft Research назвало певицу из Дании, которая продемонстрировала самую высокую вероятность в рамках построенной модели – 41%. Как можно узнать из СМИ, в итоге победителем Евровидения действительно стала представительница Дании.
Практически аналогичную рекламную акцию недавно провела и американская компания Farsite, которая решила «поиграть мускулами» накануне вручения кинопремии «Оскар» за 2014 год. Анализ был проведен на основе массива данных, подготовленного на историческом срезе 40 последних лет американской киноиндустрии, статистике вручения различных кинонаград, частоты цитирования актеров/фильмов в прессе. Как результат – точное попадание в цель для всех номинаций. Как шутят киноэксперты, «сам «Оскар» можно было и не проводить, сэкономив деньги на организации и голосовании».
Так что же такое Big Data сегодня?
Самое время задать этот уместный вопрос, потому как приведенные примеры свидетельствуют, что «большие данные» уже давно вышли за узкие рамки первоначальных ИТ, баз данных и социальных сетей, приобретая чрезвычайно широкий спектр применений. В силу подобной сверхдинамичности развития дать определение термину Big Data сегодня не так-то просто, но именно это и нужно сделать, чтобы увидеть, куда все движется.
Во-первых, попробуем уточнить описательную категорию «больших данных». Если в конце 90-х под Big Data однозначно понимался определенный стэк технологий (олимп которых, вне всяких сомнений, занимал Apache Hadoop), то сегодня это скорее особый подход – идеология процессинга информации, применяемая для обработки больших массивов «сырых» данных.
Во-вторых, важно до конца понять значимость описанного фазового перехода. Если раньше это были просто вычислительные методы, позволявшие «прожевать» нечеловеческие объемы входящих данных, то теперь – сложный самообучающийся алгоритм, который в идеале позволяет не только эффективно «отжать», например, некую предикативную информацию, но и способен самостоятельно усложняться и самосовершенствоваться. После такого качественного скачка инструменты, созданные на базе этих технологий, становятся общими и универсальными, выходя в оффлайн, проникая далеко за пределы Интернета.
Рисунок 1. Аналитики агентства IDC обещают, что «большие данные» дадут огромные прибыли
Этот переток к все большей универсализации и коммерсализации лишь набирает обороты. Еще вчера разработчики известных интернет-решений в области Big Data получали приглашения на работу в крупные ИТ-компании, в частности, в SAP. И вот уже сегодня тот же SAP ведет переговоры о заключении контракта с национальной сборной по футболу Германии, предлагая им уникальные услуги от своей новейшей платформы с несколько зловещим для русского уха названием «HANA».
Это решение, построенное на общих принципах «больших данных», способно существенно увеличивать эффективность игры футбольной команды, тщательно анализируя поведение игроков. На тренировках игроки надевают специальные сенсоры, фиксирующие их перемещения по полю, специфику совместной игры друг с другом, огромное множество других параметров. Их мяч также оборудован датчиками. Всего за стандартный матч генерируется около 100 Гб выходных данных, которые подвергаются глубокому анализу в режиме реального времени.
По сообщению генерального директора SAP Джима Хагеманна Снабе, главная цель этой системы вовсе не в предсказании результатов матчей, но в качественном улучшение игры команды. Как подытожил он в завершении: «То же самое можно сказать и о бизнесе – если полагаться на интуицию, а не на факты, часто можно придти к неверным выводам относительно неочевидной эффективности тех или иных подходов».
Вместе с радикальным расширением сферы применения появляется положительная обратная связь – новые потребности и вызовы заставляют поступательно расти Big Data, расширяя свои метрики и максимально обобщая свой методологический аппарат.
Так, еще в конце 90-х Big Data обычно сводилась к классической формуле «3 V», которая, напомню, складывается из следующих метрик-компонент:
- Volume (большие по размеру данные);
- Variety (слабо структурированные и разнородные данные)
- Velocity (оперативность, скорость обработки данных).
Но по мере повышения точности и универсальности системы, в качестве типичных характеристик «больших данных» были дополнительно сформулированы следующие четыре новых измерения:
- Value (степень важности или влиятельности информации);
- Veracity (степень достоверности данных);
- Variability/Variance (характеристика естественной волатильности данных);
- Viability (фундаментальность или долговечность параметров).
Глубокая оптимизация сложных оффлайн-систем – это конек «больших данных», который еще только предстоит оседлать массовому бизнесу. Не нужно думать, что это некая отдаленная и туманная перспектива для отечественного рынка.
Недавно консалтинговая компания Molten в своем новом докладе очертила «непаханое поле» для оптимизации в нефтегазовой отрасли, потенциал которой наиболее высок именно для России. Эта компания утверждает, что использование аналитики Big Data для контроля и управления своими процессами даст данной отрасли миллиарды сэкономленных долларов.
Рисунок 2. Структура облачно-ориентированного рынка «больших данных»
Аналитическая компания также указывает на устоявшийся интересный перекос: многие мировые энергетические компании уже собирают и накапливают статистическую информацию, расходуя на это сотни миллионов долларов. При этом на саму обработку и анализ данных тратится всего лишь 1% от выделенных сумм. Естественно, при таком положении дел в сегодняшней нефтегазовой промышленности настоящий эффект от Big Data практически отсутствует…
Последний парадоксальный факт обнажает главную проблему текущего состояния Big Data, ее самое узкое место.
Кадры: проблема быстрого роста
Чтобы выделить это «узкое горлышко», напомню суть подхода Big Data. Говоря о «больших данных» в самом общем виде, мы имеем в виду три важнейших этапа развертывания.
Начать нужно со сбора массива данных об интересующих процессах, затем требуются вычислительные мощности, которые позволят хранить и оперативно их обрабатывать. И, наконец, главное – самообучающийся алгоритм (Сендхил Муллайнатан называет его «индуктивным научным методом»), который в итоге и находит те самые «контекстные ассоциации», что впоследствии становятся «горсткой бесценного золота», бережно намытого из гор накопленного песка.
Несмотря на то что описанная трехуровневая последовательность в общем виде остается без существенных изменений, качественно изменяется вектор развития «больших данных»: агрессивный вычислительный bruteforce на последнем этапе все больше уступает место более интеллектуальному «майнингу» на стыке кибернетики и искусственного интеллекта.
И если с первыми двумя этапами все относительно понятно (ибо эта традиционная составляющая ИКТ-отрасли растет семимильными шагами), то вот с самым ценным – алгоритмами или «софт-начинкой» – сложилась достаточно напряженная ситуация.
На рынке пока мало стандартных и универсальных решений, большинство вышеприведенных примеров-решений – это результат «ручной доводки» команд из привлеченных экспертов.
Разрабатывать же своими силами по-настоящему современные и инновационные системы, организовывать анализ и добычу столь вожделенных «малых данных» (small data) пока мало кому под силу.
Для создания или адаптации решений по конкретной отрасли и предприятию остро не хватает экспертов и доступных ресурсов. С этим связаны перекосы, типичный вариант которых и привела компания Molten на примере мирового нефтегазового комплекса.
Семь актуальных прогнозов по Big Data
Подошло время обобщить все сказанное и сделать соответствующие выводы, сведя все воедино, опираясь при этом на прогнозы известных аналитических агентств мира.
Далее выделим семь главных трендов, которые проявятся в индустрии «больших данных» в самые ближайшие годы.
1. Большие индустриальные данные
Недавний отчет от GE reports, в котором специалисты попытались максимально корректно оценить масштабы и основные направления роста индустрии «больших данных», начинается со следующего важного прогноза.
По самым реалистичным и осторожным прикидкам получается, что в 2020 году как минимум 40% всех новых данных в мире будет генерироваться промышленными датчиками/сенсорами. Это «море информации» создаст новый рынок обработки данных порядка 1 трлн долларов (на 2015 год этот рынок предсказывается в 120 млрд долларов).
Постоянно извлекаемые «малые данные» (small data) вкупе с предстоящей тотальной автоматизацией и роботизацией промышленности, по мнению GE reports, драматически изменят структуру бизнеса, перестроив и оптимизировав все его звенья, выявив пока неизвестные новые факторы роста.
Эта аналитическая компания называет ближайшие годы поворотными на данном пути, а предстоящую «эру тотальных данных и всеобщей обратной связи» предлагает называть «индустриальный Интернет».
2. Сращивание облаков и «больших данных»
Как уже было отмечено, количество накапливаемой информации нарастает гораздо быстрее, чем инструментальные возможности по их обработке. Это обуславливает сращивание смежных технологий для более эффективного решения возникающих при этом проблем.
Именно потому в ближайшие годы аналитиками предсказывается симбиоз разных сервисов по обработке «больших данных», и большинство из них будет представлено в виде Big-Data-as-a-Service. Облачные технологии станут важной составляющей всех будущих BDaaS-сервисов (см. рис. 2).
Уже сейчас рынок требует больше Big Data-инструментов, всяких и разных, устойчивых к нагрузкам и доступных везде – агентства IDC и IIA формализируют этот тренд как «аналитику в облаке, доступную под ключ» (ready-made analytics in the cloud).
Если сейчас о стратегии «больших данных в облаке» задумываются в основном крупные и отчасти средние компании, то по мере развития тренда сторонние решения станут финансово доступны для всего малого и среднего бизнеса. IDC утверждает, что 2014 год станет поворотным в этом тренде, после чего подобные универсальные сервисы начнут появляться как грибы после дождя.
3. Эпоха смешанных данных
Предыдущий пункт выражает более общий и глубинный тренд – конвергенцию граничных областей. Сливаться воедино будут не только смежные технологии, которые синергетически дополняют друг друга, но и различные базы данных в рамках соседних отраслей.
Эксперты, в частности, констатируют, что не у всех молодых компаний, выходящих на рынок, изначально будет достаточно большой набор собственных данных, который бы позволял извлекать какую-то существенную пользу из технологии Big Data.
В то же время на рынке уже сейчас есть предложения по доступу к чужим массивам пользовательских данных, и количество подобных предложений будет увеличиваться лавинообразно. Поэтому специалисты прогнозируют интересное сочетание собственных небольших баз в связке со сторонними массивами информации, по которым можно будет уточнять сведения о своих клиентах.
Этот подход подобен Интернету, когда сегодняшнему школьнику не нужно знать все о мире, достаточно суметь сформулировать правильные ключевые слова для поиска, чтобы посредством целевых запросов получить из внешних ресурсов исчерпывающий ответ.
В связи с этим IDC предсказывает в 2014 году начало эпохи «смешанных данных» (mixed data), где корпоративные базы будут связаны с внешними коммерческими еще более грандиозными по размерам массивами данных.
4. Настоящая персонализация
Следствием широкого распространения технологий на базе «больших данных» станет появление настоящей, практически идеальной персонализации. Речь идет не только об интернет-проектах, но и об обычной торговле.
Большое количество западных ритейлеров годами накапливали гигабайты торговых операций своих покупателей, идентифицировать и отследить которых достаточно легко по их кредитным картам. Вкусы и предпочтения клиентов легко предсказать на основе всего доступного вала данных, что в ближайшие годы приведет к принципиально новым персонализированным стратегиям торговли.
Так, уже существующие статистические модели показывают, что к любой покупке система способна подобрать дополнительные торговые позиции, вероятность покупки которых у данного конкретного клиента будет достигать 90-95% процентов.
5. Новый уровень безопасности
Чем больше предприятие или государственная структура, тем сложнее уследить за организационными и техническими процессами. До сих пор это правило было справедливо, но в ближайшие годы многое изменится, когда в эту сверхактуальную ныне сферу придут технологии «больших данных».
Недавно аналитики Gartner сообщили, что грамотное внедрение решений Big Data поможет предотвращать большую часть мошенничеств в банковской сфере. Анализ Gartner показал, что как минимум 50-60% зафиксированных инцидентов за прошлый год прекрасно выявляются посредством стандартных методов Big Data.
Именно модель «больших данных» позволяет реализовать многие эффективные методы мониторинга. Например, очень многообещающую непрерывную поведенческую идентификацию, которая фиксирует и анализирует тысячу факторов поведения клиентов на протяжении длительного времени. Фактически это альтернативное применение той же продвинутой персонализации.
Внедрение подобных решений предсказывается не только в бизнесе и банковской сфере, но и в государственных структурах. Например, недавний доклад компании MeriTalk «Уравнение Big Data» с аналитикой всех последних взломов и утечек, главным будущим приоритетом называет внедрение систем непрерывного мониторинга.
Еще до эпохи Big Data прототип подобных систем называли Security Incident and EventManagement (SIEM). Все нынешние системы класса Security Intellegence в том или ином усеченном виде также используют элементы Big Data.
Но эксперты из MeriTalk предсказывают большее – скрещивание классических систем безопасности и полномасштабных аналитик на базе «больших данных». Как видим, и тут намечается уже упомянутая конвергенция с эпицентром из технологий Big Data.
6. Новому тренду новая должность
В конце прошлого года Gartner опубликовала прогноз, согласно которому в 2015 году треть ведущих мировых компаний введет должность директора данных (CDO, Chief Data Officer).
Чаще всего CDO – вовсе не классический компьютерщик, его задача – анализ подготовленных данных, экономические и маркетинговые выводы, а также формирование новых стратегий.
Это направление будет постепенно все дальше уходить от ИТ в сторону специализированной обработки и анализа бизнес-данных, все больше выделяясь в автономное направление по мере развития вспомогательного инструментария и методологии (по своему образованию CDO больше тяготеет к нынешней специальности «прикладная информатика в экономике», чем к классическим специальностям по ИКТ, которые, как правило, курируют CIO или CTO).
7. Большие данные в образовании и медицине
И, наконец, среди всех возможных направлений роста наиболее выделяются аналитакми образование и медицина, где относительно небольшие инвестиции в «большие данные» уже сейчас начинают давать весьма ощутимую отдачу.
По мнению ряда экспертов, массовое внедрение BG в этих отраслях может в кратчайшие сроки ощутимо повысить уровень качества жизни людей. Например, как утверждают авторы недавнего исследования Калифорнийского университета (UCLA), простой анализ данных публикуемых в соцсетях позволяет предсказывать всплески поведения, провоцирующего ВИЧ, что дает возможность подготовиться или как-то демпфировать последствия для конкретного региона мира.
***
Как бы вы лично ни относились к «большим данным», неоспоримым фактом остается то, что объемы информации стремительно растут (примерно на 40% ежегодно). Значительная часть сохраняемой в мире информации никак не структурирована, то есть плохо пригодна для исследования и применения.
Big Data – тот самый волшебный инструмент, который позволяет адаптироваться к этой лавине фактов, не только не пострадав от информационного наводнения, но и извлекая важнейшие конкурентные преимущества. В пределе это порождает так называемый Big Data driven business – любой успешный в будущем бизнес просто обречен стать именно таким. В начало⇑
Facebook
Мой мир
Вконтакте
Одноклассники
Google+
Комментарии отсутствуют
Комментарии могут отставлять только зарегистрированные пользователи
|
_cover.jpg)
_cover.jpg)
_cover.jpg)
_cover.jpg)
