показать все 

1. Как аналитика Big Data может помочь в задачах ИБ и управления ИТ?
2. Как вы можете оценить внедрение Big Data, каков экономический эффект от внедрения?
3. Бизнес в эпоху Big Data – стало проще и легче или наоборот?
4. Какие инструменты предлагает Big Data для создания клиентоориентированного бизнеса?
5. Возможно ли сделать Большие данные быстрыми?

По статистике 93% руководителей компаний считают, что они упустили возможности роста из-за неготовности использовать данные. О Больших данных сказано уже очень многое, но для компаний остается неясным момент перехода. Как понять, нужно ли использовать инструменты Big Data уже сегодня, готова ли инфраструктура и сами данные к работе?

На вопросы «БИТа» отвечают эксперты ведущих ИТ-компаний

Инсар Мухамеджанов, ведущий аналитик компании Plamee (Международный разработчик free-2-play игр. Дочерняя компания корпорации Playtech)

1. Сейчас, когда стоимость хранения информации стала относительно дешевой и доступной любому, даже небольшому, бизнесу, конкурентное преимущество получают те компании, которые этот массив информации могут качественно собрать, обработать и извлечь из этого выгоду.

В задачах информационной безопасности технологии Big Data могут использоваться, например, для анализа и интерпретации данных, поступающих с различных систем защиты компании, позволяя быстрее и эффективнее противодействовать атакам и угрозам в киберпространстве.

2. Вообще игровые компании, особенно работающие в freemium-сегменте, стоят на фронтире применения технологий Big Data. Этому способствует простота доставки контента (благодаря чему игры собирают гигантское количество пользователей), технологичность, высокая конкуренция в сегменте.

Мы очень внимательно следим за всеми новыми технологиями в этой области, постоянно ищем что-то новое и стараемся применить в нашей системе. Поэтому говорить о полноценном внедрении еще рано. Тем не менее уже сейчас можно сделать вывод, что имеющиеся у нас технологии оказывают значительное влияние на развитие компании, постоянное улучшение качества наших игр и повышение маржи.

3. Стало интереснее. У компаний появилась еще одно направление конкуренции, позволяющее более мелким, но более «умным» и технологичным бизнесам совершать прорыв и опережать конкурентов. При этом применение технологий Big Data рождает ряд сложностей (инфраструктурных, технологических, финансовых), главной из которых остается нехватка специалистов в этой сфере на рынке труда.

4. Трудно выделить какой-то конкретный инструмент, так как вся суть применения этих технологий предполагает индивидуальный подход к каждому клиенту. При этом за сбор, обработку, анализ и выработку предложений отвечает определенный алгоритм, который на основе собранных данных создает предложение, наиболее ценное для конкретного клиента.

5. Можно. Быстрота – понятие относительное. Все зависит от задач и потребностей вашего бизнеса, обработка гигантских массивов данных за миллисекунды нужна далеко не всем. При этом такие технологии Big Data есть –вопрос лишь в стоимости и сложности внедрения.

3. Системы Больших данных обычно используются как основа для систем «искусственного интеллекта» нового поколения, способности которых начинают поражать даже теоретиков науки (см. недавнее письмо ряда ученых подлидерством Стивена Хокинга об опасностях искусственного интеллекта).

Для корпоративных целей, конечно, речь не идет о «матрице», управляющей всем и вся, но об автоматизации очень большого количества задач, ранее доступных лишь для человеческого исполнения. Примером может быть составление Гуглом каталога всех адресов Франции на основании визуального распознавания адресных табличек на фотографиях, размещенных в сервисе Google.Earth. Еще несколько лет назад проект был бы нереализуем –выделить табличку в произвольном месте фотографии, в разных ракурсах и освещении машина была бы неспособна (в силу полного отсутствия строгих формальных критериев), а человеческое распознавание сделало бы проект нерентабельным.

Собственно, здесь мы и переходим к возможным бизнес-применениям: массовая обработка данных, требующая «человеческого взгляда» в силу отсутствия строгих формальных критериев анализа, со способностью самостоятельно обучаться и развиваться, в том числе с учетом сделанных ошибок.

Две наиболее широкие области: а) создание автоматизированных систем управления в рамках сложных распределенных сетей объектов, где Большие данные стремительно смыкаются с концепцией «Интернета вещей», и б) анализ поведения групп людей для целей маркетинга, развития продуктов, управления клиентским сервисом.

Иван Иашагашвили, генеральный управляющий компании Brocade в России и странах СНГ

1. Большие объемы данных (Big Data) могут быть использованы организациями для защиты от различных угроз. Необходимо учитывать, что этот подход работает только в том случае, если компании эффективно управляют потоками Больших данных и применяют аналитические инструменты.

Технология аналитики Больших данных может внести существенный вклад в усилия по обеспечению информационной безопасности в рамках фундаментального подхода. Стратегия должна включать в себя минимум четыре уровня информационной безопасности: информационное обеспечение; сетевые операции; полную осведомленность на 360° и прогнозирующую аналитику, которая позволит проактивно реагировать на существующие угрозы.

3. Бизнес вступил в период трансформации. Эксперты уже не просто говорят о потенциальных результатах, которые могут быть получены от использования технологий Больших данных (Big Data), но и видят реальные преимущества: увеличение прибыли, рост базы лояльных клиентов и повышение эффективности операционной деятельности.

Крупные компании все активнее инвестируют в аналитику Больших данных. Согласно исследованию, проведенному консалтинговой компанией Tata Consultancy Services (TCS), 53% из 1217 крупнейших мировых компаний втечение последнего года начали применять технологии Больших данных. Все эти компании убеждены в правильности своего решения, а 43% компаний прогнозируют (ROI-окупаемость) прибыль на инвестируемый капитал более 25%.

Наиболее активно переходят на использование технологии Big Data такие высококонкурентные отрасли, как сфера финансовых услуг и телекоммуникации. В течение последнего времени в сфере страховых услуг также наблюдался резкий скачок интереса к аналитике Big Data. Мир стремительно меняется, и даже сфера коммунальных услуг начинает пользоваться преимуществами, которые предоставляют новые возможности Интернета вещей (Internet of Things).

5. Инвестируя в платформу Big Data, вы заметите, как полностью поменяется содержание ваших разговоров о Больших данных. Вам не придется заниматься техническими вопросами (что выбрать, как строить, вопросы поддержки, доведения до готовности и т.п.), вы сможете сосредоточиться только на вопросах бизнеса – как использовать платформу для достижения своих целей.

Пример: технология аналитики Больших данных является ключевой стратегической инициативой Yahoo Japan. Hadoop используется для анализа огромного количества информации с портала Yahoo для повышения качества предоставляемых услуг, а также создания новых услуг. Hadoop используется как платформа поддержки электронной коммерции и генерирует персонализированные и ориентированные на интересы конкретного пользователя рекомендации по контенту.

3. Мне кажется, что Big Data пока являются головной болью для специалистов по информационной безопасности по той причине, что они (специалисты) не совсем осознают, как будет меняться спектр угроз для владельцев ипользователей этих данных.

Очевидно, что обработка больших объемов информации потребует больших скоростей, больших облачных хранилищ данных. К этому сейчас практически не готовы ни средства защиты ни, что вызывает более серьезные опасения, сами специалисты, у которых до сих пор нет ответов на вопросы о том, как обеспечивать безопасность критичных для компании данных в публичных облаках.

Существующие сегодня средства защиты скорее будут являться помехой, поскольку негативно скажутся как на скорости работы с данными, так и на усложненной схеме организации доступа к данным, хранящимся в облаках.

Но и это не главное. Перечисленное – это только технические аспекты. Главная опасность в том, что появляются новые возможности по анализу данных, новые векторы поиска информации, о которых раньше не догадывалисьили считали нереализуемыми. Особенно неприятно то, что большая часть информации уже стала потенциально доступной для подобного анализа, и изъять ее из оборота невозможно.

Пофантазируем: по анализу аккаунтов работников компании в социальных сетях и связи этих аккаунтов с различными интернет-сервисами (например, с возможностью регистрироваться где бы то ни было, выкладывать фотографии, которые, кстати, содержат гео-теги и т.п.) можно добыть много данных, пригодных для анализа.

Например, выявленные излюбленные места отдыха сотрудников и топ-менеджеров компаний в корреляции этих мест с местами отдыха некоторых чиновников и представителей других крупных коммерческих структур помогут сделать выводы о возможных коррупционных связях.

Как на ладони будут разложены предпочтения и сферы интереса того или иного человека, что позволит легче втираться к нему в доверие, проводить вербовку или использовать против него методы социальной инженерии. Можно сказать, что некоторое время нам еще нужно будет привыкать к этим реалиям и вырабатывать новые правила безопасной работы компаний и их ключевых сотрудников в сети Интернет в эпоху Big Data.

Роман Назаров, начальник отдела систем управления рисками компании «Информзащита»

1. Любое обсуждение Big Data принято начинать с вопроса: а что понимать под этим термином? Наиболее близкое определение к ИТ/ИБ: Big Data – неструктурированные данные, поступающие в большом объеме в единицу времени. В ИТ и ИБ областях на роль таких данных обычно претендуют журналы событий разнообразных систем как бизнес- приложений, инфраструктурных систем и средств защиты. Своевременный анализ таких журналов позволяет отслеживать состояние информационных систем, выявлять проблемы и злонамеренную активность.

В классическом сценарии единой точкой анализа таких журналов являются SIEM-системы. Но строгая детерминированность алгоритмов анализа, отсутствие механизмов самообучения и необходимость строгой нормализации данных ограничивают круг возможностей SIEM-систем. Как следствие, ограничены и способности к выявлению ими проблем, признаки которых так или иначе отличаются от заданных алгоритмов. Аналитика Big Data в первую очередь может помочь в решении именно этих задач.

Сейчас наиболее известных успехов анализ Big Data достиг в исследовании активности пользователей банковских систем для выявления мошеннических действий. Именно этот подход и стоит переносить в ИБ и ИТ, поменяв объект анализа c поведения пользователей ДБО на поведение пользователей корпоративной сети или активность хостов. Выявление поведения, похожего с определенной точностью на действия злоумышленника порасширяемому набору признаков среди большого объема информации, – то, на чем необходимо строить современные системы безопасности. Ярким примером служит задача анализа трафика для выявления среди всего потока составляющей DDoS-атаки, где уже давно не обходится без Big Data.

Вторым направлением, которое сейчас только осваивается игроками рынка, кроме выявления проблем, является их своевременное предсказание. Один из сценариев – «запись» состояния систем, выявление предаварийных состояний, анализ данных в режиме реального времени на соответствие таким предаварийным состояниям.

В целом ситуация с Big Data в ИБ и ИТ схожа с ситуацией в остальных областях – выгода ощутима, и она возрастает с увеличением количества анализируемой информации.

1. Аналитика больших данных помогла в обработке неструктурированных данных, что было практически невыполнимо при использовании традиционных подходов. Также методы обработки больших данных позволили экспертам по безопасности работать с большим количеством данных для получения ответов на запросы, значительно сокращая время обработки данных.

Однако мы должны быть осторожными и не злоупотреблять этими методами, расширяя количество ненужных источников данных для того, чтобы получить точные результаты. При наличии различных источников пользовательских данных стало проще идентифицировать пользователей и предоставить им более подходящие услуги без ущерба конфиденциальности. Подходы, используемые для больших данных, – не просто улучшенная версия традиционных подходов, это совершенно новые подходы. Любые новые идеи будущих методов работы с еще бОльшими массивами данных только приветствуются.

Алексей Моисеев, руководитель направления бизнес-аналитики управления сервисов компании Softline

2. Оценка экономического эффекта от внедрение Big Data столь же сложна, как и оценка экономического эффекта от промышленной электрогенерации на заре разработок Эдисона, Теслы, Вестингауза и др. Очень удачное сравнение опубликовала компания Oracle: Big Data – это «электричество XXI века». Big Data – это своего рода платформа и транспорт доставки ценности, заложенной в имеющемся массиве информации, накопленном иформируемом онлайн (веб, сеть офисов и POS, датчики MES-уровня автоматики и т.п.).

Экономический эффект Big Data является множителем, увеличивающим пользу от существующих процессов компании и ИТ-обеспечения бизнеса. Иногда при неправильном использовании эффект может быть отрицательным. Конкретные параметры эффективности зависят от каждой компании, зрелости ее аналитических департаментов, количественно-качественных характеристик информационных баз и потоков.

3. Прежде всего Big Data – это значительное технологическое усложнение существующих на рынке решений. Поэтому Big Data применяются там, где классические решения использовать либо невозможно, либо бессмысленно.

Big Data раскрывают потенциал компаний, позволяют выдерживать более высокую динамику работы, предлагать продукты и услуги, настолько близкие к клиенту, насколько это возможно (с учетом специфики деятельности компании и рынков ее присутствия).

Таким образом, стало не проще и не легче. Стало экономически оправданно переходить на более технологически сложные и дорогие решения.

4. Какие инструменты предлагают карандаш и лист бумаги для создания великих произведений? Какие инструменты предлагает знание русского языка для успешных переговоров?

Все это технологии, позволяющие обеспечить бизнес-процессы, снимающие технологические ограничения на успешность бизнеса.

Для малых и средних предприятий, для растущего бизнеса Big Data дают независимость от физических инфраструктур, офисов, освобождают от необходимости содержать собственные ИТ-департаменты, серверные комнаты иудовлетворять постоянные запросы ИТ-служб на новое оборудование взамен испорченного или устаревшего. Не в последнюю очередь – оптимизация инвестиций в рост, возможность перехода между провайдерами услуг Больших данных.

Для средних и крупных организаций Big Data – это фокус кардинального снижения затрат на ИТ за счет переноса сервисов (ИТ-служб, бухгалтерий, аудиторско-консалтинговых департаментов и т.п.) в общие центры обслуживания и обеспечения их достаточными программно-аппаратными ресурсами, аналитическими и интеграционными решениями.

5. Да. Но для этого недостаточно просто развернуть такое решение.

Результата можно добиться только в партнерстве с вендорами этих технологий. Для этого необходимо располагать достаточным количеством специалистов по инфраструктурным, телекоммуникационным и аналитическим решениям, а главное – развитой методологией их использования в рамках Big Data-проекта. Если собственных специалистов мало, можно обратиться к помощи ИТ-консультантов.

1. Big Data способствуют удешевлению хранения и обработки информации. Сотрудники, отвечающие за ИБ, вынуждены анализировать все больше и больше информации, расширяя количество источников и увеличивая временную глубину анализа, что, с одной стороны, ведет к росту загрузки вычислительных мощностей, а с другой, к лавинообразному росту объема хранимой информации. Кроме этого, задача часто формулируется «пойди туда– не знаю куда, принеси то – не знаю что». Для этих задач Big Data – идеальный механизм, заточенный под «творческие» задачи.

2. Экономический эффект от внедрения Big Data считается путем анализа роста оказанных услуг. Например, внедрение Big Data в банке привело к росту объема оказанных услуг на 2,8%, что увеличило чистую прибыль банка на0,9%. Учитывая, что это большой розничный банк, затраты на внедрение технологии окупились на первом же году использования.

3. Проще не стало, зато стало интереснее. В решении бизнес-задач появилось больше инженерной составляющей, требующей тесного сочетания бизнес-знания и инженерной мысли. Big Data дают возможность инновационным компаниям первыми открыть дверь в завтрашний день, первыми ощутить выгоды этого шага.

4. Big Data предлагают возможности взаимодействия с клиентом в режиме реального времени на основе анализа ранее накопленной информации; предлагают механизмы по снижению рисков и повышению управляемости бизнеса. Сейчас формируется новый рынок из компаний, которые, используя Большие данные, предоставляют услуги для клиентоориентированного бизнеса.

5. Данные нельзя сделать быстрыми. А получить результат в режиме реального времени путем использования Big Data – это уже не вчерашний, а сегодняшний день!

Оливье Кессон, директор по развитию бизнеса Orange Business Services в России и СНГ

1. По статистике 93% руководителей компаний считают, что они упустили возможности роста из-за неготовности использовать данные. По их оценке потеря 14% годовой выручки обусловлена такими упущенными возможностями. О Больших данных сказано уже очень многое, но для целого ряда компаний остается неясным момент перехода. Как понять, нужно ли использовать инструменты Big Data уже сегодня, готова ли инфраструктураи сами данные к работе? Чтобы ответить на эти вопросы, нужно тщательно изучить имеющиеся у компании активы.

Хотя правила игры в сфере накопления данных и их обмена еще формируются, сегодня уже всем стало ясно, что потребность в Big Data определяется не отдельными компаниями, а целой эпохой компьютерной отрасли. Количество данных, накопленных во всем мире, приблизилось к 300 экзабайт и продолжает расти приблизительно на 50% в год. Более того, аналитики IDC спрогнозировали увеличение объемов данных по всему миру до 35 000 экзабайт уже к 2020 году. Таким образом, компании, которые хотят преуспеть в таких условиях, просто обязаны адаптироваться к новой конъюнктуре рынка.

Чаще всего компании инвестируют в средства анализа Больших данных для повышения объемов продаж (15,2%), улучшения маркетингового взаимодействия (15%) и обслуживания клиентов (13,3%).

2. Чтобы начать эффективную работу с данными, необходимо выработать стратегию их получения, хранения и использования. Также следует изучить возможности сотрудничества с другими организациями, находя взаимовыгодные схемы взаимодействия в сфере обмена данными. Важное место в стратегии Big Data занимают перспективные источники данных. Среди них могут оказаться любые хранилища и сервисы, необрабатываемые данные с устройств, используемых компанией, и данные пользователей. Потенциальным источником данных может стать все что угодно, если предоставляемая информация позволит повысить ценность всего массива данныхдля бизнеса.

Наконец стратегически важно понять, какие задачи компания будет решать с помощью Больших данных, и какие сложности могут возникнуть у нее на пути. Речь идет о деловых, операционных, технологических и юридических препятствиях. Например, какие-то данные придется обезличить для обработки, а для других – запрашивать согласие пользователей и придумывать, как завоевать их доверие. Только после проведения этой исследовательской работы можно приступать к внедрению технологий Big Data.

1. Потребность в использовании Big Data для обеспечения ИБ и более эффективного управления ИТ назрела уже давно. Это связано с комплексностью самого вопроса: сценариев нарушений (как безопасности, так итехнологических) довольно много, они существенно отличаются друг от друга. Big Data как раз позволяют накапливать данные из множества источников, анализировать их, строить модели. Что, в свою очередь, дает бизнесу возможность как более эффективно использовать традиционные сценарии анализа, так и работать, например, с поведенческими факторами: выявлять отклонения поведения системы или даже сотрудника от обычной модели, чтоможет являться сигналом для служб ИТ и ИБ.

Я бы пошел дальше и сказал, что сегодня, в кризис, использование Big Data в вопросах обеспечения ИБ в крупных и средних компаниях (особенно финансового профиля) является обязательным условием выживания компаниина рынке. Замораживать бюджеты на ИБ или значительно урезать их – значит, ослаблять защиту компании, которая даже у крупного бизнеса может оказаться несовершенной. А ведь в условиях стагнации экономики криминальная составляющая в интернет-пространстве возрастает в несколько раз. Поэтому создавать своими руками ситуацию, которая может повлечь за собой массу негативных последствий для бизнеса, вплоть до его краха, я бы не советовал. Напротив, на ИБ и Big Data в ИБ нужно обратить самое пристальное внимание.

2. Как всегда, в вопросе оценки ROI при внедрении новых систем или технологий есть два ответа: простой и сложный. Простой заключается в том, что необходимо сравнивать прибыль компании до и после проекта заадекватный период времени. На практике все оказывается сложнее: например, для достижения эффекта от внедрения системы необходимы комплиментарные изменения бизнес-процессов компании, что усложняет оценку экономического эффекта от внедрения именно этой системы. При этом аналитики настроены оптимистично: так, McKinsey оценивает мировой экономический эффект от внедрения открытых данных (тесно связанных стехнологией Big Data) в $3-5 трлн в год.

3. Смотря в чем. Big Data, с одной стороны, вооружает бизнес мощными инструментами сбора данных и аналитики. Ценность для увеличения продаж за счет, например, их персонализации сложно будет переоценить вближайшие несколько лет. Как и ценность для более полной и четкой работы с клиентами. С другой стороны, «большие данные – большие проблемы». Так, например, по данным Accenture, более 50% опрошенных компаний привнедрении Big Data столкнулись с вопросами информационной безопасности, около 40% – с отсутствием подготовленных кадров, 35% – со сложностями при интеграции с существующими системами. И на все эти вопросы привнедрении Big Data я бы рекомендовал обратить крупным компаниям самое пристальное внимание, потому что все они пока еще далеки от полноценного «закрытия» крупным бизнесом.

4. Это напрямую зависит от отрасли. Например, крупные банки и страховые компании с большим числом территориально-распределенных филиалов, входящие в число наших клиентов, – активные потребители Big Data. Значительная часть их целевой аудитории – активные интернет-пользователи. Big Data дают таким компаниям прекрасные инструменты для сбора информации о потенциальном клиенте, позволяющие на основе поведенческих факторов формировать, причем автоматически, наиболее интересное для нужной целевой аудитории предложение. Формировать практически индивидуально. Это особенно востребовано сейчас, во время рецессии, когда потребители склонны менять банк или страховую компанию в случае, если в другом месте им предложат более выгодные условия.

Что же касается средних и даже уже многих небольших компаний, там скорее те же задачи, связанные с ростом продаж и улучшением работы с клиентами, но в меньшем объеме, чем крупный бизнес, успешно решает BI (например, с помощью инструментов QlickView).

5. Это прежде всего вопрос выбора архитектуры хранения и инструментов обработки и анализа. И бюджета, разумеется. Проблема быстродействия, бесспорно, существует, и с экспансией Big Data она будет только усугублятьсяв ближайшие годы. По мнению ряда вендоров, правильных направлений развития два: модернизация корпоративных ЦОДов для обеспечения потребностей бизнеса и использование облачных вычислений. Если же говорить обинструментах обработки данных, здесь есть из чего выбрать. Свои решения предлагают десятки производителей, среди которых такие гиганты, как IBM, Fujitsu, HP, SAP, VMware.

1. Сегодня существует целый класс инструментов операционной аналитики, способных на базе машинных логов наглядно представить сводную информацию о функционировании всей ИТ-инфраструктуры, с единого рабочего места видеть и контролировать корреляцию различных систем и процессов. Например, платформа Splunk Enterprise способна оперативно обнаружить и устранить в ИТ-инфраструктуре организации проблемные места, вызвавшие сбои, мониторить свободные ресурсы, отслеживать соблюдение норм информационной безопасности. Кроме того, платформы операционной аналитики умеют анализировать информацию о случившихся сбоях и наоснове алгоритмов машинного обучения делать выводы и предупреждать пользователя о надвигающихся угрозах для своевременного принятия профилактических мер.

2. Если говорить об эффекте от внедрения технологий и инструментов обработки и приложений для использования Big Data, то он очень сильно зависит от того, насколько корректно на начальном этапе проекта специалистамииз области data mining/data science были поставлены задачи и сформулированы «вопросы к данным», а также от того, нашли ли результаты обработки и анализа данных свое практическое применение в области, например, событийного маркетинга или управления оттоком клиентов. Но опыт показывает, что даже поверхностное применение технологий предиктивной аналитики дает ощутимый результат против типовых стандартных аналитических подходов. Серьезный же проект может принести значительный рост продаж, как это демонстрируют крупные компании, например, ритейлер «Юлмарт» или один из игроков рынка по продаже театральных билетов, которому впрошлом году при общем падении данного сегмента рынка удалось поднять свои продажи на 47% за счет использования сервиса персональных рекомендаций. Важно отметить, что внедрение подходов Big Data должно происходить во всей организации в целом, а не в одном только департаменте или бизнес-процессе, именно тогда и достигается максимальный эффект.

3. Все относительно. Разумеется, сначала переход от хранения данных к их обработке, анализу, монетизации и использованию для развития организации вызывает у менеджмента головную боль. Требуются довольно редкие идорогие специалисты, вложения в разработку и внедрение решений, создание особых подразделений. Но конкуренты идут вперед, а растущее число успешных проектов по использованию Big Data в сфере цифрового маркетинга, управления рисками, таргетированной интернет-рекламы заставляют бизнес говорить о готовности инвестировать в проекты, связанные с Большими данными, и даже заявлять о формировании особого типа ресурса data capital.

4. В первую очередь это инструменты интеграции и обработки большого объема структурированных и неструктурированных данных из различных источников, механизмы и алгоритмы data mining и машинного обучения длявыявления скрытых закономерностей в данных. Кроме того, это enterprise-решения для работы с данными, ключевыми из которых являются продукты компаний Oracle, Teradata, IBM, Splunk, Aerospike, а также Open Source-платформы, например, Elastic search, Pentaho, R, Python. И, наконец, различные приложения для использования знаний, полученных при анализе больших данных, в области управления клиентским опытом – приложения дляcampaign management, digital-маркетинга, веб-аналитики, событийного маркетинга и т.д.

5. Конечно, можно. Скорость (velocity) – это вообще одна из основных характеристик Big Data наравне с объемом. Все зависит от характера данных, их объема, а также способа/паттерна доступа к ним. Если речь идет охранении данных, то наиболее простым, дорогим и в то же время распространенным вариантом является размещение всех данных, или по крайней мере наиболее часто используемых из них, в памяти. Если речь идет обобработке данных, то большую часть этого процесса следует организовать в памяти с минимальным вовлечением дискового и сетевого ввода-вывода. Некоторые большие данные по своей природе не являются медленными, например, если их необходимо обрабатывать на лету или in motion. Существует целый спектр технологий под общим названием Data in Motion.

Сейчас на рынке наблюдается повышенное внимание к смене всей парадигмы обработки данных. Речь идет о переходе от концепции «собрал, сохранил, обработал, отреагировал» к концепции «собрал, отреагировал, сохранил, обработал». Количество источников (это в первую очередь вся категория машинных данных), которые генерируют поток событий в режиме реального времени, требующий реагирования бизнеса также в режиме реального времени, постоянно растет. В CleverDATA мы развиваем практику построения систем и комплексов обработки данных в концепции так называемой lambda-архитектуры, которая объединяет оба подхода: и обработку данных врежиме реального времени, и batch-отработку большого массива информации.

1. Технологии Big Data позволяют компаниям получить максимально полный объем информации, в том числе о своих клиентах и об их поведении. Они также могут служить для решения задач защиты информации икибербезопасности. Ввиду активного развития информационных технологий и повышения зависимости бизнеса от ИТ оперативный доступ к максимально полной информации о состоянии информационной безопасности компании приобретает особое значение.

Для достижения данной цели необходимо решение таких первоочередных задач, как информирование о функционировании процессов ИБ и степени их защищенности, определение потенциальных уязвимостей действующей системы ИБ, выявление и расследование инцидентов, общая оценка организационных процедур по ИБ, анализ событий ИБ, а также планирование корректирующих мер и оценка их эффективности. Для эффективного выполнения обозначенных задач требуются специальные технические решения.

Примером подобного решения по борьбе с киберугрозами является интеграция Big Data-решений со средствами анализа угроз безопасности. Подобный инструмент позволяет реализовать детальный анализ данных, поступающих из многочисленных источников в различных форматах, возможность сравнительного анализа полученных данных, выявление закономерностей и аномалий информационной среды, реагирование на инциденты ИБв реальном режиме времени на большом объеме данных.

Анализ структурированных данных из внутренних и внешних источников вместе с неструктурированными данными компании способствует обнаружению вредоносной активности в информационных потоках компании.

Несмотря на явные и потенциальные преимущества описанного подхода, интеграция решений по управлению ИБ с Big Data-решениями имеет и свои недостатки, которые в первую очередь связаны с большими объемами информации, разными методами доступа к ней и с зачастую недостаточным ресурсным обеспечением функции информационной безопасности в организациях. Особое внимание я бы уделил следующим аспектам:

1. Управление данными – внедрение Big Data-решений может привести к созданию или обнаружению ранее конфиденциальной/секретной информации ввиду объединения различных массивов данных.
2. Поддержание требований к безопасности данных во время жизненного цикла информации – компании должны быть уверены в том, что все требования безопасности в отношении массивов данных отслеживаются иподдерживаются во всех Big Data-процессах.
3. Реидентификация риска – в большинстве случаев данные должны быть замаскированы в целях обеспечения конфиденциальности исходных источников данных, таких как, например, информация о клиентах илипоставщиках.
4. Выполнение контрактных обязательств с третьими сторонами – получение массивов данных других организаций с использованием Big Data может привести к раскрытию инсайда, который компания не могла бы раскрыть, используя только собственные ресурсы.
5. Соблюдение норм законодательства – сегодня в мире отсутствуют специальные законодательные нормы в отношении Big Data, однако имеются законы, ограничивающие сбор, использование, хранение определенных типов личных данных. Для того чтобы соответствовать быстро меняющимся и новым законам, компании должны выполнять начальную инвентаризацию соответствующих нормативных правовых актов и на регулярной основе обновлять данный список.

Несомненно, разнообразие и объем данных, возникающих в результате всевозможных взаимодействий, является мощной базой для бизнеса по построению и уточнению прогнозов, выявлению закономерностей, оценки эффективности и т.д. Однако у всего есть свои недостатки, которые также необходимо грамотно учитывать.

1. Среди возможных применений Big Data есть, конечно, и связанные с информационной безопасностью. В первую очередь это возможно, так как анализ Big Data (предположим, сырых данных, собираемых системами видеоаналитики) позволяет выявлять какие-то отклонения в деятельности персонала, «особые» группы персонала и предпринимать заблаговременные корректирующие воздействия.

2. Так как мы в основном используем технологии Big Data для работы с нашими клиентами в ритейле, то приведу пример из этой отрасли. Для оценки экономического эффекта внедрения системы персонализированных рекомендаций розничным покупателям мы применяем простую методику. Выделяются три репрезентативных группы покупателей: группа, в которой ритейлер не ведет активных продаж (то есть коммуникации неосуществляются), группа, в которой активные продажи ведутся обычным образом (например, рассылаются SMS или e-mail-сообщения о каких-то акциях), и группа, в которой активные продажи ведутся по рекомендациям системы. Сравниваем результат отклика в каждой группе и приходим к выводу об эффективности системы. Понятно, что для сравнения результата отклика покупатель должен быть как-то идентифицирован, то есть лучше, чтобы у ритейлера уже была какая-то система лояльности.

4. Очень интересное применение Big Data – разработка системы персонализированных рекомендаций розничным покупателям на основе истории их поведения (покупок, контактов) и социально-демографического профиля. Почему мы в первую очередь говорим о ритейле? Во-первых, в ритейле много разных быстро меняющихся данных, это одно из основных «условий» Big Data. Во-вторых, в ритейле и так уже есть попытки решения задач персонализации, то есть это востребованная задача. В-третьих, ритейл – очень низкомаржинальная и высококонкурентная отрасль, то есть участники точно будут заинтересованы в получении эффекта. Ну и, в-четвертых, достигнутый эффект можно будет измерить, то есть доказать то, что разработка системы персонализированных рекомендаций действительно дает экономический эффект.

Алексей Черевков, руководитель направления IaaS компании «Сервионика» (ГК «Ай-Теко»)

1. Важно понимать, что и информационная безопасность, и управление ИТ – это процессы, эффективность которых напрямую влияет на состояние бизнес-систем компании. Big Data позволяют получить более детальную и в тоже время целостную картину угроз безопасности, выявлять и предотвращать случаи мошенничества или технических сбоев, используя весь объем данных о работе компании – от состояния оборудования до анализа сетевого трафика. Тот же принцип работает и в управлении ИТ, где Big Data позволяют выявлять зависимости и корреляции, прогнозировать потребности сервисов и объективно оценивать состояние инфраструктуры. Бизнес-аналитика такого уровня становится ключевым инструментом для принятия решений. Все больше предприятий начинает осознавать выгоды Big Data. Например, по недавнему прогнозу Gartner, к 2016 году 25% компаний будут использовать аналитику Больших данных в своих системах безопасности.

2. Внедрение Big Data меняет привычную ИТ-среду компаний, упрощая, ускоряя и делая более эффективными происходящие в ней процессы. Компания с инфраструктурой в пять тысяч серверов ежедневно генерирует около 1,3 Тбайт данных, большая часть которых неструктурирована. Представьте, какие возможности откроются перед бизнесом, если проанализировать этот огромный массив данных. Сразу возрастет точность и полнота аналитики, наосновании которой можно принимать более качественные и оперативные решения.

В медицине Big Data помогают прогнозировать болезни, в сфере телекоммуникаций – ускоряют обслуживание клиентов, в банковском секторе – снижают риск мошенничества и упрощают принятие решений по кредитам, вритейле – помогают добиться идеального соотношения между спросом и предложением, делают шопинг более персонализированным. Этот список можно продолжать бесконечно.

Если говорить о конкретных цифрах, то, например, в телеком-секторе, по данным IBM, на 92% снижается время, затрачиваемое на анализ телекоммуникационных сетей; в медицине на 20% сокращается смертность пациентов; всекторе ЖКХ на 99% возрастает точность распределения электроэнергии.

5. Технологии Big Data сейчас доступны благодаря облачным вычислениям, обеспечивающим новый уровень скорости обработки данных. Наряду со скоростью, их ключевые преимущества – доступность и низкая стоимость использования. На рынке представлено множество отдельных облачных сервисов по аналитике Больших данных, а также облачных платформ для развертывания приложений. С их помощью аналитику на базе Больших данных можно использовать «здесь и сейчас», просто подключившись к Интернету и выбрав подходящий сервис. При этом рост популярности облаков подталкивает разработчиков к созданию более простых и удобных решений, упрощающих переход в облако для компании любого масштаба.

1. Люди легко находят разные структуры и паттерны в сложных системах данных. Например, знакомую музыкальную фразу в сонате или изображение фикуса в каталоге цветочного магазина. Алгоритмы обработки Больших данных позволяют делать нечто подобное на новом уровне: с помощью математических методов находить структуры и паттерны, которые человеку сложно обнаружить из-за их образа или объема самих данных.

В сфере информационной безопасности такие алгоритмы позволяют узнавать о «нестандартном» поведении в сети, характерном для DDoS-атак, ботов, вирусов, хакеров. На алгоритмах такого же рода основана защита от спама.

В сфере управления ИТ или любым проектом обработка Больших данных позволяет получить полезную статистику. Например, о поведении пользователей и их предпочтениях. Это в свою очередь помогает разрабатывать новые фичи продукта.

2. Эффект от использования обработки Больших данных может стать прорывным. По значению его можно сравнить с появлением мощных процессоров в персональных компьютерах и планшетах. В результате появились новые виды коммуникации, возможности для формирования отчетности, мощные продукты, которые в прошлом были не по зубам целым НИИ. Визуализация привычных игр на смартфонах еще десять лет назад была невообразимадля настольных компьютеров. Столь же масштабные перемены могут произойти благодаря внедрению обработки Больших данных.

3. С одной стороны, обработка Больших данных позволяет автоматизировать часть бизнес-процессов и повысить эффективность работы сотрудников компании. Новые возможности позволяют получать статистику в режиме реального времени, а значит, быстрее реагировать на рыночные изменения.

С другой стороны, эти инструменты доступны всем игрокам на рынке, а их использование требует дополнительных навыков от руководителей и сотрудников компании. Поэтому преимущества от новых возможностей смогут получить те, кто быстрее научится их применять.

4. Представьте, что вы смогли прикрепить к каждому клиенту отдельного аналитика, который информирует вас о возникающих проблемах и предлагает решения из похожего опыта других потребителей. Эффект отиспользования обработки Больших данных сравним с таким подходом.

На основе анализа Больших данных могут быть созданы системы подсказок, которые предлагают клиентам продукты исходя из их или «похожего» по профилю поведения. Аналогичная система может предлагать клиентам ответы на вопросы на основе решения схожих проблем.

Анализ Больших данных позволяет получать статистику и создавать дэшборды, демонстрирующие в режиме реального времени тенденции развития бизнеса и существующие риски. Например, вы можете получить список клиентов с большим риском оттока, лазеек в тарифной структуре, наиболее популярных фич SaaS-продуктов, самых сложных моментов пользовательского интерфейса.

Это лишь несколько вариантов использования обработки Больших данных, ее возможности для создания клиентоориентированного бизнеса практически безграничны.

5. Конечно, это возможно. Повышение скорости анализа – это вопрос вычислительной мощности, алгоритмов и архитектуры сохранения данных. В сфере сохранения данных уже существуют решения. Одно из самых популярных – проект Hadoop для разработки и выполнения распределенных программ. Разработка высокопроизводительных алгоритмов связана с проектами семантического анализа текстов (для поисковых систем) ибиоинформатики (для анализа ДНК и белков).

Александр Лямин, руководитель Qrator labs

1. Конвергенция решений для сетевой безопасности и Big Data делает возможным создание принципиально новой модели безопасности. В крупных современных информационных системах ежесекундно регистрируется огромное число событий. Технологии обработки Больших данных могут использоваться для анализа этих событий, поиска корреляций и автоматического обнаружения вторжений и инцидентов безопасности – такие технологии позволят отделу ИБ работать эффективнее. Для противодействия, например, DDoS-атакам такие технологии применяются уже долгие годы.

Другим интересным примером использования Big Data может быть (до какой-то степени) автоматизация форензики – информационно-аналитической экспертизы по факту инцидента, поиска и сбора улик. Однако ключевым вопросом является, конечно, правильный выбор поставщика решений Big Data, это нужно делать обдуманно.

Рынок Big Data – это не «серебряная пуля» для решения всех проблем. Это дорогостоящее решение, для работы с которым требуются квалифицированные специалисты. Сегодня на рынке полнофункциональных готовых инструментов альтернативным решением является обращение к специализированным поставщикам услуг.

Евгений Пухов, технический консультант компании CommVault Россия

1. Можно говорить, что аналитика больших данных давно и успешно используется в области информационной безопасности. Самый распространенный пример – антивирусное ПО, которое анализируя большой объем информации довольно сложными алгоритмами, в итоге выявляет потенциальные узкие места и выполняет действия для их устранения. Когда создавались эти алгоритмы, термина Big Data еще не существовало, хотя по характеру и сложности построения запросов к данным, это очень близко к тому, что мы сегодня понимаем под продвинутой аналитикой.

Также в сфере ИБ сейчас активно развиваются:

• аналитика систем видеонаблюдения в связке с системами контроля доступа;
• анализ сетевого трафика;
• анализ журналов событий, генерируемых оборудованием и ПО, на основании которого можно научиться строить взаимосвязи и предсказывать потенциально узкие места;
• многие другие решения, связанные с использованием нетривиальных математических методов.

Нам не известны коробочные решения по ИБ такого типа. Любой проект по большим данным уникален и в тоже время интересен тем, что нет единых подходов, а есть лишь набор инструментов и методов.

2. Всегда ли цель оправдывает средства? Всегда ли нужно “копаться” в фантастических объемах данных чтобы найти в них гипотетическую пользу? Мы считаем, что нет, особенно если речь идет об экономическом эффекте для крупных корпораций.

Чтобы начинать проект по Big Data нужно обосновать его для бизнеса, нужно объяснить что мы получим в итоге? Аналитику социальных сетей, а какая от этого польза?

Для целей ИБ такие проекты абсолютно оправданы, так как позволяют снижать риски несанкционированного использования данных, что особенно важно для крупных финансовых корпораций. Также проекты в сфере Big Data полезны для исследования новых рынков и построения маркетинговых моделей. В этом случае умение анализировать большие данные, предлагать персонифицированные продукты, а также принимать верные управленческие решения, станет конкурентным преимуществом.

3. Сейчас модно говорить про Big Data. ИТ-отделам приходится разбираться в теме, даже если нет объективной необходимости в создании подобных систем. Конечно, часть процессов стоит перестроить под новую модель. Главное, без фанатизма. Всегда есть преимущества и недостатки.

Не уверен, что бизнесу стало проще с появлением Big Data. Компании, которые видят силы в освоении новых высот, относят себя к визионерам, чувствуют себя сейчас на волне. Консерваторам, как обычно, сложнее привыкать к «вызовам» тенденций. Новые технологии не только дают нам новые возможности, но и ставят перед нами новые сложные задачи. Готовы ли мы их решать, если цель оправдана? Вопрос, скорее, жизненных установок.

При этом, конечно, стало интереснее. Big Data открывает действительно новые возможности в архитектуре ПО.

4. Это вопрос не к концепции Big Data, а к разработчикам ПО. В общем случае Big Data - это набор методов для индексирования, аналитики, мониторинга контента с практически неограниченной масштабируемостью. А как будут работать клиентоориентированные бизнес-приложения, будут ли они использовать логику больших данных - вопрос к разработчикам и бизнес-задачам, которые ставятся перед данными приложениями.

5. Технологии Big Data – по определению «быстрые данные», так как подразумевают практически неограниченную горизонтальную масштабируемость по объему, количеству пользователей и приложений и, конечно, по производительности.