показать все 

мифы и реальность

Всегда ли нужно использовать Большие данные при обработке информации? Когда лучше применять эту концепцию?

Концепция Big Data или Большие данные широко известна в кругах ИТ-специалистов. Многие руководители, особенно крупных компаний, внедрили решения для работы с Большими данными, ожидая «чуда», но в итоге обнаружили, что у них лишь добавились новые трудности, а достижение результатов требует гораздо больших усилий, чем они предполагали. Поговорим о том, что такое Большие данные, когда их нужно применять, а когда лучше избегать. Но начнем с основных определений.

Итак, Большие данные (англ. Big Data) в информационных технологиях – это серия подходов, инструментов и методов обработки структурированной и неструктурированной информации очень больших объемов изначительного разнообразия содержимого. Целью данной обработки является получение воспринимаемых человеком результатов, эффективных в условиях непрерывного прироста, распределения по многочисленным узлам вычислительной сети.

Концепция Big Data является альтернативой традиционным системам управления базами данных и решениям класса Business Intelligence. В эту серию включают средства массово-параллельной обработки неопределенно структурированных данных, прежде всего решения категории NoSQL, алгоритмы MapReduce и аналогичные.

В качестве определяющих характеристик для Больших данных отмечают «три V» [1]:

• объем (англ. volume, в смысле величины физического объема);
• скорость (англ. Velocity, в смысле как скорости прироста, так и необходимости высокоскоростной обработки и получения результатов);
• многообразие (англ. variety, в смысле возможности одновременной обработки различных типов структурированных и полуструктурированных данных).

Основными методами и техниками анализа, применимыми к Большим данным, являются следующие.

• Методы класса Data Mining, основанные на обучении ассоциативным правилам, классифицирования данных (методы категоризации новых данных на основе принципов, ранее примененных к уже наличествующим данным), также кластерный анализ, регрессионный анализ.
• Краудсорсинг – категоризация и обогащение данных силами широкого неопределенного круга лиц, привлеченных на основании публичной оферты, без вступления в трудовые отношения.
• Смешение и интеграция данных – набор техник, позволяющих интегрировать разнородные данные из разнообразных источников для возможности глубинного анализа. В качестве примеров таких техник, составляющих этот класс методов, приводятся цифровая обработка сигналов и обработка естественного языка (включая тональный анализ).
• Машинное обучение, включая обучение с учителем и без учителя, – использование моделей, построенных на базе статистического анализа или машинного обучения для получения комплексных прогнозов на основе базовых моделей.
• Визуализация аналитических данных – представление информации в виде рисунков, диаграмм, с использованием интерактивных возможностей и анимации, как для получения результатов, так и для использования вкачестве исходных данных для дальнейшего анализа.

Я привел только основные методы работы с большими данными. Как видно, концепция Big Data предлагает довольно обширный функционал по обработке информации. Казалось бы, использование этих технологий позволит существенно упростить и оптимизировать работу предприятия в целом.

Однако есть ряд моментов, на которые следует обращать внимание перед внедрением Big Data.

Статью целиком читайте в журнале «БИТ. Бизнес & Информационные технологии», №3 за 2015 г. на страницах 12-14.

PDF-версию данного номера можно приобрести в нашем магазине.