Архив без проблем. Катастрофоустойчивое хранение больших объемов информации::БИТ 10.2013

Поиск по сайту

bit.samag.ru

Web

Рассылка Subscribe.ru

подписаться письмом

Вход в систему


Запомнить меня
Регистрация Забыли пароль?

О журнале

Ваше мнение

Редакционная подписка

Через подписные агентства

Статьи

Общие тенденции и тренды

Архив

Мероприятия

Календарь мероприятий

июль

2022

показать все

Новости партнеров

06.07.2022

MERLION IT Summit 2022: новый уровень важного отраслевого события

05.07.2022

Учиться для жизни: специалисты в Оренбургской области решат задачу для образовательной компании

04.07.2022

Запущена единая база знаний по работе с кириллическими доменными именами и email адресами

27.06.2022

Три миллиона за искусственный интеллект: в Москве стартовал всероссийский чемпионат по искусственному интеллекту

показать все

Статьи

29.04.2022

Можно ли продолжать цифровую трансформацию сегодня?

04.01.2022

Ваш рейтинг перспективных технологий

11.12.2021

Что повысит конкурентоспособность?

13.02.2020

Чат-бот CallShark не требует зарплаты, а работает круглосуточно

24.12.2019

До встречи в «Пьяном Сомелье»!

21.12.2019

Искусство как награда Как изготавливали статуэтки для премии IT Stars им. Георгия Генса в сфере инноваций

04.12.2019

ЛАНИТ учредил премию IT Stars памяти основателя компании Георгия Генса

04.06.2019

Маркетолог: привлекать, продавать, продвигать?

показать все

Архив без проблем. Катастрофоустойчивое хранение больших объемов информации

Главная / Архив номеров / 2013 / Выпуск №10 (33) / Архив без проблем. Катастрофоустойчивое хранение больших объемов информации

Рубрика: Хранение данных

Александр Тетюшев, кандидат технических наук, доцент Вологодского государственного технического университета

Архив без проблем
Катастрофоустойчивое хранение больших объемов информации

Проблема надежного хранения больших объемов информации – одна из интереснейших задач современности. Человечество уже научилось сохранять информацию в виде электронных архивов. Они позволяют анализировать текущую деятельность, прогнозировать, выбирать стратегию развития, проводить определенную политику, быть успешным в своем деле

Резервирование информации имеет и более прагматичные цели. Нарушение работоспособности программного обеспечения, как показывает практика, приводит к более тяжелым последствиям, чем отказ оборудования. Оборудование можно восстановить, а вот данные без грамотно построенной системы резервирования восстановить крайне сложно. По сведениям информационного агентства Gartner [1] среди компаний, пострадавших от катастроф и переживших крупную необратимую потерю корпоративных данных, 43% вообще не смогли продолжить свою деятельность.

Однако в нашей стране, особенно на уровне малых предприятий, к проблеме резервирования данных и поддержания электронных архивов относятся крайне легкомысленно. Одна из причин – высокая стоимость оборудования.

Действительно, попробуйте объяснить руководителю российского малого предприятия, что для надежного сохранения данных его офиса, состоящего из 10-15 компьютеров, потребуется система резервирования на 10 Тб класса IBM System Storage D8000 за 750 000 рублей или хотя бы Dell PowerVault TL2000 Tape Library за 180 000 рублей. Добавьте к этому необходимость замены каждые три – пять лет полного набора жестких дисков или магнитных лент.

Вторая причина, по которой российский предприниматель не хочет создавать архивы, – страх, что информация в них будет использована против него. В этой статье я хочу показать одну из возможностей создания электронного архива, которая позволяет обойти обе эти проблемы.

В качестве предпосылки используем тезис, что каждый предприниматель понимает, что его сотруднику для работы нужен персональный компьютер. Причем в силу специфики российского программного обеспечения (посмотрите на системные требования 1С, Гарант, КонсультантПлюс и т.д.) это должен быть современный компьютер, оснащенный 1-2 Тб жестким диском, из которого для работы требуется не более 300 Гб. Таким образом, 10-15 рабочих станций могут предоставить требуемый для системы архивирования объем в 10 Тб «практически даром». И его можно использовать.

Распределенное хранение данных

Идея отказоустойчивого распределенного хранения данных была предложена в работе Михаэля О. Рабина [3]. Суть идеи я покажу ниже, используя программу Maple.

Допустим, у нас имеются данные, которые мы можем представить исходной матрицей M, размерностью N×k, причем N>k (N – соответствует числу компьютеров, которые будут участвовать в хранении данных. В нашем примере N= 6, а k – определяет минимальное количество любых из N компьютеров, которые необходимы для восстановления данных. В нашем примере k=4).

Матрица 1

Допустим, мы построили произвольную матрицу Вандермонда [2] размерностью k×N. Матрица A – своего рода ключ шифрования наших данных.

Формула 2

Матрица 2

Тогда при их перемножении получим результирующую матрицу R размерностью N×N.

Эти данные мы построчно перенесем на N компьютеров в сети для хранения.

Формула 3

Матрица 3

Полученная матрица R обладает одним уникальным свойством. Если взять k произвольных строк матрицы R и собрать из них матрицу R1 размерностью N×k. Другими словами, мы собрали данные только с k произвольных компьютеров из N.

Формула 4

Матрица 4

Построить матрицу, используя строки исходной матрицы A, соответствующие строкам матрицы R1, и получив квадратную не вырожденную матрицу A1 размерностью k×k.

Формула 5

Матрица 5

Обратная матрица AA, к которой

Формула 6

Матрица 6

позволяет получить исходную матрицу при умножении на R1

Формула 7

Матрица 1

Идея отказоустойчивого распределенного хранения, предложенная Рабином, получила продолжение в работах А. Г. Тормасова [4] и Д.М. Мясникова [5]. Тормасов предложил методику создания отказоустойчивой файловой системы TorFS, а Мясников разработал прототип многоагентной системы резервирования, код которой доступен по ссылке.

Катастрофоустойчивая система архивирования

Показанная выше методика архивирования данных не требует файловой системы и может быть построена на базе неиспользуемого дискового пространства рабочих станций. Система архивирования, построенная на основе этой методики, может самопроизвольно увеличиваться при увеличении числа компьютеров или размеров жестких дисков. Более того, она позволяет создавать именно катастрофоустойчивые в плане российского бизнеса информационные хранилища, поскольку обладает очень важной особенностью: при наступлении особых ситуаций данные из архива невозможно извлечь ни при каких обстоятельствах.

Действительно, если окажется, что число работающих в сети компьютеров меньше k (в нашем примере меньше четырех), восстановить данные из архива просто невозможно (в смысле теории информации по Шеннону).

Приведу типичную ситуацию, используя вышеприведенный пример. Небольшое предприятие арендует три помещения в разных концах города (обычно это офис, склад и квартира самого предпринимателя). В каждом помещении установлено по два компьютера, участвующих в процессе архивирования. При наступлении форс-мажорной ситуации в одном из помещений полностью уничтожаются, воруются или изымаются компьютеры. Как уже понятно, оставшиеся в двух помещениях компьютеры обеспечат сохранность архива, а вот из двух изъятых компьютеров извлечь что-нибудь вразумительное не получится ни при каких обстоятельствах.

Информационно-аналитическое агентство Gartner – http://www.gartner.com/index.htm.
Матрица Вандермонда – http://dic.academic.ru/dic.nsf/ruwiki/425350.
Михаэль О. Рабин. Efficient Dispersal of Information for Security, Load Balancing, and Fault Tolerance.
Тормасова А.Г. Модель распределенного хранения данных с регулируемой избыточностью.
Мясников Д.М. Многоагентная распределенная отказоустойчивая система резервирования АСУП – http://sourceforge.net/projects/jsaverstorage.

В начало⇑

Комментарии отсутствуют

Комментарии могут отставлять только зарегистрированные пользователи