октябрь    2024

Пн	Вт	Ср	Чт	Пт	Сб	Вс
	1	2	3	4	5	6
7	8	9	10	11	12	13
14	15	16	17	18	19	20
21	22	23	24	25	26	27
28	29	30	31

показать все 

11.10.2024

Николай Нашивочников, «Газинформсервис»: в нефтегазовом секторе изменился ландшафт угроз

Читать далее 

10.10.2024

В Москве обсудят применение искусственного интеллекта в строительстве

Читать далее 

08.10.2024

«ГенИИ» расскажут о кейсах и вызовах ИИ в производстве

Читать далее 

08.10.2024

Зарулили на 1-е место: победителем «Биржи ИБ- и IT-стартапов» стал проект по автомобильной кибербезопасности

Читать далее 

01.10.2024

«Киберарена»: «Газинформсервис» запускает новый формат киберсоревнований

Читать далее 

показать все 

11.10.2024

Технологический ИИ-арсенал

Читать далее 

28.09.2024

Чем страшен ИИ, и с чем его едят

Читать далее 

18.09.2024

Готов ли рынок АСУ ТП к переменам?

Читать далее 

12.09.2024

Отрыв длиной в год. Российские ИИ-решения незначительно уступают иностранным аналогам

Читать далее 

09.09.2024

Лейсан Чистая: «КулибИТ для каждого из нас это больше, чем просто проект – это наша миссия»

Читать далее 

13.06.2024

Взгляд в перспективу: что будет двигать отрасль информационной безопасности

Читать далее 

18.04.2024

5 способов повысить безопасность электронной подписи

Читать далее 

18.04.2024

Как искусственный интеллект изменит экономику

Читать далее 

18.04.2024

Неочевидный САПР: выход ПО за рамки конструкторской деятельности

Читать далее 

18.04.2024

Скоро некому будет делать сайты и заниматься версткой

Читать далее 

показать все 

Главная / Архив номеров / 2013 / Выпуск №10 (33) / Архив без проблем. Катастрофоустойчивое хранение больших объемов информации

Рубрика: Хранение данных

Александр Тетюшев, кандидат технических наук, доцент Вологодского государственного технического университета

Архив без проблем
Катастрофоустойчивое хранение больших объемов информации

Проблема надежного хранения больших объемов информации – одна из интереснейших задач современности. Человечество уже научилось сохранять информацию в виде электронных архивов. Они позволяют анализировать текущую деятельность, прогнозировать, выбирать стратегию развития, проводить определенную политику, быть успешным в своем деле

Резервирование информации имеет и более прагматичные цели. Нарушение работоспособности программного обеспечения, как показывает практика, приводит к более тяжелым последствиям, чем отказ оборудования. Оборудование можно восстановить, а вот данные без грамотно построенной системы резервирования восстановить крайне сложно. По сведениям информационного агентства Gartner [1] среди компаний, пострадавших от катастроф и переживших крупную необратимую потерю корпоративных данных, 43% вообще не смогли продолжить свою деятельность.

Однако в нашей стране, особенно на уровне малых предприятий, к проблеме резервирования данных и поддержания электронных архивов относятся крайне легкомысленно. Одна из причин – высокая стоимость оборудования.

Действительно, попробуйте объяснить руководителю российского малого предприятия, что для надежного сохранения данных его офиса, состоящего из 10-15 компьютеров, потребуется система резервирования на 10 Тб класса IBM System Storage D8000 за 750 000 рублей или хотя бы Dell PowerVault TL2000 Tape Library за 180 000 рублей. Добавьте к этому необходимость замены каждые три – пять лет полного набора жестких дисков или магнитных лент.

Вторая причина, по которой российский предприниматель не хочет создавать архивы, – страх, что информация в них будет использована против него. В этой статье я хочу показать одну из возможностей создания электронного архива, которая позволяет обойти обе эти проблемы.

В качестве предпосылки используем тезис, что каждый предприниматель понимает, что его сотруднику для работы нужен персональный компьютер. Причем в силу специфики российского программного обеспечения (посмотрите на системные требования 1С, Гарант, КонсультантПлюс и т.д.) это должен быть современный компьютер, оснащенный 1-2 Тб жестким диском, из которого для работы требуется не более 300 Гб. Таким образом, 10-15 рабочих станций могут предоставить требуемый для системы архивирования объем в 10 Тб «практически даром». И его можно использовать.

Распределенное хранение данных

Идея отказоустойчивого распределенного хранения данных была предложена в работе Михаэля О. Рабина [3]. Суть идеи я покажу ниже, используя программу Maple.

Допустим, у нас имеются данные, которые мы можем представить исходной матрицей M, размерностью N×k, причем N>k (N – соответствует числу компьютеров, которые будут участвовать в хранении данных. В нашем примере N= 6, а k – определяет минимальное количество любых из N компьютеров, которые необходимы для восстановления данных. В нашем примере k=4).

Допустим, мы построили произвольную матрицу Вандермонда [2] размерностью k×N. Матрица A – своего рода ключ шифрования наших данных.

Тогда при их перемножении получим результирующую матрицу R размерностью N×N.

Эти данные мы построчно перенесем на N компьютеров в сети для хранения.

Полученная матрица R обладает одним уникальным свойством. Если взять k произвольных строк матрицы R и собрать из них матрицу R1 размерностью N×k. Другими словами, мы собрали данные только с k произвольных компьютеров из N.

Построить матрицу, используя строки исходной матрицы A, соответствующие строкам матрицы R1, и получив квадратную не вырожденную матрицу A1 размерностью k×k.

Обратная матрица AA, к которой

позволяет получить исходную матрицу при умножении на R1

Идея отказоустойчивого распределенного хранения, предложенная Рабином, получила продолжение в работах А. Г. Тормасова [4] и Д.М. Мясникова [5]. Тормасов предложил методику создания отказоустойчивой файловой системы TorFS, а Мясников разработал прототип многоагентной системы резервирования, код которой доступен по ссылке.

Катастрофоустойчивая система архивирования

Показанная выше методика архивирования данных не требует файловой системы и может быть построена на базе неиспользуемого дискового пространства рабочих станций. Система архивирования, построенная на основе этой методики, может самопроизвольно увеличиваться при увеличении числа компьютеров или размеров жестких дисков. Более того, она позволяет создавать именно катастрофоустойчивые в плане российского бизнеса информационные хранилища, поскольку обладает очень важной особенностью: при наступлении особых ситуаций данные из архива невозможно извлечь ни при каких обстоятельствах.

Действительно, если окажется, что число работающих в сети компьютеров меньше k (в нашем примере меньше четырех), восстановить данные из архива просто невозможно (в смысле теории информации по Шеннону).

Приведу типичную ситуацию, используя вышеприведенный пример. Небольшое предприятие арендует три помещения в разных концах города (обычно это офис, склад и квартира самого предпринимателя). В каждом помещении установлено по два компьютера, участвующих в процессе архивирования. При наступлении форс-мажорной ситуации в одном из помещений полностью уничтожаются, воруются или изымаются компьютеры. Как уже понятно, оставшиеся в двух помещениях компьютеры обеспечат сохранность архива, а вот из двух изъятых компьютеров извлечь что-нибудь вразумительное не получится ни при каких обстоятельствах.

1. Информационно-аналитическое агентство Gartner – http://www.gartner.com/index.htm.
2. Матрица Вандермонда – http://dic.academic.ru/dic.nsf/ruwiki/425350.
3. Михаэль О. Рабин. Efficient Dispersal of Information for Security, Load Balancing, and Fault Tolerance.
4. Тормасова А.Г. Модель распределенного хранения данных с регулируемой избыточностью.
5. Мясников Д.М. Многоагентная распределенная отказоустойчивая система резервирования АСУП – http://sourceforge.net/projects/jsaverstorage.

В начало⇑

Комментарии отсутствуют

Комментарии могут отставлять только зарегистрированные пользователи