ЦОДы внутренние и внешние. Плюсы, минусы, перспективы::БИТ 03.2014
 
                 
Поиск по сайту
 bit.samag.ru     Web
Рассылка Subscribe.ru
подписаться письмом
Вход в систему
 Запомнить меня
Регистрация
Забыли пароль?

Календарь мероприятий
ноябрь    2018
Пн
Вт
Ср
Чт
Пт
Сб
Вс
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30

показать все 

Новости партнеров

16.11.2018

Как открыть малый бизнес: пошаговая инструкция

Читать далее 

16.11.2018

Teradata Форум 2018: Всеобъемлющая Аналитика данных становится стандартом индустрии

Читать далее 

16.11.2018

Астана примет итоговый в этом году, 27-й по счету, “Код ИБ”

Читать далее 

15.11.2018

«Ростелеком» представил единую платформу сервисов кибербезопасности

Читать далее 

15.11.2018

Конференция «Управление рисками в промышленности», организованная группой «Просперити Медиа» и порталом CFO-Russia.ru, состоится 7 декабря 2018 года

Читать далее 

15.11.2018

Цифровая трансформация российской экономики: от виртуальных решений до реальных проектов

Читать далее 

14.11.2018

Правовое регулирование криптовалют в России: новые вызовы и возможности

Читать далее 

показать все 

Статьи

14.11.2018

Трубка мира для студентов, преподавателей и работодателей

Читать далее 

14.11.2018

Правовые риски свободных программ. Чем юристы пугают ваших инвесторов

Читать далее 

14.11.2018

Опрос. Люди и роботы: союз или конкуренция?

Читать далее 

14.11.2018

Опрос. СПО для бизнеса

Читать далее 

25.06.2018

Посетить или пропустить?

Читать далее 

21.04.2017

Язык цифр или внутренний голос?

Читать далее 

16.04.2017

Планы – ничто, планирование – все. Только 22% компаний довольны своими инструментами для бизнес-планирования

Читать далее 

16.04.2017

Цифровизация экономики

Читать далее 

23.03.2017

Сервисная компания – фея или Золушка?

Читать далее 

17.02.2017

Информационные технологии-2017

Читать далее 

показать все 

ЦОДы внутренние и внешние. Плюсы, минусы, перспективы

Главная / Архив номеров / 2014 / Выпуск №3 (36) / ЦОДы внутренние и внешние. Плюсы, минусы, перспективы

Рубрика: Тема номера /  Системы хранения и обработки данных (СХД и ЦОД)


ЦОДы внутренние и внешние
Плюсы, минусы, перспективы

На вопросы «БИТа» отвечают эксперты ведущих ИТ-компаний

  1. Собственный ЦОД или аутсорсинг? Ваше мнение?
  2. Какие показатели при выборе СХД имеют первостепенное значение?
  3. Какие системы хранения данных предлагает рынок?
  4. Какова экономическая оптимизация за счет использования различных технологий хранения?
  5. Какие тенденции сейчас развиваются в сегменте СХД?

Владимир Колганов

ВЛАДИМИР КОЛГАНОВ, руководитель направления систем хранения данных компании КРОК

2. Каждый заказчик подходит к выбору СХД исходя из поставленной задачи. Если необходимо выбрать СХД для хранения большого архива файлов, то ключевым показателем будет стоимость хранения за терабайт. А при наличии высоконагруженной транзакционной СУБД заказчики в первую очередь обращают внимание на производительность и время отклика СХД. Исполнение любой из указанных выше задач также требует собственной политики защиты данных, поэтому важно наличие возможности локальной и удаленной репликации, политик хранения, модулей интеграции с приложениями.

3. Сегодня рынок предлагает широкий спектр систем хранения данных: от специализированных до универсальных. В прошлом году и начале этого года ведущие производители представили специализированные СХД, базирующиеся только на флеш-памяти. Такие решения обладают высокой производительностью и дают низкое время отклика, что очень важно для работы транзакционных баз данных, быстрого получения аналитической информации, при виртуализации серверов и рабочих мест. Если необходимо хранить большие объемы файлов и документов, на рынке есть специализированные системы для хранения медиа, архивов и документов. Как правило, это линейно масштабируемые системы, которые выгодно отличаются от обычных файловых серверов высокой производительностью, встроенными политиками и индексированием, функционалом защиты данных. Говоря же об универсальных системах хранения, которые позволяют консолидировать несколько задач в рамках одной СХД, нужно отметить массивы среднего уровня (midrange): EMC VNX, HP 3PAR, Hitachi unified storage (HUS). Если требуются не только высокая производительность и мощный функционал, но и высочайшая надежность, стоит обратить внимание на традиционные, но хорошо зарекомендовавшие себя Hi-end-системы.

4. Адекватный выбор технологии хранения для конкретной задачи позволяет оптимальным образом использовать ресурсы заказчика. Флеш-носители обладают высокой производительностью, низким временем отклика и могут применяться там, где раньше было необходимо использовать большое количество обычных жестких дисков. Системы на флеш-технологиях позволяют не только экономить при покупке, но и оптимизировать стоечное пространство, уменьшить потребляемую мощность. За счет низкого времени отклика они дают возможность увеличить производительность приложений, повысить коэффициент полезной загрузки процессоров, что, в свою очередь, открывает потенциал экономии на вычислительных ресурсах и лицензиях ПО. Еще одна технология заслуживает отдельного внимания, если мы говорим об экономической оптимизации. Это многоуровневое хранение, или Tiering. Она позволяет сочетать высокую производительность данных на быстрых флеш-носителях с высокой плотностью данных и низкой стоимостью хранения на жестких дисках. При использовании этой технологии блоки данных распределяются между уровнями автоматически, при этом приложение видит их как один диск.

5. Один из основных трендов на рынке СХД – развитие флеш-технологий. Практически все производители СХД выпустили свои специализированные массивы на флеш-носителях, а также флеш-модули и расширения к существующим решениям. В то же время mid-range-массивы становятся все более универсальными и наращивают разнообразный функционал. Достаточно динамично развиваются горизонтально масштабируемые системы для хранения больших массивов данных, в том числе специализированные: медиахранилища, системы корпоративного документооборота, системы медицинских данных. Отдельно стоит отметить тренд на интеграцию с приложениями. СХД становятся более интерактивны в работе с ними. Это позволяет повысить их производительность и добавить функциональности.


Дмитрий Морозов

ДМИТРИЙ МОРОЗОВ, ведущий системный инженер, группа компаний CUSTIS

1. Главное отличие собственного ЦОДа от публичного в том, что данные находятся под контролем ИТ-отдела компании. Следовательно, компания сама обеспечивает сохранность и безопасность своих данных, а пользователи получают услуги в соответствии со стандартами, принятыми в организации.

В то же время масштабируемость собственного ЦОДа ограничена возможностями и бюджетом ИТ-отдела, а публичные ЦОДы благодаря объединению больших ресурсов предоставляют почти неограниченные возможности. Кроме того, во втором варианте нет необходимости содержать штат высококвалифицированных специалистов.

2. В нашей компании при разработке стратегии использования СХД первостепенными были признаны следующие показатели:

  • Гибкость внедрения в существующую инфраструктуру. Использование гетерогенных сред в инфраструктуре накладывает на СХД требование поддержки различных протоколов (таких, как FC, NFS, CIFS и т.д.). В большинстве современных СХД поддержка протокола решается покупкой лицензии.
  • Возможности по масштабированию данных и время поддержки оборудования. Приобретая СХД, растущие компании должны задумываться об увеличении дисковых ресурсов (как по объему, так и по производительности). В этом случае на первый план выходят возможность подключать дисковые ресурсы без изменения архитектуры СХД и сроки поддержки оборудования.

3. Современные СХД предлагают разнообразные функции хранения данных, например, архивирование и восстановление данных из моментальных копий. Эта технология сокращает время резервного копирования и, главное, восстановления до нескольких секунд.

Марина Горная, старший вице-президент MAYKOR

1. На российском рынке сохраняется тенденция повышения спроса на услуги ЦОДов, что неудивительно. Создание и эксплуатация собственного ЦОДа – удовольствие, которое требует немалых затрат на строительство, дорогостоящее специализированное оборудование, инженерную инфраструктуру, профессиональный персонал, который будет отвечать за эксплуатацию и т.д.

Именно стремление к экономии и отсутствие необходимости поиска и содержания квалифицированного персонала являются основными и весьма значимыми доводами в пользу аутсорсинга, разумеется, если будут приняты надлежащие меры по обеспечению информационной безопасности. По этим же причинам многие владельцы привлекают специализированные аутсорсинговые компании для обеспечения технической поддержки собственных дата-центров. Сегодня рынок предлагает собственникам ЦОДов как услуги по обслуживанию отдельных систем дата-центров, так и комплексный сервис.

2. При выборе СХД заказчики в первую очередь ориентируются на оборудование от ведущих мировых производителей, которые являются лидерами в своей области. При этом важна совместимость с иным ИТ-оборудованием, что подтверждается тестированием в лаборатории производителя СХД.

Кроме того, один из определяющих критериев – уровень техподдержки: предпочтительными будут линейки оборудования, производители которых предлагают официальную техподдержку в течение не менее пяти лет.

4. Экономическая оптимизация просчитывается для каждого конкретного случая и достигается за счет соблюдения ряда условий. Сокращение расходов начинается с формирования разумных требований бизнеса к доступности данных и закладывается при разработке архитектуры СХД. Важно прохождение всех этапов: формирование концепции – техническое задание – эскизное проектирование – техническое проектирование – рабочая документация – функциональные и предварительные испытания – опытная эксплуатация – приемочные испытания – гарантийное обслуживание. Попытки перескочить через этап автоматически ведет к увеличению эксплуатационных затрат в дальнейшем. Необходимы постоянный мониторинг, проактивная диагностика и своевременные профилактические работы. Оптимизации будет способствовать дедубликация – организация хранения данных, исключающая дублирующие копии повторяющихся данных, и виртуализация.

5. Среди ключевых технологических тенденций можно выделить многоплатформенность, которая подразумевает совместимость с оборудованием различных производителей, горизонтальную и вертикальную масштабируемость и виртуализацию. Один из наиболее заметных трендов на рынке СХД – увеличение спроса на SSD. Думаю, постепенно твердотельные накопители заменят механические устройства хранения данных, этому способствует снижение стоимости SSD и повышение их надежности.


Александра Алексина

АЛЕКСАНДРА АЛЕКСИНА, коммерческий директор теле-коммуникационной компании Caravan

1. Современный рынок не предлагает однозначного решения проблемы выбора ЦОДа, в том числе выбора между коммерческим и корпоративным центром обработки данных.

Если подходить к данному вопросу с экономической точки зрения, то чаще всего аутсорсинг является более выгодным для заказчика. Далеко не у каждой компании, особенно если речь идет о компаниях сектора СМБ, есть свободная площадь для строительства ЦОДа и возможность обеспечить необходимые условия для бесперебойного электропитания, кондиционирования, защиты от несанкционированного доступа и т.д.

К тому же вопросы обслуживания, технической поддержки и модернизации ЦОДа трудно и дорого решать непрофильным компаниям, бизнес которых далек от ИТ.

Используя услуги коммерческого дата-центра, компания экономит на капитальных вложениях в инфраструктуру, аренде и покупке помещения, расходах на персонал, поддержке функционирования ЦОД.

К тому же ИT-аутсорсинг, в том числе услуг ЦОД, – это не только инструмент для экономии на ИT-поддержке бизнеса, но и отличная возможность получить более высокое качество ИT-обслуживания. Переложив заботы об ИT-инфраструктуре на плечи профессионалов, компания может полностью сосредоточиться на основных задачах своего бизнеса.

Несмотря на все выгоды аутсорсинга услуг ЦОД для клиента, некоторые компании все же предпочитают строить свой собственный центр обработки данных. Это происходит в том случае, когда они по тем или иным соображениям не могут размещать свои ИT-ресурсы во внешнем ЦОДе.

Кроме того, к строительству собственного ЦОДа нередко прибегают организации, которые имеют довольно большой объем ИT-ресурсов и могут заполнить свой ЦОД, пусть даже в мини-варианте, – чаще всего это крупные компании.

Однако и они могут также использовать услуги коммерческих дата-центров для частичного размещения своих ИT-систем или создания удаленной резервной площадки.


Василий Кострюков

ВАСИЛИЙ КОСТРЮКОВ, заместитель технического директора, EMC Россия и СНГ

1. Для всех по-разному. Давайте предположим, что речь идет об организации, у которой есть собственные отдел ИТ и ЦОД. В какую сторону имеет смысл развиваться?

Надо переходить к концепции сервисов, а не железа и ПО, то есть представлять, какие сервисы ИТ оказывает бизнесу. Проанализировать важность сервисов, перспективность, затраты на них. Если планируются новые сервисы, то надо оценивать, как их выгодно реализовывать – через внешнего провайдера или внутри организации. Как правило, если сервис крупный в плане подписчиков, денег, оборудования, то зачастую его при правильном подходе дешевле организовать внутри частного облака.

Но обычно есть многое, что можно передать на аутсорсинг. Это могут быть хорошо формализуемые, требующие крупных инвестиций при реализации внутри компании, допустимые для передачи с точки зрения службы безопасности и законодательства сервисы.

2. Можно рассмотреть стратегические критерии и тактические. Тактические критерии – это показатели, важные для реализации задачи, для которой покупается СХД, с учетом перспективы развития. То есть скорость внедрения, гибкость настройки, производительность, емкость, интеграция с приложениями, масштабируемость, ремонтопригодность и так далее. В качестве стратегических критериев можно назвать положение компании производителя на рынке, ее финансовое здоровье, планы по развитию данной СХД, наличие отлаженных отношений в плане сервиса, предполагаемый срок жизни системы, наличие на рынке специалистов по работе с данной СХД, финансовые условия.

3. В настоящее время рынок довольно насыщен, и можно найти различные варианты. Например, по стоимости и функциям (младшего уровня, среднего уровня, старшего уровня), по используемым технологиям (флеш, программно-определяемые), по способу доступа (объектные, блочные, файловые) и т.д.

4. Оптимизировать с помощью именно технологий хранения с заметным эффектом можно следующие показатели: занимаемое место, потребляемая мощность, стоимость хранения, производительность на потраченный рубль, время на обслуживание. То есть очевидные технологии: тонкое выделение пространства, перемещение между уровнями хранения, флеш-технологии, диски повышенной емкости, компрессия, дедупликация, автоматизация.

Конкретный экономический эффект надо считать в каждом случае отдельно. Но при этом не забывать, что главное – сколько компания заработает денег, внедрив данную систему. Ибо можно сэкономить, а потом не ввести сервис вовремя или не на полную мощность, в итоге недополучить прибыль.

5. В настоящее время активно развиваются системы, состоящие целиком из флеш-дисков.

Еще одна тенденция, которая будет заметна в более отдаленной перспективе, – это Software Defined Data Center, то есть реализация необходимого функционала с помощью стандартного оборудования х86 и ПО.


Денис Сивцов

ДЕНИС СИВЦОВ, менеджер проектов, подразделение IT Business компании Schneider Electric

1. В последние годы наблюдается устойчивый рост числа коммерческих ЦОДов. Новые ЦОДы строят не только уже известные и опытные компании, зарекомендовавшие себя на рынке, но появляются и новые игроки. Думаю, говорить о бурном росте еще рано, так как пока довольно мало компаний, готовых отказываться от собственных ЦОДов в пользу коммерческих. Но рано или поздно большинство компаний перейдет на услуги коммерческих ЦОДов. Поэтому емкость этого рынка очень велика.

Однозначного решения, в каких случаях целесообразнее строить собственный ЦОД, а в каких лучше арендовать площади в коммерческом, нет – все зависит от различных факторов. Например, от объема оборудования: в случае большого количества (более 100 стоек) предпочтительно иметь собственный ЦОД.

Кроме того, имеют значение требования к качеству ИТ-сервисов: если требования низкие, то лучше использовать свой собственный ЦОД. Это позволит, идя на компромиссы, заметно сэкономить на затратах. Если же у компании есть необходимость в повышении финансовой прозрачности и оптимизации затрат и рисков, связанных с ИТ (страхование ответственности, исключение непрофильных затрат, уменьшение капитальных затрат, более гибкое управление операционными затратами и т.п.), то также лучше строить собственный ЦОД.

Какие параметры в обязательном порядке должны содержаться в SLA компании, предоставляющей коммерческий ЦОД в аренду?

Если мы говорим об аренде стойки, то это, безусловно, ее максимальное энергопотребление. Далее возможности по обеспечению дополнительной физической безопасности оборудования (ограждение стойки, постоянное видеонаблюдение, система контроля доступа на каждую стойку в отдельности). Поддерживаемые параметры окружающей среды. Уровень обеспечения отказоустойчивости для размещаемого оборудования (количество ввода электропитания, резервирование каналов связи, запас топлива для системы гарантированного электропитания). Оказываемые услуги по технической поддержке в ЦОДе (организация доступа и возможности работы клиента на территории ЦОДа, резервное копирование, мониторинг, настройка оборудования). Имеющиеся резервы на увеличение количества оборудования клиента и т.п.


Максим Захаренко

МАКСИМ ЗАХАРЕНКО, генеральный директор компании «Облакотека»

1. Представим, что принимать решение нужно не компании размера Google и не государственному ведомству для федеральной системы. Тогда ответ однозначный – аутсорсинг.

Строительство и эксплуатация ЦОДа – непростая задача. Нужны специальные инженерные знания и опыт обслуживания целого спектра оборудования разного назначения. Эту задачу нужно поручать специализирующимся на этом компаниям.

При соблюдении различных требований (например, Tier3) сэкономить на собственном ЦОДе можно только при очень большом масштабе работ.

2. СХД сегодня используются для решения очень разных по типу задач. Например, хранение большого объема данных, быстрый доступ к данным, консолидация данных или же комбинация всего перечисленного. Соответственно при выборе СХД решается одна из задач оптимизации: цена одного гигабайта, обеспечение заданного показателя производительности IOPs, гибкость и стоимость масштабирования, возможность геораспределения, интеграция с системой управления.

3. Поскольку параметров и их комбинаций много, существует множество моделей СХД от различных производителей с большим количеством характеристик, таких как интерфейс подключения (iSCSI, FC, Infiniband, SAS), тип поддерживаемых дисков (SAS, FC, SATA, SSD), максимальный объем «сырых» (не объединенных в RAID-массив) дисков, возможность горизонтального масштабирования и т.д.

5. Современные тенденции в развитии СХД имеют два глобальных направления.

Первое – горизонтальное масштабирование и кластеризация. То есть превращение СХД из локального «монстра» с отдельными модулями хранения и управления в распределенную кластеризованную систему, где емкость и производительность расширяются путем простого добавления очередного элемента.

Такие системы стали «выходцами» из крупных провайдеров услуг типа Google и Yandex. В них не применяется специализированное оборудование, а задача решается на уровне программного обеспечения.

Второе – гибридная система хранения. Идея заключается в том, что хранимые данные не одинаковые. Некоторые из них востребованы очень часто как для чтения, так и для записи («горячие» данные), другие реже («теплые»), а остальные очень редко («холодные»). Для «горячих» данных используются очень быстрые, но дорогие SSD-диски, для «теплых» – SAS, для «холодных» – бюджетные, но очень объемные SATA-диски.

Таким образом, общая емкость системы хранения определяется объемом дешевых SATA-дисков, а скорость – дорогими SSD. Дальше вопрос только в алгоритмах определения типов данных – чем они удачнее, тем эффективнее хранилище.


Родион Тульский

РОДИОН ТУЛЬСКИЙ, менеджер по продвижению инфраструктурных решений для ЦОД, Microsoft в России

1. Преимущества есть как у одного, так и у другого варианта использования ЦОДа.

К преимуществам собственного ЦОДа, очевидно, относится возможность контроля элементов ЦОД – когда решение практически полностью контролируется ИТ-персоналом компании, однако это не дает полной гарантии безопасности.

В таком варианте есть существенный недостаток, который заключается в высокой стоимости создания и обслуживания решения. Это может быть особенно заметно в тех регионах, где зачастую возникают сложности с электроэнергией и где не просто найти ИТ-специалистов, готовых и способных обслуживать сложные архитектурные решения.

Преимуществами арендованных ЦОДов являются экономия средств, например, на строительство здания, элементы энергоснабжения и др., и сокращение времени ввода решения в эксплуатацию. Однако не стоит забывать, что важны задачи, которые ставит перед собой конкретная организация.

Не всегда компания нуждается в ЦОДе, часто нужна лишь его инфраструктура или только конкретный набор услуг. В таком случае стоит обратить внимание на готовые предложения, которыми являются современные облачные сервисы.

2, 4 Во многом это будет зависеть от задач, которые ставит перед собой организация. Необходимо учитывать как объемы хранимой информации, так и бюджет, который компания готова потратить.

Отказоустойчивость, производительность, возможность интеграции и сложность поддержки являются одними из наиболее интересных показателей при оценке СХД. Все эти компоненты сильно влияют на стоимость решения в целом.

3. Сегодня рынок предлагает широкий выбор систем хранения данных. Они делятся, как и все другие решения, на свои собственные классы.

Это устройства для сегмента малых и средних предприятий, для крупных организаций, а также для тех, которые занимаются предоставлением услуг внешнему заказчику – это, например, хостинговые и сервисные компании.

Когда я говорю о системах хранения данных, я упоминаю слово «устройство». Под этим словом я подразумеваю не только аппаратные варианты систем управления данных, которые используются традиционно, но и решения, которые могут прийти на замену системам хранения данных.

Windows Server может выступать в виде аналога СХД с полноценным функционалом, включая в себя сжатие и классификацию данных, поддержку виртуализированных инфраструктур и высокий уровень надежности решения. Кроме того, его отличительной особенностью является система унифицированного подхода к управлению Microsoft, при которой ИТ-специалисты, занимающиеся обслуживанием операционных систем и их управлением, а также предоставлением услуг, смогут решать задачи, связанные с обслуживанием систем хранения данных.

5. Во-первых, любой системе хранения данных необходимо обладать базовым функционалом.

Во-вторых, важна экономическая эффективность решений. Сегодня ключевую роль в выборе СХД играет не только производительность, но и баланс между его стоимостью и функционалом.

Кроме того, система хранения данных должна обладать определенным уровнем автоматизации с точки зрения интеграции решения в текущую ИТ-инфраструктуру. Инфраструктура сегодня становится сложнее, но при этом она должна быть более универсальной, более гибкой и эффективной, поэтому интеграция в такую сложную среду является еще одним важным моментом.

Кроме всего вышеперечисленного, важно отметить поддержку облачных инфраструктур. Сегодня облака так или иначе используются во многих компаниях, а специалисты этих компаний начинают в своей работе ориентироваться на облачные сервисы.

С точки зрения интеграции с облачными сервисами Microsoft предлагает целый ряд сценариев гибридного облака, при которых сама система управления System Center выполняет резервное копирование и сохраняет важные данные в облаке.

Кроме того, появляются новые устройства, например, StorSimple – система хранения, которая объединяет в одной системе возможность архивации, резервного копирования и аварийного восстановления данных и интеграцию с облаком Windows Azure.


Между тем

Согласно результатам исследования IDC, в четвертом квартале 2013 года на российский рынок были поставлены системы хранения данных общим объемом 181,8 петабайт, совокупная стоимость которых составила 253,8 млн долларов. Всего же по итогам 2013 года российский рынок систем хранения данных вырос на 11,4% по сравнению с предыдущим годом – до 473,4 петабайт.

В денежном выражении объем рынка сократился на 5% – до 734,2 млн долларов. Лидерами по объему поставок среди поставщиков остаются компании EMC, IBM, HP и Hitachi. Вместе они удерживают более 81% рынка, хотя следует отметить, что этот показатель на пять пунктов меньше, чем годом ранее.

«Основной тенденцией рынка систем хранения данных стало изменение предпочтений заказчиков, – говорит Михаил Попов, старший аналитик IDC. – Спрос переориентировался на решения среднего уровня. Поставки решений высшего сегмента в денежном выражении сократились на 30%, поставки решений начального уровня – на 9,8%, однако поставки решений среднего уровня выросли почти на 17%. Можно предположить с достаточно высокой степенью вероятности, что такая тенденция сохранится в 2014 году, и мы увидим основной рост именно в среднем сегменте».

В начало⇑

 

Комментарии отсутствуют

Комментарии могут отставлять только зарегистрированные пользователи

Выпуск №08 (81) 2018г.
Выпуск №08 (81) 2018г. Выпуск №07 (80) 2018г. Выпуск №06 (79) 2018г. Выпуск №05 (78) 2018г. Выпуск №04 (77) 2018г. Выпуск №03 (76) 2018г. Выпуск №02 (75) 2018г. Выпуск №01 (74) 2018г.
Вакансии на сайте Jooble

           

Tel.: (499) 277-12-41  Fax: (499) 277-12-45  E-mail: sa@samag.ru

 

Copyright © Системный администратор

  Яндекс.Метрика