Технологии и средства хранения и обработки данных

Надежное хранение данных – задача, которую приходится решать каждой организации. Проблемы возникают, когда повышаются объемы информации и растут требования к ее защите. Современные системы хранения данных – это сложные программно-аппаратные комплексы, каждый из которых специально разрабатывается под нужды конкретного заказчика.

Что именно нужно компаниям, чтобы организовать работу с информацией наилучшим образом? Сориентироваться на высокотехнологичном рынке – непростая, но разрешимая задача. Давайте разбираться по порядку.

Что такое СХД и почему в ней возникла необходимость

Система хранения данных (СХД) представляет собой конгломерат программного обеспечения и специализированного оборудования, предназначенный для хранения и передачи информации больших объемов. Особенностью СХД является оптимальное распределение ресурсов при хранении информации на дисковых площадках

Необходимость в СХД возникла, когда массивы хранимой и передаваемой информации превысили все мыслимые на тот момент пределы. Согласно данным TAdviser, c 2010 г. объем хранимой информации каждый год возрастает примерно на 50% от ее первоначального объема. Растет и стоимость информации, поскольку от нее напрямую зависят все бизнес-процессы. TAdviser отмечает, что в России в третьем квартале 2014 года наблюдался рост емкости систем хранения данных на 22,3%, а стоимость СХД, поставленных на российском рынке, превысила $114,38 млн.

Надежное хранение данных и быстродействие доступа к ним требуют организации средств хранения, как отдельной подсистемы вычислительных комплексов. Эта подсистема должна быть грамотно спроектирована и внедрена, чтобы обеспечить возможность восстановления утраченных данных.

Применение СХД

Системы хранения данных в настоящее время применяются повсеместно: от хранения архивов видеонаблюдения в магазинах до работы с информацией в госструктурах, банках и на крупных предприятиях. В качестве отдельных примеров организации современных многоуровневых СХД последнего времени можно привести проекты агропромышленного холдинга «Разгуляй», «Банка Хоум Кредит», «Райффайзенбанка», телекоммуникационной компании «Мегафон».

Разработчики систем хранения данных

Наиболее авторитетны на рынке разработчики, располагающие обширными партнерскими и сервисными сетями по всему миру, вкладывающие крупные средства в создание и маркетинг новой продукции, имеющие миллиардные обороты в секторе СХД. Это такие известные и уважаемые бренды, как Dell, EMC, Fujitsu, Hitachi, HP, Violin, Symantec, NetApp, Oracle. Они контролируют около 80% рынка.

Организация системы хранения данных

СХД должна быть масштабируемой, то есть гибкой, отказо- и катастрофоустойчивой. Необходимо обеспечивать ее соответствие стандартам и требованиям информационной и физической безопасности.

В случаях, когда требуется хранение больших объемов данных, важно не просто создать СХД, но и сделать ее оптимальной для решения конкретных задач компании.

Варианты подключений

«Внутреннее» (подключения устройств и жестких дисков внутри одного хранилища: SCSI, Serial Attached SCSI (SAS), Serial ATA (SATA), Fibre Channel (FC). Накопитель устанавливается непосредственно на сервер.
«Внешнее» (FC, Fibre Channel over Ethernet (FCoE), SCSI, iSCSI. Накопитель подключается к серверу с помощью шины).
Кластерное (Infiniband). Подключение, организованное на основе кластеров (подсетей). Позволяет передавать данные с высокими скоростями за счет оптимальной маршрутизации

Основные элементы

СХД состоит из накопителей информации, серверов, инфраструктуры, обеспечивающей связь между ними, и системы управления.

Типы СХД

Системы хранения данных по типу накопителей информации делятся на три больших группы.

Дисковые. Используются самые первые, распространенные и недорогие накопители. В современных условиях существенным недостатком становится то, что скорость передачи информации ограничивается скоростью вращения шпинделя, на котором закреплены пластины жесткого диска, однако современные дисковые СХД очень экономичные и «умные» в сравнении с их предшественниками.
Ленточные (кассетные). Мобильность кассет в сочетании с возможностью длительного хранения и восстановления информации делают их популярным средством для создания надежного электронного архива с физическим ограничением доступа к информации. Широко используются в мультимедийных библиотеках, где особенно важна низкая стоимость терабайта информации.
Флэш. Полупроводниковые накопители отличаются высочайшей скоростью работы. Если у жесткого диска на обработку запроса уходит в среднем 6–7 мс, то для флэш-накопителей этот показатель достигает 0,1 мс. Таким образом, количество транзакций в секунду возрастает на 1–2 порядка. До недавнего времени флэш-накопители считались дорогими и использовались в гибридных системах вместе с дисковыми. Сейчас ситуация меняется и все чаще внедряются СХД полностью на флэш-накопителях, которые позволяют существенно сэкономить пространство серверов.

Технологии хранения

Говоря о технологиях хранения, невозможно обойти вниманием термин RAID. Redundant array of independent disks — избыточный массив независимых дисков — это технология виртуализации данных, которая объединяет несколько дисков в логический элемент для повышения производительности. В зависимости от выбранного типа RAID, технологии хранения делятся на два класса:

С использованием аппаратного RAID. Более дорогое и не всегда оправданное решение, связанное с покупкой дополнительного компьютерного «железа» с собственной памятью и выделенным процессором. Аппаратный RAID требуется при наличии в системе как минимум четырех и более накопителей.
С использованием программного RAID. В этой технологии используются контроллеры на материнской плате, которые не имеют своей памяти и выделенного процессора. Они используют от 2-5% ресурсов центрального процессора сервера. Не менее надежны, чем аппаратные решения, используются в небольших системах.

Устройства хранения

DAS. Накопители ставятся непосредственно в сервер для получения дополнительного пространства со сравнительно быстрым доступом. Самый простой и недорогой вариант.
NAS. Хранилище, подключаемое по сети. Отличается гибкостью и централизованным управлением, однако скорость доступа ограничена скоростью сети.
SAN. Хранилище, подключаемое через оптико-волоконный кабель. Сочетает в себе все плюсы NAS с высокой скоростью доступа.

Создание системы хранения данных

Для создания хранилищ данных требуется разработка логической модели, которая будет полностью отражать ожидания клиента и возможности разработчика. После этого можно рассматривать технологические аспекты – например, размеры хранилища. Логическая модель может содержать тысячи атрибутов и связей.

Стоимость СХД варьируется в зависимости от масштаба, логической модели и оборудования. В одних случаях речь идет о сотнях тысяч рублей, в других – о десятках миллионов. На создание СХД может уйти от одного месяца до полугода. Важным фактором, который следует учитывать, является необходимость сервисной поддержки оборудования. Ее можно заказать непосредственно в представительстве мирового производителя или у локальной IT-компании. Во втором случае стоимость владения СХД заметно снизится.