Эксперты в подборе IT-оборудования
СХД состоит из трёх крупных частей: контроллерного модуля, дисковых полок с накопителями и программного обеспечения, которое превращает набор дисков в надёжные тома для серверов. В двухконтроллерной системе продублировано всё, от чего зависит доступ к данным: контроллеры, блоки питания, пути до каждого диска. Поэтому она продолжает работать, когда отказывает отдельный узел.
Ниже - что делает каждая часть, как через них проходит запрос и на что смотреть, когда выбираете систему.
| Узел | Что делает | На что смотреть при выборе |
|---|---|---|
| Контроллеры (обычно два) | Принимают запросы серверов, считают RAID, управляют кэшем, при отказе одного второй забирает всю нагрузку | Режим работы (симметричный active-active или ALUA), объём кэша, какие функции входят в базовую лицензию |
| Кэш и его защита | Ускоряет запись и чтение часто запрашиваемых данных; при пропадании питания содержимое сбрасывается во флеш-память | Зеркалирование кэша между контроллерами, защита батареей или суперконденсаторами |
| Порты к серверам | Подключают СХД к серверам напрямую или через коммутаторы сети хранения | Протокол и скорость: FC 32/64 Гбит/с, iSCSI 10/25/100 Гбит/с, SAS; сколько портов на контроллер |
| Подключение полок | Связывает контроллеры с дисковыми полками | SAS 12G/24G или NVMe; два независимых пути до каждой полки |
| Дисковые полки и бэкплейн | Корпус с отсеками под диски. Бэкплейн - плата, которая разводит к дискам сигналы и питание, SAS-экспандеры дают обоим контроллерам доступ к каждому диску | Число и размер отсеков (2,5" или 3,5"), сколько полок держит один контроллерный модуль |
| Накопители | HDD, SAS/SATA SSD, NVMe SSD - хранят сами данные | Тип под нагрузку, объём, поддержка двух портов |
| Блоки питания и вентиляторы | По два и больше, каждый можно заменить на работающей системе | Горячая замена, резерв по питанию |
| Микрокод и ПО управления | Пулы и тома, снапшоты, репликация, мониторинг | Что входит в базовую поставку, а что лицензируется отдельно; срок обновлений |
Путь запроса выглядит так: сервер обращается к порту СХД, контроллер сначала ищет данные в кэше, и если их там нет, идёт по SAS к нужной полке, через экспандер и бэкплейн - к диску. Ответ возвращается тем же путём. При записи сервер получает подтверждение, как только данные легли в кэш обоих контроллеров, на диски они уходят чуть позже. За счёт этого запись в СХД быстрее, чем в отдельный диск, и не теряется при отказе одного контроллера.
Контроллер в СХД - это специализированный компьютер, который управляет потоками данных, распределяет нагрузку и следит за отказоустойчивостью. У систем начального и среднего класса оба контроллера обычно стоят в одном корпусе, его называют контроллерным или головным модулем.
В профессиональных системах обычно два контроллера, которые работают в режиме Active-Active. В таком режиме оба контроллера одновременно обрабатывают запросы, синхронизируя данные между собой по высокоскоростной линии связи. Упал один - второй подхватывает всю нагрузку, а сервер через multipath переключается на оставшиеся пути. Пользователи видят в худшем случае короткую паузу ввода-вывода.
Многие СХД считают контрольные суммы для каждого блока данных и защищают их на всём пути от порта до диска. Так ловится незаметная порча данных (silent data corruption), которую не обнаружит обычная проверка.
Есть и более простая схема Active-Passive, где второй контроллер ждёт отказа первого. Она дешевле, но переключение занимает от нескольких секунд до десятков секунд. Multipath на сервере и таймауты ввода-вывода в ОС рассчитаны на такую паузу, поэтому для большинства задач малого бизнеса это приемлемо. Заранее проверить стоит только то, как переживает паузу ваше самое чувствительное приложение.
Внутри контроллера - процессор (часто многоядерный), оперативная память и кэш. Кэш заслуживает особого внимания. Это быстрая память, куда контроллер временно складывает часто запрашиваемые данные, чтобы не тормозить систему походами на медленные диски. Оперативная память отвечает за микросекунды, флеш - за доли миллисекунды, а жёсткий диск на случайном чтении тратит 5-10 мс. Поэтому многоуровневое кэширование (RAM + Flash) стало стандартом для серьёзных нагрузок.
Контроллеры также отвечают за управление трафиком. Представьте: 50 виртуальных машин одновременно просят данные. Контроллер решает, в каком порядке их обслужить, как распределить нагрузку между дисками, какие данные держать в кэше. Всё это СХД делает сама, не нагружая ваши серверы.
Ещё один плюс двухконтроллерной архитектуры - обновление прошивки без остановки системы. Обновили один контроллер, переключили трафик на второй, обновили его - готово. Простоя нет, данные доступны.
Если контроллеры - это мозг, то дисковые полки (или шелфы, от англ. shelf) - это склад. Полка - это отдельный корпус, куда устанавливаются накопители. Обычно это 12 или 24 отсека в корпусе высотой 2U, у полок высокой плотности - 60 и больше дисков в 4-5U.
Полки расширения в составе СХД почти всегда устроены как JBOD - набор дисков без собственного RAID. Внутри у них модули ввода-вывода с SAS-экспандерами, а всей работой управляет контроллер СХД. Бывают и полки со своими RAID-контроллерами (их называют RBOD), но такая полка уже сама по себе отдельная СХД и подключается к серверу напрямую.
Дисковые полки подключаются к контроллерам по SAS, у all-flash систем - по NVMe. Новые полки добавляются на работающей системе, без остановки, и так СХД растёт до петабайтных объёмов.
Что касается дисков, в полки устанавливают три типа накопителей:
| Тип накопителя | Скорость (IOPS) | Объём одного диска | Применение |
|---|---|---|---|
| HDD (7200 об/мин) | 100-200 | До 30-32 ТБ | Архивы, холодные данные |
| SSD (SATA/SAS) | 10 000-100 000 | До 30,72 ТБ | Базы данных, виртуализация |
| NVMe SSD | 200 000-1 000 000 и выше | До 122,88 ТБ, отдельные модели - 245 ТБ | Высоконагруженные приложения, big data |
Гибридные конфигурации, когда в одной системе работают HDD и SSD, сейчас норма. Часто используемые данные автоматически переезжают на быстрые диски, архивные остаются на медленных. Это называется тирингом, подробнее - в статье про автоматическое перемещение данных по уровням хранения. Экономия и скорость одновременно.
Полки подключаются к контроллерам специальными SAS-кабелями. Длина у медных кабелей - единицы метров (для SAS-4 по пассивной меди - до 6 м), поэтому полки обычно стоят в той же стойке. Дальше нужны активные или оптические кабели. Сами полки соединяют в цепочку: контроллер - первая полка - вторая и так далее.
Теперь про то, как всё это общается между собой и с внешним миром. СХД не существует в вакууме - она подключена к серверам, которым отдаёт данные. Для этого есть несколько протоколов, и выбор зависит от задач - разобрали, как устроены iSCSI, Fibre Channel, NFS и SMB и что когда брать.
iSCSI - передача блочных данных по обычной Ethernet-сети. Дёшево, просто настраивается, а скорость определяется сетью: 10, 25 или 100 Гбит/с. Подходит для малого и среднего бизнеса, где нет требований к сверхнизким задержкам.
Fibre Channel (FC) - выделенная сеть хранения данных со скоростью 8, 16, 32 или 64 Гбит/с. Сейчас мейнстрим - 32GFC и 64GFC (седьмое поколение), 128GFC относится к восьмому поколению и только выходит на топовое оборудование. Дороже в развёртывании, зато минимальные задержки и стабильность. Банки, медицина, крупные дата-центры выбирают FC.
NVMe over Fabrics (NVMe-oF) - протокол, который выжимает максимум из NVMe-дисков и снижает задержки до десятков микросекунд. Работает поверх Ethernet (NVMe/TCP, NVMe/RoCE), InfiniBand или Fibre Channel. Пока дорого, но для виртуализированных сред и аналитики больших данных это становится стандартом.
| Протокол | Скорость | Задержка | Применение |
|---|---|---|---|
| iSCSI | 1-100 Гбит/с (по скорости Ethernet) | Средняя | Малый/средний бизнес |
| FC | 8-64 Гбит/с (128 - восьмое поколение) | Низкая | Критичные системы |
| NVMe-oF | По скорости сети: 25-400 Гбит/с Ethernet или FC 32/64 | Минимальная | Big data, AI, HPC |
Внутри СХД данные организуются в RAID-массивы или пулы. RAID - это избыточное распределение информации по дискам для защиты от отказов. Основные уровни такие: RAID 5 жертвует одним диском под чётность, RAID 6 - двумя, RAID 10 зеркалирует диски попарно. RAID считает сам контроллер СХД, поэтому ваш сервер этим не нагружается. У большинства нынешних систем это прошивка на многоядерных процессорах контроллера, так что спор «аппаратный или программный RAID» здесь теряет смысл: важно, что работу делает СХД, а не хост. Серверу из пула выделяются логические тома - LUN, которые он видит как обычные диски.
Репликация данных - ещё один уровень защиты. Контроллеры могут синхронно или асинхронно копировать данные на вторую СХД в другом здании или городе. Сгорел дата-центр - переключились на резервный, работаем дальше. Синхронная репликация дороже и медленнее (данные пишутся одновременно в оба хранилища), зато гарантирует нулевую потерю информации. Сценарии и настройку мы разбирали в статье про репликацию данных между системами хранения.
Когда выбираете СХД, первым делом смотрят, сколько операций ввода-вывода в секунду (IOPS) и какую пропускную способность (throughput) вы получите. Для баз данных критичны IOPS - много мелких операций чтения-записи. Для видеомонтажа или резервного копирования важнее throughput - скорость передачи больших файлов.
Расчёт производительности зависит от рабочей нагрузки (workload), и цифры лучше снимать с ваших текущих серверов, а не брать из буклета. Нагруженной базе данных обычно нужен all-flash и десятки тысяч IOPS при задержке около миллисекунды. Файловому серверу отдела хватит гибридной конфигурации с SSD-кэшем. Архив спокойно живёт на HDD.
Контроллер следит и за распределением нагрузки. Он отслеживает «горячие точки» (hot spots) - диски или тома, которые перегружены. Дальше есть два механизма: балансировка раскладывает данные равномерно по дискам пула, а тиринг переносит самые востребованные блоки на быстрые накопители. Вы не заметите, что происходит под капотом, но система будет работать ровнее.
Масштабирование полок - отдельная тема. Начали с одной полки на 24 диска, потом добавили вторую, третью. Контроллер видит новые диски, вы расширяете пул, и система перераспределяет данные. Горячее масштабирование есть у любой профессиональной СХД: систему наращивают по мере роста данных, не останавливая её.
Резервирование - основа отказоустойчивости СХД. Кроме контроллеров, продублированы блоки питания, вентиляторы и кабели. Упал один блок питания - второй держит систему. Отключили электричество в здании - контроллеры на батарее или суперконденсаторах сбрасывают содержимое кэша во флеш-память и корректно завершают работу.
Шифрование данных - стандарт для чувствительной информации. Диски с самошифрованием (SED, Self-Encrypting Drive) автоматически шифруют информацию на лету, не нагружая контроллер. Если на СХД включено управление ключами, данные с украденного из полки диска не прочитать.
Мониторинг работает в реальном времени. Контроллер отслеживает температуру дисков, износ ячеек SSD, количество ошибок чтения. Прогнозирование отказов (predictive maintenance) помогает заменить диск до того, как он умрёт. Система видит, что диск начал сыпаться, заранее копирует его данные на резервный диск и шлёт уведомление, вы заказываете замену. Простоя нет.
Инструменты для анализа hot spots помогают понять, где узкие места. Один LUN (логический диск) перегружен запросами? Перенесите его на более быстрые диски или распределите нагрузку. Решение принимается по телеметрии - графикам задержек и нагрузки на каждый том.
Гиперконвергентные системы размывают границы между вычислениями и хранением. В одном корпусе - и серверы, и СХД, управляемые единым софтом. Удобно для облачных провайдеров и виртуализированных сред, но классические СХД никуда не денутся там, где важны надёжность и предсказуемая производительность.
Объектное хранилище (object storage) набирает популярность для неструктурированных данных - фото, видео, логи. Объектные СХД масштабируются до сотен петабайт, но работают медленнее блочных. Под каждую задачу - свой инструмент.
Переход на NVMe идёт полным ходом. Задержки снижаются с миллисекунд до десятков микросекунд, что критично для финансовых транзакций, анализа больших данных и искусственного интеллекта. Инфраструктура дорогая, но скорость окупает вложения.
Понимание того, из чего состоит СХД, помогает читать спецификации без подсказки продавца. Сколько контроллеров и в каком режиме они работают, как защищён кэш, какие порты стоят и сколько полок можно добавить - эти четыре вопроса отсекают большую часть неподходящих вариантов ещё до разговора о цене.
Полка расширения без своих контроллеров - часть СХД: сама она данные серверу не отдаёт, а подключается к контроллерному модулю. Такую же полку можно подключить к серверу напрямую через SAS-адаптер, и тогда это обычный JBOD, а RAID считает сервер. Полка со своими RAID-контроллерами - уже самостоятельная система хранения.
Контроллерный (головной) модуль, в документации - controller enclosure. В нём стоят контроллеры, порты к серверам и блоки питания. У систем начального уровня в том же корпусе есть отсеки под 12 или 24-25 дисков, и одна такая «голова» без полок расширения уже работает как полноценная СХД.
В режиме active-active - да, но устроено это двумя способами. В симметричной схеме любой контроллер одинаково обслуживает любой том. В схеме ALUA у каждого тома есть контроллер-владелец: второй тоже принимает запросы, но путь через владельца быстрее, и сервер об этом знает. ALUA встречается у многих систем начального и среднего класса. В обоих случаях на сервере должен быть настроен multipath, иначе отказ контроллера сервер не переживёт.
У сервера с RAID-контроллером одна материнская плата, одна ОС и один блок управления дисками, и отказ любого из них останавливает доступ к данным. У СХД всё это продублировано, а её тома могут одновременно использовать несколько серверов - это нужно для кластера виртуализации. Если сервер один и простой на замену платы терпим, достаточно сервера с дисками и хорошего бэкапа. Если хостов два-три и виртуальные машины должны переезжать между ними, нужна общая СХД или программное хранилище, собранное из дисков самих серверов. Подробнее - в статье про отличие сервера от СХД.
Выбираете СХД и хотите понять, что из её начинки нужно именно вам?
Поможем разобраться в спецификациях: сколько контроллеров, какие порты и диски, сколько полок закладывать на рост, и соберём конфигурацию с тестом перед отгрузкой. Посмотрите СХД и дисковые массивы в каталоге или напишите нам: +7 (800) 551-80-12, info@ittelo.ru. Серверами и системами хранения мы занимаемся больше 11 лет и за это время накопили серьёзную экспертизу. Даём гарантию до 5 лет, берём оборудование на постпродажное обслуживание и не пропадаем после отгрузки.
