Эксперты в подборе IT-оборудования
Массив из четырёх дисков по 4 ТБ, один вышел из строя. Замену купили той же линейки, поставили, запустили восстановление. Прошли сутки, потом вторые, а прогресс едва сдвинулся. Контроллер исправен, партия не бракованная: у нового диска черепичная запись, SMR.
Короткий ответ на вопрос «SMR или CMR»: для RAID, NAS, ZFS и любого массива, куда постоянно пишут, берут CMR. SMR-диск нормально работает одиночным хранилищем под архив и копии, которые записываются крупными порциями и редко перезаписываются. Ниже разберём, почему так, как узнать тип записи у диска, который уже стоит в сервере, и что делать, если SMR оказался в массиве.
Быстрый выбор
RAID 1, 5, 6, 10, ZFS, mdadm, офисный NAS → CMR.
Массив под виртуальные машины, 1С, почту, файловый сервер → CMR.
Отдельный диск для еженедельной копии или архива → SMR подойдёт.
Не знаете, какой тип у диска → проверьте модель по списку производителя (как это сделать - ниже).
Обе технологии записи хранят данные на тех же магнитных пластинах, разница в том, как уложены дорожки.
CMR (Conventional Magnetic Recording, обычная магнитная запись) - это способ записи, при котором дорожки на пластине не перекрываются. Головка переписывает сектор, соседние данные остаются на месте. Технология записи CMR стоит в большинстве жёстких дисков для NAS и серверов.
SMR (Shingled Magnetic Recording, черепичная запись) - это способ записи, при котором каждая дорожка частично ложится на соседнюю. На ту же пластину помещается больше данных, терабайт выходит дешевле. Расплачиваться приходится на перезаписи. Название точное: как в ряду черепицы, одну плитку из середины не заменить, не сняв те, что лежат сверху. Чтобы изменить данные на одной дорожке, диск переписывает целую группу дорожек, которая называется зоной.
| CMR | SMR (управляется самим диском) | |
|---|---|---|
| Дорожки | лежат раздельно | внахлёст |
| Цена за терабайт | выше | ниже за счёт плотности записи |
| Чтение | обычное | такое же |
| Последовательная запись на пустой диск | обычная | в даташите выглядит так же |
| Перезапись и мелкая случайная запись | ровная скорость | быстро, пока не кончился буфер, потом провалы |
| Восстановление массива | часы | может растянуться на дни |
| Где встречается | NAS-линейки, серверные диски | недорогие настольные 3,5", ноутбучные 2,5", часть внешних USB-дисков |
Отдельно про путаницу с PMR. PMR (Perpendicular Magnetic Recording, перпендикулярная запись) описывает, как намагничены участки пластины. Этот принцип используют и CMR-, и SMR-диски, так что PMR и SMR не противоположности. Магазины и даже производители часто пишут «PMR» в значении «без черепицы». Надёжнее искать в даташите строку, где тип записи назван прямо: CMR или SMR.
У SMR-диска из магазина внутри есть область с обычной, нечерепичной записью. Это буфер, производители называют его media cache. Новые данные сначала падают туда, а раскладывать их по черепичным зонам диск будет потом, в простое. Размер буфера в даташитах обычно не пишут.
Пока буфер не заполнен, диск ведёт себя как обычный. Что происходит под долгой записью:
| Шаг | Что делает диск | Что видит сервер |
|---|---|---|
| 1. Запись началась | складывает данные в буфер | обычная скорость |
| 2. Буфер заполнен | переносит данные из буфера в зоны, переписывая зоны целиком | скорость падает до единиц или десятков МБ/с |
| 3. Запись продолжается | переносит старое и принимает новое одновременно | долгие паузы в ответах |
| 4. Нагрузка ушла | в простое разгребает буфер | через время диск снова «быстрый» |
Отсюда популярная ошибка проверки. На новый диск скопировали 20 ГБ, скорость отличная, диск признан годным. Буфер просто ещё не кончился. Проблема видна на долгой записи в десятки и сотни гигабайт подряд. Именно такая запись и идёт при восстановлении массива.
SMR бывает трёх видов, и для выбора дисков в офис важен только первый:
| Вид | Что видит операционная система | Где встречается |
|---|---|---|
| DM-SMR (Drive-Managed, управляет диск) | обычный диск, о зонах ничего не знает | настольные, ноутбучные, внешние диски, WD Red 2-6 ТБ |
| HA-SMR (Host-Aware) | обычный диск, но умеет отдавать системе сведения о зонах | промежуточный вариант |
| HM-SMR (Host-Managed, управляет хост) | зонированное устройство, писать можно только последовательно | облачные и архивные модели, например WD Ultrastar DC HC680 |
HM-SMR в обычный RAID или ZFS не поставить: такому диску нужно программное обеспечение, которое само раскладывает данные по зонам. Когда в споре звучит «облака же используют SMR», речь как раз про HM-SMR и собственный стек хранения. К диску из магазина для офисного NAS это не относится.
Восстановление массива (ребилд, в ZFS - resilver) - многочасовая запись на новый диск без пауз. Ровно та нагрузка, при которой DM-SMR исчерпывает буфер и уходит в переукладку. Простоя, в котором диск навёл бы порядок, нет: контроллер продолжает писать.
Нагляднее всего это показал замер ServeTheHome весной 2020 года. Массив RAIDZ из четырёх дисков по 4 ТБ заполнили примерно на 60 %, один диск заменили и запустили восстановление. С CMR-дисками (WD Red WD40EFRX, Seagate IronWolf, HGST) resilver занял меньше 17 часов. С SMR-диском WD Red WD40EFAX - почти 230 часов, больше девяти суток. Процесс завершился без ошибок, тест повторили на втором экземпляре с тем же результатом. Всё это время массив работал без запаса прочности: отказ ещё одного диска в RAIDZ1 означал бы потерю пула.
Для CMR время ребилда можно прикинуть заранее. Грубая формула: объём диска делим на среднюю скорость записи. Аппаратный RAID и mdadm проходят диск целиком, ZFS копирует только занятые данные.
| Ёмкость диска | Средняя скорость (допущение) | Ребилд без нагрузки, оценка |
|---|---|---|
| 4 |