SSD-кэширование - это когда перед большим и медленным массивом жёстких дисков ставят небольшой быстрый SSD, и на нём автоматически оседают данные, к которым обращаются чаще всего. Сервер читает «горячие» данные с SSD, а всё остальное лежит на дешёвых HDD. Получается заметно быстрее, чем на одних дисках, и заметно дешевле, чем целиком на SSD.
Чтобы настроить SSD-кэширование, нужны три вещи: серверный SSD (лучше два), поддержка кэша в RAID-контроллере или в программной части (ZFS, Linux LVM, Windows Server) и понимание, какой режим кэша выбрать - только на чтение или ещё и на запись. Ниже разберём, как это работает, когда помогает и как включить кэш на каждой из платформ.
Жёсткие диски хороши объёмом и ценой за терабайт, но медленны на случайном доступе: головке нужно физически доехать до нужной дорожки. Для баз данных, 1С и виртуальных машин важна как раз скорость случайных операций (IOPS), и здесь разница между HDD и SSD - на порядки:
| Накопитель | Случайные операции (IOPS), порядок | Задержка, порядок |
|---|---|---|
| HDD 7200 об/мин | около 100-200 | единицы миллисекунд |
| SATA SSD | десятки тысяч | около 0,1 мс |
| NVMe SSD | сотни тысяч и больше | десятки микросекунд |
Массив из нескольких больших HDD даёт много места, но всего сотни IOPS - и упирается в диски, как только с ним одновременно работают десяток пользователей или пара виртуальных машин. Массив целиком на SSD быстр, но дорог в пересчёте на терабайт. SSD-кэш - компромисс между ними: объём от жёстких дисков, скорость на часто используемых данных - от SSD. Подробнее о том, когда сервер выгоднее сразу перевести на SSD, - в отдельной статье.
Кэш работает потому, что данные используются неравномерно: в 1С активно работают с текущим периодом, а архив прошлых лет открывают редко; на файловом сервере каждый день открывают одни и те же папки. Эта часть данных - «горячая» - обычно занимает малую долю массива.
Алгоритм кэша чтения простой:
Со временем на SSD собираются востребованные данные, и большая часть чтений идёт с него.
С записью сложнее. Кэш бывает в двух режимах:
| Режим | Как работает | Что ускоряет | Риск при отказе SSD |
|---|---|---|---|
| Только чтение / write-through | Запись идёт сразу на HDD (и в кэш), чтение - из кэша | Чтение | Нет: все данные есть на HDD. Достаточно одного SSD |
| Write-back | Запись сначала попадает на SSD, на HDD сбрасывается позже | Чтение и запись | Да: несброшенные данные есть только на SSD. Нужен RAID 1 из двух SSD и SSD с защитой от потери питания |
Кэш записи на одном SSD без зеркала - прямой путь к потере данных: если этот SSD умрёт, всё, что ещё не успело уйти на жёсткие диски, пропадёт, а файловая система может оказаться повреждённой. Под write-back всегда ставят два SSD в RAID 1.
Помогает, когда есть небольшая часть данных, к которой обращаются постоянно, и доступ к ней случайный: базы данных и 1С на HDD, виртуальные машины на общем хранилище из жёстких дисков, файловый сервер с активными рабочими папками, почтовый сервер.
Почти не помогает, когда данные читают один раз или подряд большими кусками: резервные копии, видеоархив, крупные файлы, которые копируют целиком. Жёсткие диски на последовательном чтении и записи и так неплохи, а данные, к которым не возвращаются, в кэше бесполезны и только вытесняют полезное.
И ещё одно: SSD подешевели настолько, что для небольшого сервера под 1С или виртуализацию часто проще сразу поставить массив из SSD и не возиться с кэшем. SSD-кэш выгоден, когда нужен большой объём (десятки терабайт) и вместе с ним быстрый доступ к его небольшой части. Как устроены схемы, где SSD и HDD работают вместе, включая многоуровневое хранение, мы разбирали в статье про гибридное хранение на SSD и HDD.
Серверные SSD. Кэш нагружен сильнее остального хранилища, SSD в нём постоянно перезаписывается. Нужны модели с запасом ресурса записи (параметр DWPD - сколько полных перезаписей в день выдерживает диск) и, для кэша записи, с защитой от потери питания (PLP): благодаря конденсаторам SSD успевает дописать данные из своего буфера при отключении. Бытовые SSD для кэша записи не подходят. Какой интерфейс выбрать, разобрано в статье про то, какой интерфейс SSD выбрать: SAS, SATA или NVMe.
Объём кэша. Его подбирают под «горячие» данные - то, с чем работают за день-неделю. Обычно это 5-10% от объёма массива. Слишком маленький кэш постоянно вытесняет нужные блоки, слишком большой не окупается.
Два SSD в RAID 1, если кэш будет работать на запись. Для кэша только на чтение хватит одного.
Поддержка в контроллере или ПО. Кэш умеют некоторые RAID-контроллеры, а из программных средств - ZFS, Linux LVM, Windows Server (Storage Spaces) и многие СХД.
Конкретные шаги зависят от того, где строится массив. Перед любыми изменениями - свежая резервная копия: подключение и отключение кэша трогает том с данными.
У LSI (теперь Broadcom) эта функция называлась CacheCade, у Adaptec - maxCache (контроллеры с буквой Q в названии). Обычно это платная опция или отдельная модель контроллера прошлых поколений, и на многих новых контроллерах её нет. Поэтому сначала проверьте по документации своей модели, поддерживает ли она SSD-кэш.
Если поддерживает, порядок такой: подключаете SSD к контроллеру, в его утилите (MegaRAID Storage Manager, storcli, maxView или меню контроллера при загрузке) создаёте из SSD кэш-том, выбираете режим (только чтение или чтение и запись) и привязываете его к массиву из HDD. Перезагрузка обычно не нужна, кэш наполняется постепенно.
В ZFS кэш чтения второго уровня называется L2ARC, а отдельное устройство для журнала синхронной записи - SLOG. Добавляются они к существующему пулу одной командой:
# кэш чтения L2ARC (достаточно одного SSD)
zpool add tank cache /dev/nvme0n1
# SLOG для синхронной записи - только зеркалом
zpool add tank log mirror /dev/nvme1n1 /dev/nvme2n1
Две оговорки. SLOG ускоряет только синхронную запись (базы данных, NFS, виртуальные машины с синхронной записью), на обычное копирование файлов он не влияет. L2ARC расходует часть оперативной памяти на свой индекс, поэтому при нехватке памяти сначала добавляют RAM, и только потом SSD-кэш. Подробнее о самой файловой системе - в статье о том, как устроена ZFS и кому она нужна, а про настройку ZFS и RAID в Proxmox - в отдельном материале.
Если данные лежат на логическом томе LVM, SSD добавляют в ту же группу томов и подключают к тому как кэш:
# добавить SSD в группу томов vg
vgextend vg /dev/nvme0n1
# создать на SSD том под кэш
lvcreate -n fastcache -L 200G vg /dev/nvme0n1
# подключить его как кэш к тому vg/data (по умолчанию write-through)
lvconvert --type cache --cachevol fastcache vg/data
# отключить кэш, если понадобится
lvconvert --uncache vg/data
По умолчанию кэш работает в режиме write-through, то есть ускоряет чтение и безопасен при отказе SSD. Режим write-back включают параметром --cachemode writeback - и только при зеркалированных SSD.
В Windows Server SSD и HDD объединяют в один пул дисковых пространств и создают на нём виртуальный диск с двумя уровнями - быстрым на SSD и ёмким на HDD. Система сама, по расписанию (обычно раз в сутки), переносит часто используемые данные на уровень SSD, а для записи использует буфер на SSD (кэш с обратной записью; в документации Microsoft по умолчанию указан 1 ГБ). Настраивается это в «Диспетчере серверов» (Файловые службы и службы хранилища → Пулы носителей) или командами PowerShell при создании виртуального диска. Размер буфера записи задаётся только при создании диска.
«SSD cache» в ноутбуке - это обычно Intel Smart Response Technology: маленький SSD на 16-32 ГБ ускорял жёсткий диск в ноутбуках середины 2010-х. Эта технология снята с поддержки, а её преемник - память Intel Optane - тоже свёрнут. Сегодня на ПК проще и надёжнее поставить систему и программы на SSD, а жёсткий диск оставить под файлы.
Часто под «кэшированием для SSD» имеют в виду совсем другое - галочку в свойствах диска: «Диспетчер устройств» → диск → «Свойства» → вкладка «Политика» → «Разрешить кэширование записей для этого устройства». Это кэш записи в оперативной памяти компьютера, к SSD-кэшу он отношения не имеет.
Массив из нескольких больших жёстких дисков - дешёвый и ёмкий, но медленный на случайном доступе. Массив целиком на SSD - быстрый, но дороже в пересчёте на терабайт. SSD-кэш берёт лучшее от обоих: пара серверных SSD перед массивом из HDD ускоряет работу с часто используемыми данными в разы, не требуя покупать весь объём на SSD.
Кэш только на чтение безопасен и прост, кэш на запись быстрее, но требует двух SSD в зеркале и SSD с защитой от потери питания. Для небольших серверов стоит сравнить: иногда массив целиком на SSD обходится не дороже связки HDD с кэшем и проще в обслуживании. Для крупных систем хранения то же решение выросло в флеш-массивы на NVMe.
Результат настройки стоит проверить нагрузочным тестом до и после: в Linux - утилитой fio, в Windows - DiskSpd от Microsoft. Мерить нужно случайное чтение и запись мелкими блоками, а кэшу дать время наполниться.
Это маленький SSD (обычно 16-32 ГБ), который ускорял основной жёсткий диск по технологии Intel Smart Response. Встречался в ноутбуках середины 2010-х. Технология больше не поддерживается; если ноутбук такой, разумнее заменить жёсткий диск на SSD целиком.
Столько, чтобы поместились «горячие» данные - то, с чем работают постоянно. Ориентир - 5-10% от объёма массива. Для кэша только на чтение хватит одного SSD, для кэша записи нужны два в RAID 1.
Для кэша только на чтение (write-through, L2ARC) - да: при отказе SSD данные останутся на жёстких дисках. Для кэша записи - нет, нужен зеркальный RAID 1.
Да, опцию «Разрешить кэширование записей для этого устройства» оставляйте включённой. Вторую - «Отключить очистку буфера кэша записей» - включайте только при наличии ИБП.
Собираете хранилище на HDD с SSD-кэшем или переходите на SSD?
Поможем посчитать, что выгоднее под вашу нагрузку - массив из жёстких дисков с SSD-кэшем или целиком на SSD, подберём RAID-контроллер и серверные SSD с нужным ресурсом. Посмотрите серверные SSD и жёсткие диски в каталоге или напишите нам: +7 (800) 551-80-12, info@ittelo.ru. Серверами мы занимаемся больше 11 лет и за это время накопили серьёзную экспертизу. Даём гарантию до 5 лет, берём сервер на постпродажное обслуживание и не пропадаем после отгрузки.