Протоколы доступа к данным в СХД: iSCSI, Fibre Channel, NFS и SMB

Протоколы доступа к данным в СХД делятся на два лагеря: блочные (iSCSI и Fibre Channel) и файловые (NFS и SMB). Блочные отдают серверу «сырой» диск, файловые - готовую файловую систему. От этого выбора зависит и производительность, и цена инфраструктуры, и то, сколько времени уйдёт на настройку.

NFS придумали в 1984 году, и он до сих пор держит медиа-продакшн и Unix-инфраструктуру. Fibre Channel обходится кратно дороже Ethernet-решений - и его всё равно берут под критичные базы данных. Разберём, за что платят в каждом случае и что выбрать под конкретную задачу.

Блочные против файловых: фундаментальная разница

Прежде чем погружаться в детали каждого протокола, разберёмся с базовой концепцией. Протоколы СХД делятся на два лагеря: блочные и файловые.

Блочные протоколы (iSCSI и Fibre Channel) работают с данными как с набором блоков фиксированного размера. Операционная система видит подключенное хранилище как локальный диск - можете форматировать его в любую файловую систему, создавать разделы, делать что угодно. Это как получить участок земли: стройте на нём что хотите.

Файловые протоколы (NFS и SMB) предоставляют готовую файловую систему. Вы работаете с файлами и папками, которые уже организованы на стороне хранилища. Это ближе к аренде готового офиса - мебель расставлена, просто приносите свои документы.

Блочные протоколы дают полный контроль, файловые - удобство. Выбор зависит от того, что важнее в вашей инфраструктуре.

Вот как выглядит вся картина целиком, включая пятый вариант - прямое подключение по SAS:

Про SAS стоит сказать отдельно, потому что его часто забывают в таких сравнениях. Это тоже блочный доступ, но без всякой сети: полка подключается кабелем прямо в HBA-контроллер сервера. Актуальные поколения - 12G SAS и 24G SAS (стандарт SAS-4, 22,5 Гбит/с на линию). Ни коммутаторов, ни зонирования, ни настройки фабрики - и в этом же его потолок: на десяток хостов такую схему не растянуть. Когда SAS уместнее сетевых протоколов, разобрано в статье про DAS-хранилища с прямым подключением.

Если сама концепция СХД пока в новинку, начните с введения в СХД - там разобрано, чем система хранения отличается от сервера с дисками. А то, как блочное хранилище выглядит со стороны сервера, показано в разборе LUN в СХД.

iSCSI: демократичный подход к блочному хранению

iSCSI (Internet Small Computer System Interface) - это SCSI-команды, упакованные в обычные IP-пакеты. Блочный доступ к хранилищу, который работает поверх сети Ethernet, без специального оборудования.

Никакого выделенного железа не нужно - достаточно стандартных сетевых карт и коммутаторов. Это делает протокол гибким. Нужно подключить новый сервер к СХД? Настройте iSCSI-инициатор, пропишите target, и готово.

Скорость передачи данных напрямую зависит от вашей сети. На гигабитном Ethernet получите около 100 МБ/с, на 10-гигабитном - до 1,2 ГБ/с. Но есть нюанс: CPU придётся обрабатывать весь сетевой трафик. При высоких нагрузках это становится узким местом. HBA с поддержкой iSCSI Offload Engine решают проблему, перекладывая обработку на специализированный чип.

Задержки у iSCSI выше, чем у Fibre Channel - обычно 0,5-1 мс против 0,1-0,2 мс. Для большинства приложений разница незаметна, но базы данных с интенсивным вводом-выводом её чувствуют.

Fibre Channel: формула-1 в мире протоколов

Fibre Channel создавался специально для СХД, и это чувствуется. Протокол работает на уровне 2 модели OSI, минуя накладные расходы TCP/IP. Данные идут по выделенной SAN-сети со скоростью 8, 16, 32 или 64 Гбит/с - сейчас мейнстрим это 32GFC и 64GFC (седьмое поколение). Стандарт 128GFC относится к восьмому поколению и только выходит на топовые директора; тот же порядок скорости получают и агрегацией четырёх портов 32GFC в один логический канал.

Главное преимущество - предсказуемость. FC гарантирует доставку данных в правильном порядке без потерь. Никаких пересылок, никаких таймаутов. Для критичных приложений это дорогого стоит.

Но за всё приходится платить. Порт FC обходится в разы дороже порта iSCSI: нужны HBA-адаптеры в каждый сервер, FC-коммутаторы и оптика, а вдобавок - специальные знания для настройки зонирования, многопутевого ввода-вывода и управления фабрикой. iSCSI же работает на том Ethernet, который у вас уже есть.

Fibre Channel нужен далеко не всем. Если у вас три-четыре хоста виртуализации и одна СХД, iSCSI на 10GbE закроет задачу с запасом, а сэкономленные на HBA и фабрике деньги лучше вложить в диски или второй контроллер. FC начинает окупаться там, где десятки хостов, требования к задержкам жёсткие и простой считают в деньгах за минуту.

Как устроена сеть хранения целиком - в разборе SAN: принципы работы и преимущества, а когда SAN вообще стоит использовать - в отдельной статье.

NFS: Unix-way в чистом виде

NFS (Network File System) - файловый протокол, который даёт доступ к папкам на сервере по сети так, будто они смонтированы локально. Детище Sun Microsystems и воплощение философии Unix: делай одну вещь, но делай её хорошо.

Протокол настолько прост, что его поддержка встроена в ядро Linux. Монтируете удалённую директорию как локальную и работаете с файлами обычными командами. Никаких драйверов, никаких специальных утилит.

mount -t nfs storage.company.local:/data /mnt/storage

Вот и вся настройка. Серьёзно.

NFS версии 3 до сих пор популярен благодаря стабильности и простоте. Версия 4 добавила безопасность через Kerberos, делегирование блокировок и составные операции для снижения задержек. NFSv4.2 умеет клонировать файлы на стороне сервера, экономя трафик.

Производительность NFS сильно зависит от размера операций. На больших последовательных чтениях протокол показывает отличные результаты - до 90% от пропускной способности сети. Но множество мелких операций создаёт проблемы из-за синхронной природы протокола.

SMB: эволюция от простого к сложному

SMB (Server Message Block) - файловый протокол, на котором стоят сетевые папки Windows. Начинался как способ расшарить принтер в офисе, а сегодня это полноценный транспорт для хранилищ виртуальных машин.

Перелом произошёл на версии SMB 3.0. SMB Direct использует RDMA для передачи данных в обход процессора - задержки падают до микросекунд, пропускная способность упирается в физические лимиты оборудования. SMB Multichannel автоматически распределяет трафик по нескольким сетевым путям, повышая и скорость, и отказоустойчивость. Прозрачная отработка отказов доводит картину до конца: если сервер падает, клиенты переподключаются к резервному узлу без потери данных, и приложения сбоя не замечают.

Актуальная версия сегодня - SMB 3.1.1, она появилась в Windows Server 2016. По умолчанию шифрование работает на AES-128-GCM вместо AES-128-CCM из SMB 3.0, что заметно быстрее на процессорах последних поколений; в Windows Server 2022 добавили AES-256. При настройке шар версию протокола стоит проверять явно - старые клиенты умеют откатываться на SMB 1.0, а его давно пора выключать.

SMB 3.0 с RDMA показывает производительность на уровне Fibre Channel, но работает по обычному Ethernet.

Если задача не «выбрать протокол», а именно поднять общую папку на Windows Server, у нас есть пошаговый разбор: настройка сетевой папки через SMB.

Практические сценарии: что и когда выбирать

Виртуализация VMware vSphere? Классический выбор - iSCSI или Fibre Channel для datastores, NFS для ISO-образов и шаблонов. FC даёт максимальную производительность для требовательных ВМ, iSCSI - золотую середину, NFS упрощает управление.

Hyper-V кластер? SMB 3.0 - родной протокол для Hyper-V. Microsoft оптимизировала стек специально под виртуализацию. Можно хранить VHD-диски прямо на SMB-шарах с производительностью блочного доступа.

Базы данных? Тут компромиссов быть не может. Oracle RAC требует блочный доступ - выбирайте между iSCSI и FC в зависимости от бюджета. SQL Server одинаково хорошо работает и с блочными протоколами, и с SMB 3.0.

Файловые архивы и бэкапы? NFS или SMB, без вариантов. Блочные протоколы для таких задач избыточны: вы получите диск, на котором придётся самостоятельно организовывать файловую систему и разграничение доступа.

Медиа-продакшн? NFS традиционно доминирует в этой области. Возможность одновременного доступа множества клиентов к одним и тем же файлам критична для совместной работы над видео.

Тенденции и будущее протоколов

Граница между блочными и файловыми протоколами размывается. NVMe over Fabrics обещает задержки в десятки микросекунд - против 0,1-0,2 мс у нынешнего FC это выигрыш в несколько раз.

Смысл NVMe-oF проще, чем кажется. И iSCSI, и Fibre Channel носят внутри себя SCSI-команды, а SCSI проектировали под диски со шпинделем: одна очередь, глубина в десятки команд. Для флеша эта прослойка сама становится тормозом. NVMe убирает её и даёт тысячи параллельных очередей, а «over Fabrics» растягивает то же самое по сети. Транспортом служит Ethernet (варианты RoCE и просто TCP), InfiniBand или та же оптика Fibre Channel - тогда это называется FC-NVMe и работает на уже купленной фабрике.

Почему флеш-массивы вообще меняют требования к протоколам, разобрано в статье про all-NVMe СХД.

Объектные хранилища постепенно отбирают долю рынка у традиционных протоколов. S3 API стал де-факто стандартом для облачных хранилищ. Многие СХД уже поддерживают объектный доступ наряду с блочным и файловым.

Конвергентные инфраструктуры меняют подход к выбору протоколов. Когда вычисления и хранение объединены в одном устройстве, внешние протоколы становятся менее важными: данные передаются по внутренней шине, минуя сетевой стек.

Выбор протокола для СХД - это скорее бизнес-решение, чем техническое. FC остаётся королём производительности и надёжности, но цена кусается. iSCSI демократизирует блочный доступ, делая SAN доступным для среднего бизнеса. NFS продолжает править в Unix-мире благодаря простоте и отработанности. SMB эволюционировал в универсальный протокол, одинаково пригодный и для файловых шар, и для хранилищ виртуальных машин.

Универсально правильного выбора не существует - есть правильный выбор под конкретную задачу, бюджет и уровень экспертизы команды. Базовые принципы остаются: блочный доступ берут ради полного контроля, файловый - ради удобства совместной работы. Начните с вопроса, что именно будет лежать в хранилище и кто будет с ним работать, и половина вариантов отпадёт сама.

Частые вопросы

Чем NFS отличается от SMB?

Оба протокола файловые, но выросли из разных миров. NFS родом из Unix, встроен в ядро Linux, настраивается одной командой монтирования. SMB - протокол Windows, умеет шифрование, многоканальность и RDMA, тесно интегрирован с Active Directory. В смешанной сети обычно держат оба.

Что быстрее - iSCSI или Fibre Channel?

Fibre Channel: задержка 0,1-0,2 мс против 0,5-1 мс у iSCSI, и она предсказуемее, потому что трафик идёт по выделенной сети. Но на 10-гигабитном Ethernet с отдельной сетью под хранение разрыв для большинства задач перестаёт быть заметным.

Что такое iSCSI простыми словами?

Способ подключить диск из хранилища к серверу по обычной локальной сети. Сервер видит его как свой собственный диск и не догадывается, что тот физически стоит в другой стойке.

По какому протоколу возможен доступ к файловым архивам?

По файловым - NFS или SMB. Они отдают готовую файловую систему с папками и правами, что для архива и нужно. Блочные протоколы отдают «сырой» диск, и файловую структуру на нём пришлось бы организовывать самому.

Какие порты используют протоколы СХД?

iSCSI работает по TCP 3260, NFS - по TCP 2049, SMB - по TCP 445. С NFS есть оговорка: одним портом обходится только четвёртая версия, а NFSv3 дополнительно тянет за собой rpcbind на 111 и динамические порты mountd - в межсетевом экране их фиксируют вручную. Fibre Channel портов не использует вовсе: он живёт на канальном уровне и стек TCP/IP не задействует.

На каком уровне модели OSI работает NFS?

NFS - протокол прикладного уровня (седьмой), работает поверх TCP/IP. Fibre Channel, для сравнения, живёт на канальном уровне (втором) и стек TCP/IP не использует вовсе.

Какой протокол выбрать для резервного копирования?

Файловый - NFS или SMB, в зависимости от того, на чём работает софт бэкапа. Блочный доступ для архивов избыточен и усложняет восстановление.

Нужен ли Fibre Channel малому бизнесу?

Обычно нет. При трёх-четырёх хостах и одной СХД iSCSI на 10GbE закрывает задачу, а деньги за HBA и фабрику разумнее вложить в диски. FC окупается на десятках хостов и жёстких требованиях к задержкам.

Можно ли хранить виртуальные машины на SMB?

Да, начиная с SMB 3.0 - для Hyper-V это штатный сценарий, VHD-диски лежат прямо на шаре. VMware vSphere со SMB не работает, там NFS или блочные протоколы.