Эксперты в подборе IT-оборудования
InfiniBand - отдельная от Ethernet сетевая технология для серверов: свои адаптеры, свои коммутаторы, свои кабели и свой стек драйверов. Задержка из конца в конец - около микросекунды, а данные уходят прямо в память соседнего сервера, минуя его процессор. Поэтому на InfiniBand собирают суперкомпьютеры и кластеры для обучения нейросетей - там, где сотни машин должны обмениваться данными так, будто это одна машина.
Если у вас нет ни того ни другого, InfiniBand вам почти наверняка не нужен. Обычно за этим вопросом стоит другой: нужен ли вам RDMA - прямой доступ к памяти по сети - и каким путём его получить. А его даёт и Ethernet.
Быстрый выбор
Виртуализация, 1С, файловые сервисы, почта, базы данных на паре серверов - Ethernet 10 или 25 Гбит/с, никакого RDMA.
Кластер Hyper-V с локальными дисками (S2D) или хранилище на NVMe, которое упирается в сеть, - Ethernet с RDMA: iWARP, если нет сетевого инженера, RoCE, если есть.
Обучение нейросетей на десятках GPU, MPI-расчёты, моделирование - InfiniBand или RoCE, и в обоих случаях команда, которая умеет такую сеть настраивать.
Обычная сеть устроена так: приложение отдаёт данные операционной системе, ОС режет их на пакеты, процессор считает контрольные суммы, сетевая карта отправляет. На другой стороне всё в обратном порядке. На каждом шаге - копирование в памяти и работа процессора.
InfiniBand задуман по-другому. Адаптер в сервере (HCA, host channel adapter) сам читает данные из памяти приложения и сам кладёт их в память приложения на другом узле. Процессоры обеих машин в этом почти не участвуют. Это и есть RDMA - remote direct memory access, удалённый прямой доступ к памяти.
Второе отличие - сеть не теряет пакеты. В Ethernet коммутатор при перегрузке просто отбрасывает лишнее, а TCP потом перепосылает. В InfiniBand отправитель передаёт данные, только когда получатель сообщил, что у него есть место в буфере (кредитное управление потоком). Потерь нет по самому устройству протокола, и не нужно тратить время на повторы.
Третье - централизованное управление. Всей фабрикой командует subnet manager: он находит узлы, раздаёт адреса и строит маршруты. Запускается он на коммутаторе или на одном из серверов. Пока он жив, фабрика в основном работает сама.
И ещё одно обстоятельство, которое в 2026 году важнее технических деталей: почти весь рынок InfiniBand - одна компания. Mellanox, главный производитель адаптеров и коммутаторов, в апреле 2020 года стал частью NVIDIA. Других серьёзных поставщиков почти нет, и в России это значит параллельный импорт или б/у. Чем InfiniBand-адаптер отличается от прочих сетевых карт в сервере, мы разбирали в обзоре типов сетевых карт.
Поколения InfiniBand называют буквами. Скорость указывают для порта 4x - четыре линии в одном разъёме, так сделано почти во всех серверных адаптерах.
| Поколение | Скорость порта 4x | Появилось | Где встречается сейчас |
|---|---|---|---|
| SDR | 10 Гбит/с (полезных 8) | начало 2000-х | только в музее |
| DDR | 20 Гбит/с (полезных 16) | 2005 | там же |
| QDR | 40 Гбит/с (полезных 32) | 2007 | самый дешёвый б/у |
| FDR | 56 Гбит/с | 2011 | б/у, домашние лаборатории |
| EDR | 100 Гбит/с | 2014 | б/у, старые HPC-кластеры |
| HDR | 200 Гбит/с | 2018 | работающие кластеры |
| NDR | 400 Гбит/с | 2022 | новые кластеры для ИИ |
| XDR | 800 Гбит/с | 2024 | самые новые ИИ-кластеры |
В первых трёх поколениях кодирование 8b/10b съедало пятую часть полосы, отсюда разница между номиналом и полезной скоростью. Начиная с FDR кодирование стало экономнее, и номинал почти равен полезной скорости.
Отсюда простой ориентир. Если вам предлагают недорого «стоечку InfiniBand», почти наверняка это QDR, FDR или EDR. Новые NDR и XDR продаются вместе с GPU-кластерами, и цена у них соответствующая.
| InfiniBand | Ethernet (с RoCE для RDMA) | |
|---|---|---|
| Потери пакетов | нет по устройству протокола | есть; для RDMA сеть надо настроить «без потерь» |
| Задержка из конца в конец | около 1 мкс | единицы микросекунд с RoCE, десятки - у обычного TCP |
| Управление | централизованное, subnet manager | распределённое, каждый коммутатор настраивается отдельно |
| Связь с остальной сетью | через шлюз или адаптер с поддержкой обоих режимов | напрямую, это та же сеть |
| Производители | фактически один - NVIDIA | десятки: адаптеры, коммутаторы, оптика |
| Кто умеет обслуживать | редкие специалисты | любой сетевой инженер (кроме настройки RoCE) |
| Скорости в 2026 году | 400-800 Гбит/с | 100-800 Гбит/с на сервер, на магистралях появляется 1,6 Тбит/с |
На бумаге InfiniBand выигрывает по задержке. На деле этот разрыв давно перестал решать исход. Показательный пример - Meta: в 2024 году компания построила для обучения Llama 3 два кластера по 24 576 GPU, один на InfiniBand, другой на RoCE. По её же данным, в обучении они показали равную производительность, а самую большую модель обучали как раз на Ethernet-кластере.
Oracle прошла этот путь ещё раньше. В 2019 году, начиная с поколения Exadata X8M, внутреннюю сеть этих машин, по которой база данных общается с узлами хранения, перевели с InfiniBand на 100-гигабитный Ethernet с RoCE. Причём новая сеть оказалась быстрее прежней.
RDMA - способ работы с памятью, и InfiniBand просто первым сделал его массовым. Получить RDMA поверх обычного Ethernet можно двумя способами.
RoCE (RDMA over Converged Ethernet) переносит транспорт InfiniBand в Ethernet. Вторая версия, RoCE v2, упаковывает его в UDP, поэтому трафик ходит и через маршрутизаторы. Это самый распространённый вариант: его поддерживают адаптеры NVIDIA (ConnectX), Broadcom, Intel и другие.
Цена - сеть должна стать «без потерь», как InfiniBand. Для этого на каждом коммутаторе и каждом порту настраивают управление потоком по приоритетам (PFC, стандарт IEEE 802.1Qbb), уведомления о перегрузке (ECN) и алгоритм, который на них реагирует. Ошибка в одном месте - и при нагрузке начинаются «штормы пауз», когда коммутаторы останавливают друг друга по цепочке, или взаимные блокировки буферов. Отлаживать это сложно, потому что в спокойном режиме всё работает.
iWARP делает RDMA поверх обычного TCP. TCP сам справляется с потерями, поэтому особой настройки коммутаторов не нужно. По задержке iWARP немного проигрывает RoCE, а адаптеров с ним меньше - их выпускают в основном Chelsio и Intel.
«Ethernet проще» - не всегда
Звучит парадоксально, но для RDMA правильно настроенная фабрика InfiniBand часто требует меньше внимания, чем RoCE. У InfiniBand отсутствие потерь заложено в протокол, у RoCE его держит конфигурация каждого порта, прошивки и буферов. Простота Ethernet заканчивается там, где начинается lossless.
Microsoft в документации к своим гиперконвергентным кластерам формулирует выбор прямо: если в команде нет опыта с RDMA или вы не управляете коммутаторами сами - берите iWARP. RoCE - если умеете настраивать DCB и PFC. В StarWind, которая внедряет такие кластеры, объясняют эту осторожность просто: большая часть проблем с S2D на RoCE приходилась на ошибки настройки коммутаторов.
Ещё одна деталь, на которой спотыкаются: RDMA работает только между адаптерами одного типа. Узел с iWARP и узел с RoCE друг с другом напрямую по RDMA не поговорят.
| Задача | Что даёт RDMA | Когда окупается |
|---|---|---|
| Hyper-V с S2D: синхронизация дисков между узлами, CSV, живая миграция ВМ (SMB Direct) | меньше нагрузки на процессоры узлов, ниже задержка записи | кластер на NVMe-дисках, 25 Гбит/с и выше; на HDD разницы не заметите |
| Файловый сервер SMB для Hyper-V или SQL Server | ВМ и базы лежат на сетевой шаре почти без потери скорости | когда шару используют как основное хранилище ВМ |
| Хранилище NVMe over Fabrics | задержка сетевого NVMe близка к локальному | all-flash хранилище под базы; если хватает TCP, смотрите разбор NVMe over TCP или iSCSI |
| Распределённое хранилище Ceph | в теории - меньше задержек между узлами | не окупается: RDMA в Ceph экспериментальный и не сопровождается, Ceph работает по TCP |
| Кластерные базы данных | быстрый обмен между узлами | готовые программно-аппаратные комплексы, где сеть уже настроена производителем |
Общее у всех строк одно: RDMA ускоряет сеть, когда упираетесь именно в сеть. Если узкое место - диски, процессор или само приложение, RDMA не даст ничего, кроме лишней сложности. Прежде чем его включать, посмотрите, что именно загружено.
Соблазн понятен. Адаптеры FDR и EDR, которые когда-то стояли в суперкомпьютерах, на вторичном рынке стоят недорого, а дают 56-100 Гбит/с. Для домашней лаборатории или пары серверов, между которыми нужно быстро гонять данные, это выглядит отличной сделкой.
Работать это действительно может - особенно если серверов два или три и их соединяют напрямую, кабелем от карты к карте, без коммутатора. Subnet manager тогда запускают на одном из серверов, и всё работает.
Проблемы начинаются, когда такую сеть пытаются встроить в обычную инфраструктуру. Старые коммутаторы InfiniBand громкие, их тяжело держать в офисной серверной. Чтобы связать InfiniBand с остальной сетью, нужен шлюз - отдельное и недешёвое устройство. Свежие версии драйверов NVIDIA не поддерживают самые старые адаптеры, а поддержки производителя на снятое с производства железо уже нет.
Выручает то, что многие адаптеры NVIDIA ConnectX - так называемые VPI - умеют работать и как InfiniBand, и как Ethernet: режим порта переключается утилитой mlxconfig. Такую карту можно купить ради InfiniBand, а при необходимости включить в обычный Ethernet.
И самое частое разочарование: сеть оказывается не узким местом. Хранилище на жёстких дисках не заполнит даже 10 Гбит/с, не говоря о 56. Прежде чем покупать быструю сеть, стоит убедиться, что вам есть что по ней передавать.
Последние два года рынок голосует за Ethernet. По данным Dell'Oro Group, в 2025 году Ethernet обогнал InfiniBand в бэкенд-сетях ИИ-кластеров, хотя ещё за два года до этого на InfiniBand приходилось около 80 % продаж коммутаторов в этом сегменте. Крупные заказчики не хотят зависеть от одного поставщика, а производители Ethernet-коммутаторов догнали InfiniBand по скорости.
Следующий шаг - Ultra Ethernet. Спецификацию 1.0 консорциум Ultra Ethernet опубликовал в июне 2025 года. Главное отличие от RoCE: сети больше не нужно быть «без потерь». Пакеты одного потока можно раскидывать по разным путям, принимать не по порядку, а с перегрузками справляется новый механизм управления без пауз на коммутаторах. То есть исчезает самая болезненная часть RoCE - настройка lossless на каждом порту. Оборудование с полной поддержкой спецификации только начинает появляться.
InfiniBand никуда не денется. В классическом HPC и в готовых решениях NVIDIA для ИИ его ценят за предсказуемость и зрелый софт. Но для компании, которая не строит суперкомпьютер, ставка на Ethernet - нормальный выбор. Если вы только планируете собрать сервер для ИИ на несколько GPU, межсерверная сеть вам, скорее всего, вообще не понадобится: все карты общаются внутри одной машины.
Сетевая технология для серверов с задержкой около микросекунды, сетью без потерь и прямым доступом к памяти соседних узлов (RDMA). Нужна там, где много серверов работают над одной задачей и постоянно обмениваются данными: суперкомпьютеры, кластеры для обучения нейросетей, научные расчёты.
Напрямую - нет, это разные протоколы. Связывают их специальным шлюзом или используют адаптеры VPI, которые умеют работать в обоих режимах. Обычно проще сразу строить сеть на Ethernet, если она должна стыковаться с остальной инфраструктурой.
Нет. Кластеру виртуализации из нескольких узлов хватает Ethernet 10-25 Гбит/с, при хранилище на NVMe - с RDMA через iWARP или RoCE. Для 1С задержка между сервером 1С и СУБД важнее, чем полоса. Её проще всего убрать, поставив их на один сервер или соединив коротким линком 10-25 Гбит/с в одной стойке. InfiniBand тут избыточен.
При одинаковой полосе InfiniBand даёт меньшую и более стабильную задержку. Но с RoCE разница для большинства задач не влияет на итоговое время работы - это показали и большие кластеры для обучения нейросетей. Важнее, кто будет эту сеть настраивать и обслуживать.
Нужен сервер под GPU-нагрузку и непонятно, какая сеть к нему нужна?
Поможем посчитать, нужна ли вам межсерверная сеть вообще, подберём конфигурацию под ваши модели и соберём её с тестом перед отгрузкой. Посмотрите серверы для ИИ-кластеров в каталоге или напишите нам: +7 (800) 551-80-12, info@ittelo.ru. Серверами мы занимаемся больше 11 лет и за это время накопили серьёзную экспертизу. Даём гарантию до 5 лет, берём сервер на постпродажное обслуживание и не пропадаем после отгрузки.
