Top.Mail.Ru
КОНФИГУРАТОР Серверы ▶
Сетевое оборудование ▶
СХД ▶
IP-телефоны IP-камеры Источники бесперебойного питания (ИБП) Комплектующие Готовые решения Серверы под задачу
О компании Купить в лизинг Блог Отзывы Доставка Гарантия Контакты Работа у нас Реквизиты Спецпредложения Игровые ПК на ISKRAPC Заявка в тех поддержку
Эксперты в подборе IT-оборудования

Виртуальные сети VXLAN и VMware NSX: руководство для инженера

9 ноября 2026
Виртуальные сети VXLAN и VMware NSX: руководство для инженера

VXLAN (Virtual Extensible LAN) - это протокол наложенной сети: он упаковывает Ethernet-кадры виртуальных машин в UDP-пакеты и гонит их через обычную IP-сеть. Машины на разных хостах и даже в разных стойках видят друг друга так, будто стоят в одном L2-сегменте, а самих сегментов можно завести до 16 миллионов вместо 4094 VLAN.

У вас 500 арендаторов в ЦОДе, и вы только что поняли, что 802.1Q начинает трещать по швам. Стандарт IEEE даёт 4094 рабочих VLAN ID (два зарезервированы), и всё - потолок. Дальше либо городить агрегацию через QinQ, либо признать, что архитектура сети проектировалась в другую эпоху. VXLAN появился именно как ответ на этот тупик, и сегодня это фундамент большинства SDN-решений: VMware NSX, сетевой подсистемы Proxmox, фабрик ЦОД на EVPN.

Что такое VXLAN и зачем он нужен

В 2011 году VMware, Cisco, Arista и ещё несколько вендоров предложили VXLAN как черновик стандарта, а в 2014-м он вышел как RFC 7348. Протокол расширяет L2-сегментацию поверх существующего IP-underlay. Идея простая: берём Ethernet-кадр, упаковываем его в UDP-пакет и отправляем между хостами через обычную IP-сеть. Получатель распаковывает, виртуальная машина видит свой привычный L2-домен.

Главный посыл этой архитектуры - оверлейные сети полностью отделяются от физической топологии. Физическая сеть (underlay) занимается только IP-маршрутизацией и не знает ничего о VM, VLAN и сегментации. Виртуальная сеть (overlay) живёт своей жизнью поверх underlay и управляется программно. Это и есть суть Software-Defined Networking в ЦОДе.

Размер адресного пространства вырастает радикально: вместо 12-битного VLAN ID используется 24-битный VNI (VXLAN Network Identifier). Это 16 777 216 уникальных сегментов против 4096 у традиционных VLAN.

VLAN (802.1Q)VXLAN
Сегментов4094~16 млн
Где живётМетка в Ethernet-кадреКадр целиком внутри UDP-пакета
ГраницыОдин L2-домен, растянутый по коммутаторамЛюбая IP-сеть, в том числе между стойками и площадками
Накладные расходы4 байта50 байт на пакет
Что нужно от сетиТранк VLAN на каждом коммутаторе по путиIP-связность и MTU с запасом

Туннелирование между хостами обеспечивают VTEP - VXLAN Tunnel Endpoints. Каждый гипервизор или физический коммутатор с поддержкой VXLAN работает как VTEP: инкапсулирует исходящий трафик и декапсулирует входящий. В vSphere с NSX это отдельный интерфейс VMkernel (TEP), который NSX создаёт при подготовке хоста, а распределённый коммутатор vDS просто несёт через него трафик.

Структура пакета и накладные расходы

Инкапсуляция - это не бесплатно. К каждому кадру добавляется overhead:

ЗаголовокРазмер
Outer Ethernet Header14 байт
Outer IP Header20 байт
UDP Header8 байт
VXLAN Header8 байт
Итого overhead50 байт

При стандартном MTU 1500 байт полезная нагрузка сжимается до ~1450 байт. Если гостевые машины об этом не знают и шлют полные 1500, пакеты начинают фрагментироваться или теряться - и именно здесь большинство инженеров получают свои первые грабли в продакшене.

Сами 50 байт - это около 3% от пакета, и на скорость они почти не влияют. Беда в другом: если underlay где-то оставлен с MTU 1500, большие пакеты не проходят, а маленькие ходят. Ping работает, SSH работает, а копирование файла или SQL-запрос с большим ответом виснет. Проверьте MTU на каждом коммутаторе в пути - достаточно одного звена с 1500.

Для чистого VXLAN в underlay нужен MTU не меньше 1600 байт. Для Geneve, на котором работает актуальный NSX, минимум тот же, но Broadcom рекомендует 1700 и выше: заголовок Geneve может расти за счёт дополнительных полей. Комфортный вариант - 9000 (Jumbo Frames) по всей сети ЦОД. Если поднять MTU на коммутаторах нельзя, остаётся уменьшить MTU внутри виртуальных машин до 1450.

По части discovery VTEP есть два режима: multicast и unicast (headend replication). Multicast лучше масштабируется - BUM-трафик (Broadcast, Unknown unicast, Multicast) рассылается через мультикастовую группу. Unicast проще в тех средах, где мультикаст в underlay не поддерживается или заблокирован. NSX по умолчанию использует unicast с репликацией через контроллеры.

Отдельный момент - выбор UDP-порта. IANA зарегистрировала для VXLAN порт 4789, но ядро Linux по умолчанию до сих пор слушает 8472: его реализация появилась раньше, чем IANA выбрала номер. Старые версии NSX-V тоже работали на 8472. В смешанной среде это источник тихих проблем: трафик уходит, но до получателя не доходит, потому что файрвол или ACL на пути не пропускает «чужой» порт. Проверяйте это при интеграции NSX или Linux-хостов с физическими VXLAN-коммутаторами.

VMware NSX: SDN на базе VXLAN

В 2012 году VMware купила Nicira за $1,26 млрд - тогда это казалось дорого. NSX стал стандартом SDN для крупных сред на vSphere.

Архитектура NSX строится вокруг нескольких плоскостей:

  • Management Plane - NSX Manager, единая точка управления. В NSX-T это три узла в кластере для отказоустойчивости.
  • Control Plane - отвечает за распределение таблиц маршрутизации и ARP-записей между VTEP. Это то, что делает VXLAN-сеть «умной»: хосты не флудят, а получают точную информацию о местонахождении MAC-адресов.
  • Data Plane - модули NSX на каждом ESXi-хосте. Именно здесь происходит реальная инкапсуляция и применяются политики безопасности.

Разделение плоскостей - не архитектурная красота ради красоты. Если NSX Manager недоступен, уже настроенная сеть продолжает работать: Data Plane на хостах не зависит от связности с Management Plane в реальном времени. Для продакшена это означает, что плановое обслуживание NSX Manager не вызывает сетевого простоя - хосты продолжают коммутировать трафик по закэшированным таблицам.

Отдельно о том, как NSX продаётся сейчас. После покупки VMware компанией Broadcom (сделка закрыта в ноябре 2023 года) NSX как отдельный продукт новым клиентам не продают: он входит в пакет VMware Cloud Foundation, а распределённый файрвол докупается как дополнение vDefend. В России VMware официально недоступен с 2022 года. Что это значит для действующих инсталляций и куда с них переезжают, разобрано в статье про VMware после Broadcom.

NSX-V и NSX-T: в чём разница

NSX-V был заточен исключительно под vSphere. NSX-T (сейчас просто NSX) - это переписанная архитектура с поддержкой нескольких гипервизоров: KVM, bare-metal, контейнеры через Kubernetes/Tanzu. При выборе платформы виртуализации для NSX-T полезно понимать, какой гипервизор лучше выбрать с учётом совместимости и лицензирования. Вместо чистого VXLAN NSX-T использует Geneve (Generic Network Virtualization Encapsulation) - расширяемый формат, который добавляет в заголовок метаданные вплоть до L7. Это открывает возможности для тонкой инспекции трафика без дополнительного оборудования.

Если вы ещё эксплуатируете NSX-V - время думать о миграции. Общая поддержка NSX-V закончилась в январе 2022 года.

ПараметрNSX-VNSX-T / NSX
Гипервизорытолько vSpherevSphere, KVM, bare-metal
Протокол туннелированияVXLANGeneve (VXLAN совместимость)
KubernetesнетTanzu, нативная интеграция
Статус поддержкиEnd of Lifeактуальная платформа
EVPNнетподдерживается

Микросегментация: почему это меняет подход к безопасности

Традиционный периметральный файрвол - это «стена» на входе в ЦОД. Внутри сети - практически открытое пространство. Если атакующий прорвался внутрь, перемещение между серверами (lateral movement) ничто не останавливает.

NSX реализует микросегментацию на уровне каждой виртуальной машины. Политики применяются прямо в vNIC - ещё до того, как пакет попадает в физическую сеть. Сам vNIC - это виртуальный сетевой адаптер машины: у него свой MAC, свои настройки и свой тип драйвера, от которого заметно зависит производительность. Distributed Firewall (DFW) работает на каждом ESXi-хосте и применяет правила независимо от сетевой топологии. Никакого дополнительного железа, никаких разворотов трафика на физический файрвол.

Принципиальное отличие от периметральной модели - политика привязана к VM, а не к IP-адресу или VLAN. При vMotion виртуальная машина переезжает на другой хост, и DFW-правила следуют за ней автоматически. Если в вашей среде VM меняют хосты часто (например, при DRS-балансировке), политики безопасности не нужно пересматривать вручную.

Микросегментация vs периметр. DFW в NSX блокирует lateral movement на уровне vNIC. Политика следует за VM при живой миграции - независимо от хоста.

Маршрутизация и интеграция с underlay

NSX предоставляет два типа маршрутизации: распределённый маршрутизатор (Distributed Logical Router, DLR) и Edge Gateway. DLR работает непосредственно на хостах - это распределённая маршрутизация без хопа через отдельный узел. Трафик между сегментами маршрутизируется прямо на том хосте, где стоит VM, и не ходит лишний раз по сети.

Edge Gateway обеспечивает выход во внешние сети и обмен маршрутами с физическими маршрутизаторами по BGP или OSPF. В NSX-T Edge умеет и EVPN - это расширение BGP, которое передаёт между площадками и IP-маршруты, и MAC-адреса машин в сегментах. Отдельный MPLS для связи ЦОДов тогда не нужен.

Практически это выглядит так: два ЦОДа, в каждом свой NSX Manager, над ними - общий Global Manager (режим NSX Federation), между площадками - IP-связность. Живая миграция VM между площадками без изменения IP-адреса работает через L2-расширение поверх оверлея. Трафик уходит через локальный Edge, а не шпилькой через основной ЦОД.

Бридж-режим отдельного внимания: он соединяет VXLAN-оверлей с физической VLAN без отдельного физического маршрутизатора. Актуально при поэтапной миграции - когда часть серверов ещё в физической сети, а часть уже в NSX-оверлее, и им нужна связность между собой.

Мониторинг и диагностика

Несколько точек, которые стоит держать под контролем в VXLAN/NSX-среде:

  • MTU по всему пути - проверяется пингом с запретом фрагментации и размером данных 1572 байта. Вместе с 28 байтами заголовков IP и ICMP это пакет в 1600 байт: если он доходит, путь выдерживает MTU 1600. Если нет - ищите звено с недостаточным MTU.
  • ARP-супрессия - контроллер NSX кэширует ARP-записи и отвечает от имени VM, не пропуская ARP-запросы во весь сегмент. Это критично в больших кластерах, где broadcast-шторм от ARP может положить underlay.
  • IPFIX - NSX экспортирует данные о потоках в формате IPFIX. Zabbix их из коробки не собирает, нужен отдельный коллектор (например, ntopng или ElastiFlow), зато он показывает потоки между конкретными VM, что при диагностике ценнее агрегированной статистики с физических портов.

Отдельно про VXLAN-флуд в высоконагруженных кластерах. Если ARP-супрессия не включена (или выключена по ошибке после обновления), в сегменте с тысячами VM broadcast-трафик начинает ощутимо нагружать underlay. Симптом - периодические микропотери на VTEP в часы пиковой нагрузки, которые на первый взгляд выглядят как проблема физической сети.

Команды для быстрой диагностики на ESXi:

# Проверка MTU между TEP (NSX-T и NSX 4.x): TEP-интерфейс обычно vmk10

vmkping ++netstack=vxlan -I vmk10 -d -s 1572 IP_удалённого_TEP


# Тот же тест с маленьким пакетом: если проходит он, а большой нет - дело в MTU, а не в маршрутизации

vmkping ++netstack=vxlan -I vmk10 -d -s 1472 IP_удалённого_TEP


# Только NSX-V: состояние VXLAN, VTEP-интерфейсы и UDP-порт

net-vdl2 -l

В NSX 4.x путь пакета между двумя VM удобнее всего смотреть встроенным инструментом Traceflow в интерфейсе NSX Manager: он показывает каждый узел, через который прошёл пакет, и правило файрвола, которое его остановило.

Требования к железу: что нужно VTEP-хосту

Производительность VXLAN и NSX зависит и от железа, на котором крутится гипервизор.

Для высоких нагрузок в NSX есть режим Enhanced Datapath: сетевой стек работает в режиме опроса на выделенных ядрах, как DPDK. Эти ядра полностью уходят под сеть и недоступны для VM. Обычно это 2-4 ядра на хост, и их нужно учесть заранее при планировании ресурсов, особенно если гипервизор или гостевой софт лицензируется по ядрам.

Память на VTEP-хосте лучше ставить так, чтобы были заняты все каналы контроллера: у серверных Xeon 6 и AMD EPYC их 8-12 на сокет, и при обработке потока мелких пакетов пропускная способность памяти тоже играет роль. Подробнее о том, чем отличается серверная оперативная память по типам и характеристикам, мы разбирали отдельно.

Сетевые карты - отдельная история. NSX поддерживает SR-IOV и Enhanced Datapath, но не все NIC одинаково полезны. Карты с аппаратной поддержкой VXLAN offload (Intel X710, Mellanox ConnectX-5 и выше) разгружают CPU от инкапсуляции. Без offload на хостах с высоким трафиком процессор начинает греться именно на сетевых задачах - это видно в esxtop по загрузке процессора сетевыми потоками. Если на карту нужно вынести и сам виртуальный коммутатор, смотрите, чем DPU отличается от SmartNIC.

NICVXLAN offloadSR-IOVDPDKРекомендуемая нагрузка
Intel X550частичнодададо 10 Гбит/с
Intel X710дадада10-25 Гбит/с
Mellanox CX-5дадада25-100 Гбит/с
Mellanox CX-6 Dxдадада100 Гбит/с+

VXLAN без VMware: Proxmox, Linux и российское железо

VXLAN - открытый стандарт, и VMware для него не нужен. Для российских компаний это сейчас основной сценарий: NSX официально не купить, а оверлейные сети нужны.

Proxmox VE. В Proxmox есть встроенная подсистема SDN. Раньше она считалась экспериментальной, в актуальных версиях её основная часть поддерживается официально. VXLAN-зона связывает хосты кластера туннелями поверх обычной IP-сети: создаёте зону, указываете IP-адреса узлов, внутри заводите виртуальные сети (VNet) с номерами VNI. EVPN-зона добавляет к этому BGP-сигнализацию и маршрутизацию между сегментами, для неё нужен пакет FRR. Правило по MTU то же: MTU зоны на 50 байт меньше, чем у физического интерфейса, то есть 1450 при обычной сети. На Proxmox же построена «Альт Виртуализация», так что всё сказанное к ней тоже относится. Как устроен overlay на конкретной платформе, по шагам показано в финальной части нашего цикла: как overlay выглядит со стороны хоста.

Голый Linux. VXLAN-интерфейс создаётся одной командой, без дополнительного софта. Номер порта лучше указывать явно, иначе ядро возьмёт старый 8472 и не договорится с коммутаторами:

ip link add vxlan100 type vxlan id 100 dev eth0 dstport 4789

Российские платформы виртуализации (zVirt, ROSA Virtualization и другие) построены на KVM и строят виртуальные сети своими средствами. Что умеет каждая и чем они отличаются по лицензированию, собрано в нашем обзоре zVirt, ROSA и «Альт».

Коммутаторы. Чтобы VXLAN-сегменты выходили на физические серверы и между стойками, нужны коммутаторы с аппаратной поддержкой VXLAN и EVPN. Такие есть и у российских производителей: у Eltex есть руководство по построению IP-фабрики на EVPN/VXLAN, у Qtech - настройка VXLAN и EVPN на коммутаторах для ЦОД.

Куда движется технология

Geneve постепенно вытесняет VXLAN как туннельный протокол - гибкие метаданные открывают возможности для L4-L7 сервисов прямо в заголовке. NSX интегрируется с Tanzu для управления сетями Kubernetes-кластеров, и граница между виртуальными сетями ЦОДа и контейнерными оверлеями стирается.

EVPN как control plane для VXLAN стал стандартом для новых инсталляций. Это даёт нормальную BGP-сигнализацию для MAC/IP-таблиц без проприетарных контроллеров, что особенно актуально в гетерогенных средах с несколькими вендорами.

Broadcom продвигает NSX только в составе VMware Cloud Foundation, так что отдельные инсталляции NSX уходят в прошлое. Для тех, кто может официально покупать VMware, целевая платформа - VCF. В России выбор другой: оверлей на Proxmox или российской платформе виртуализации и EVPN/VXLAN-фабрика на коммутаторах, которые можно купить и поставить на поддержку.

Если вы только строите оверлейную сеть - закладывайте EVPN и MTU 9000 в underlay с первого дня. Если уже эксплуатируете NSX-V - план миграции лучше составить сейчас, пока это не стало срочным.

Частые вопросы о VXLAN

VXLAN - что это простыми словами?

Способ растянуть одну локальную сеть поверх любой IP-сети: кадры виртуальных машин упаковываются в UDP-пакеты, едут между хостами и распаковываются на другой стороне.

VXLAN - это SDN?

Сам по себе нет, это протокол туннелирования. SDN получается, когда поверх VXLAN есть контроллер, который программно создаёт сегменты и раздаёт правила: VMware NSX, SDN в Proxmox, фабрика на EVPN.

Какой MTU нужен для VXLAN?

В underlay - не меньше 1600 байт, для Geneve в NSX рекомендуется 1700, удобнее всего 9000. Если поднять MTU нельзя, уменьшите его внутри виртуальных машин до 1450.

Чем VXLAN отличается от VLAN?

VLAN - метка в кадре, до 4094 сегментов в пределах одной L2-сети. VXLAN - туннель через IP-сеть, около 16 млн сегментов и никакой привязки к физической топологии.

Нужен ли VMware NSX, чтобы использовать VXLAN?

Нет. VXLAN поддерживают ядро Linux, SDN в Proxmox и коммутаторы многих производителей, включая российские.

Строите кластер под виртуализацию с оверлейной сетью?

Подберём серверы под гипервизор и сетевые карты с аппаратной разгрузкой VXLAN, учтём ядра под сетевой стек и соберём конфигурацию с тестом перед отгрузкой. Готовые конфигурации есть в каталоге, там можно подобрать и купить сервер виртуализации, или напишите нам: +7 (800) 551-80-12, info@ittelo.ru. Серверами мы занимаемся больше 11 лет и за это время накопили серьёзную экспертизу. Даём гарантию до 5 лет, берём сервер на постпродажное обслуживание и не пропадаем после отгрузки.

ПОДПИСКА

НА РАССЫЛКУ
ПОЛЕЗНЫЕ СТАТЬИ, АКЦИИ
И ЗАКРЫТЫЕ РАСПРОДАЖИ
Котик подписка
Похожие статьи
Вам также может быть интересно

ТОП-5 ошибок при выборе сервера
Товар добавлен в список сравнения
Перейти в сравнение
Продолжить просмотр
Заявка в тех поддержку
Загрузка формы…
Не удалось загрузить форму. Обновите страницу или свяжитесь с нами по телефону.
Консультация
ИТ-специалиста
Оставьте контакты — свяжемся с вами в течение нескольких минут и подготовим коммерческое предложение
IT-архитектор подберет сервер под вашу задачу
Заполните форму — наш специалист свяжется с вами в течение 15 минут, уточнит задачу и подготовит коммерческое предложение
Заказать сервер
Отправим конфигурацию вам на почту. Менеджер перезвонит в течение 15 минут
Зарегистрироваться в бонусной программе
Консультация
ИТ-специалиста
Оставьте контакты — свяжемся с вами в течение нескольких минут и подготовим коммерческое предложение