VXLAN (Virtual Extensible LAN) - это протокол наложенной сети: он упаковывает Ethernet-кадры виртуальных машин в UDP-пакеты и гонит их через обычную IP-сеть. Машины на разных хостах и даже в разных стойках видят друг друга так, будто стоят в одном L2-сегменте, а самих сегментов можно завести до 16 миллионов вместо 4094 VLAN.
У вас 500 арендаторов в ЦОДе, и вы только что поняли, что 802.1Q начинает трещать по швам. Стандарт IEEE даёт 4094 рабочих VLAN ID (два зарезервированы), и всё - потолок. Дальше либо городить агрегацию через QinQ, либо признать, что архитектура сети проектировалась в другую эпоху. VXLAN появился именно как ответ на этот тупик, и сегодня это фундамент большинства SDN-решений: VMware NSX, сетевой подсистемы Proxmox, фабрик ЦОД на EVPN.
В 2011 году VMware, Cisco, Arista и ещё несколько вендоров предложили VXLAN как черновик стандарта, а в 2014-м он вышел как RFC 7348. Протокол расширяет L2-сегментацию поверх существующего IP-underlay. Идея простая: берём Ethernet-кадр, упаковываем его в UDP-пакет и отправляем между хостами через обычную IP-сеть. Получатель распаковывает, виртуальная машина видит свой привычный L2-домен.
Главный посыл этой архитектуры - оверлейные сети полностью отделяются от физической топологии. Физическая сеть (underlay) занимается только IP-маршрутизацией и не знает ничего о VM, VLAN и сегментации. Виртуальная сеть (overlay) живёт своей жизнью поверх underlay и управляется программно. Это и есть суть Software-Defined Networking в ЦОДе.
Размер адресного пространства вырастает радикально: вместо 12-битного VLAN ID используется 24-битный VNI (VXLAN Network Identifier). Это 16 777 216 уникальных сегментов против 4096 у традиционных VLAN.
| VLAN (802.1Q) | VXLAN | |
|---|---|---|
| Сегментов | 4094 | ~16 млн |
| Где живёт | Метка в Ethernet-кадре | Кадр целиком внутри UDP-пакета |
| Границы | Один L2-домен, растянутый по коммутаторам | Любая IP-сеть, в том числе между стойками и площадками |
| Накладные расходы | 4 байта | 50 байт на пакет |
| Что нужно от сети | Транк VLAN на каждом коммутаторе по пути | IP-связность и MTU с запасом |
Туннелирование между хостами обеспечивают VTEP - VXLAN Tunnel Endpoints. Каждый гипервизор или физический коммутатор с поддержкой VXLAN работает как VTEP: инкапсулирует исходящий трафик и декапсулирует входящий. В vSphere с NSX это отдельный интерфейс VMkernel (TEP), который NSX создаёт при подготовке хоста, а распределённый коммутатор vDS просто несёт через него трафик.
Инкапсуляция - это не бесплатно. К каждому кадру добавляется overhead:
| Заголовок | Размер |
|---|---|
| Outer Ethernet Header | 14 байт |
| Outer IP Header | 20 байт |
| UDP Header | 8 байт |
| VXLAN Header | 8 байт |
| Итого overhead | 50 байт |
При стандартном MTU 1500 байт полезная нагрузка сжимается до ~1450 байт. Если гостевые машины об этом не знают и шлют полные 1500, пакеты начинают фрагментироваться или теряться - и именно здесь большинство инженеров получают свои первые грабли в продакшене.
Сами 50 байт - это около 3% от пакета, и на скорость они почти не влияют. Беда в другом: если underlay где-то оставлен с MTU 1500, большие пакеты не проходят, а маленькие ходят. Ping работает, SSH работает, а копирование файла или SQL-запрос с большим ответом виснет. Проверьте MTU на каждом коммутаторе в пути - достаточно одного звена с 1500.
Для чистого VXLAN в underlay нужен MTU не меньше 1600 байт. Для Geneve, на котором работает актуальный NSX, минимум тот же, но Broadcom рекомендует 1700 и выше: заголовок Geneve может расти за счёт дополнительных полей. Комфортный вариант - 9000 (Jumbo Frames) по всей сети ЦОД. Если поднять MTU на коммутаторах нельзя, остаётся уменьшить MTU внутри виртуальных машин до 1450.
По части discovery VTEP есть два режима: multicast и unicast (headend replication). Multicast лучше масштабируется - BUM-трафик (Broadcast, Unknown unicast, Multicast) рассылается через мультикастовую группу. Unicast проще в тех средах, где мультикаст в underlay не поддерживается или заблокирован. NSX по умолчанию использует unicast с репликацией через контроллеры.
Отдельный момент - выбор UDP-порта. IANA зарегистрировала для VXLAN порт 4789, но ядро Linux по умолчанию до сих пор слушает 8472: его реализация появилась раньше, чем IANA выбрала номер. Старые версии NSX-V тоже работали на 8472. В смешанной среде это источник тихих проблем: трафик уходит, но до получателя не доходит, потому что файрвол или ACL на пути не пропускает «чужой» порт. Проверяйте это при интеграции NSX или Linux-хостов с физическими VXLAN-коммутаторами.
В 2012 году VMware купила Nicira за $1,26 млрд - тогда это казалось дорого. NSX стал стандартом SDN для крупных сред на vSphere.
Архитектура NSX строится вокруг нескольких плоскостей:
Разделение плоскостей - не архитектурная красота ради красоты. Если NSX Manager недоступен, уже настроенная сеть продолжает работать: Data Plane на хостах не зависит от связности с Management Plane в реальном времени. Для продакшена это означает, что плановое обслуживание NSX Manager не вызывает сетевого простоя - хосты продолжают коммутировать трафик по закэшированным таблицам.
Отдельно о том, как NSX продаётся сейчас. После покупки VMware компанией Broadcom (сделка закрыта в ноябре 2023 года) NSX как отдельный продукт новым клиентам не продают: он входит в пакет VMware Cloud Foundation, а распределённый файрвол докупается как дополнение vDefend. В России VMware официально недоступен с 2022 года. Что это значит для действующих инсталляций и куда с них переезжают, разобрано в статье про VMware после Broadcom.
NSX-V был заточен исключительно под vSphere. NSX-T (сейчас просто NSX) - это переписанная архитектура с поддержкой нескольких гипервизоров: KVM, bare-metal, контейнеры через Kubernetes/Tanzu. При выборе платформы виртуализации для NSX-T полезно понимать, какой гипервизор лучше выбрать с учётом совместимости и лицензирования. Вместо чистого VXLAN NSX-T использует Geneve (Generic Network Virtualization Encapsulation) - расширяемый формат, который добавляет в заголовок метаданные вплоть до L7. Это открывает возможности для тонкой инспекции трафика без дополнительного оборудования.
Если вы ещё эксплуатируете NSX-V - время думать о миграции. Общая поддержка NSX-V закончилась в январе 2022 года.
| Параметр | NSX-V | NSX-T / NSX |
|---|---|---|
| Гипервизоры | только vSphere | vSphere, KVM, bare-metal |
| Протокол туннелирования | VXLAN | Geneve (VXLAN совместимость) |
| Kubernetes | нет | Tanzu, нативная интеграция |
| Статус поддержки | End of Life | актуальная платформа |
| EVPN | нет | поддерживается |
Традиционный периметральный файрвол - это «стена» на входе в ЦОД. Внутри сети - практически открытое пространство. Если атакующий прорвался внутрь, перемещение между серверами (lateral movement) ничто не останавливает.
NSX реализует микросегментацию на уровне каждой виртуальной машины. Политики применяются прямо в vNIC - ещё до того, как пакет попадает в физическую сеть. Сам vNIC - это виртуальный сетевой адаптер машины: у него свой MAC, свои настройки и свой тип драйвера, от которого заметно зависит производительность. Distributed Firewall (DFW) работает на каждом ESXi-хосте и применяет правила независимо от сетевой топологии. Никакого дополнительного железа, никаких разворотов трафика на физический файрвол.
Принципиальное отличие от периметральной модели - политика привязана к VM, а не к IP-адресу или VLAN. При vMotion виртуальная машина переезжает на другой хост, и DFW-правила следуют за ней автоматически. Если в вашей среде VM меняют хосты часто (например, при DRS-балансировке), политики безопасности не нужно пересматривать вручную.
Микросегментация vs периметр. DFW в NSX блокирует lateral movement на уровне vNIC. Политика следует за VM при живой миграции - независимо от хоста.
NSX предоставляет два типа маршрутизации: распределённый маршрутизатор (Distributed Logical Router, DLR) и Edge Gateway. DLR работает непосредственно на хостах - это распределённая маршрутизация без хопа через отдельный узел. Трафик между сегментами маршрутизируется прямо на том хосте, где стоит VM, и не ходит лишний раз по сети.
Edge Gateway обеспечивает выход во внешние сети и обмен маршрутами с физическими маршрутизаторами по BGP или OSPF. В NSX-T Edge умеет и EVPN - это расширение BGP, которое передаёт между площадками и IP-маршруты, и MAC-адреса машин в сегментах. Отдельный MPLS для связи ЦОДов тогда не нужен.
Практически это выглядит так: два ЦОДа, в каждом свой NSX Manager, над ними - общий Global Manager (режим NSX Federation), между площадками - IP-связность. Живая миграция VM между площадками без изменения IP-адреса работает через L2-расширение поверх оверлея. Трафик уходит через локальный Edge, а не шпилькой через основной ЦОД.
Бридж-режим отдельного внимания: он соединяет VXLAN-оверлей с физической VLAN без отдельного физического маршрутизатора. Актуально при поэтапной миграции - когда часть серверов ещё в физической сети, а часть уже в NSX-оверлее, и им нужна связность между собой.
Несколько точек, которые стоит держать под контролем в VXLAN/NSX-среде:
Отдельно про VXLAN-флуд в высоконагруженных кластерах. Если ARP-супрессия не включена (или выключена по ошибке после обновления), в сегменте с тысячами VM broadcast-трафик начинает ощутимо нагружать underlay. Симптом - периодические микропотери на VTEP в часы пиковой нагрузки, которые на первый взгляд выглядят как проблема физической сети.
Команды для быстрой диагностики на ESXi:
# Проверка MTU между TEP (NSX-T и NSX 4.x): TEP-интерфейс обычно vmk10
vmkping ++netstack=vxlan -I vmk10 -d -s 1572 IP_удалённого_TEP
# Тот же тест с маленьким пакетом: если проходит он, а большой нет - дело в MTU, а не в маршрутизации
vmkping ++netstack=vxlan -I vmk10 -d -s 1472 IP_удалённого_TEP
# Только NSX-V: состояние VXLAN, VTEP-интерфейсы и UDP-порт
net-vdl2 -l
В NSX 4.x путь пакета между двумя VM удобнее всего смотреть встроенным инструментом Traceflow в интерфейсе NSX Manager: он показывает каждый узел, через который прошёл пакет, и правило файрвола, которое его остановило.
Производительность VXLAN и NSX зависит и от железа, на котором крутится гипервизор.
Для высоких нагрузок в NSX есть режим Enhanced Datapath: сетевой стек работает в режиме опроса на выделенных ядрах, как DPDK. Эти ядра полностью уходят под сеть и недоступны для VM. Обычно это 2-4 ядра на хост, и их нужно учесть заранее при планировании ресурсов, особенно если гипервизор или гостевой софт лицензируется по ядрам.
Память на VTEP-хосте лучше ставить так, чтобы были заняты все каналы контроллера: у серверных Xeon 6 и AMD EPYC их 8-12 на сокет, и при обработке потока мелких пакетов пропускная способность памяти тоже играет роль. Подробнее о том, чем отличается серверная оперативная память по типам и характеристикам, мы разбирали отдельно.
Сетевые карты - отдельная история. NSX поддерживает SR-IOV и Enhanced Datapath, но не все NIC одинаково полезны. Карты с аппаратной поддержкой VXLAN offload (Intel X710, Mellanox ConnectX-5 и выше) разгружают CPU от инкапсуляции. Без offload на хостах с высоким трафиком процессор начинает греться именно на сетевых задачах - это видно в esxtop по загрузке процессора сетевыми потоками. Если на карту нужно вынести и сам виртуальный коммутатор, смотрите, чем DPU отличается от SmartNIC.
| NIC | VXLAN offload | SR-IOV | DPDK | Рекомендуемая нагрузка |
|---|---|---|---|---|
| Intel X550 | частично | да | да | до 10 Гбит/с |
| Intel X710 | да | да | да | 10-25 Гбит/с |
| Mellanox CX-5 | да | да | да | 25-100 Гбит/с |
| Mellanox CX-6 Dx | да | да | да | 100 Гбит/с+ |
VXLAN - открытый стандарт, и VMware для него не нужен. Для российских компаний это сейчас основной сценарий: NSX официально не купить, а оверлейные сети нужны.
Proxmox VE. В Proxmox есть встроенная подсистема SDN. Раньше она считалась экспериментальной, в актуальных версиях её основная часть поддерживается официально. VXLAN-зона связывает хосты кластера туннелями поверх обычной IP-сети: создаёте зону, указываете IP-адреса узлов, внутри заводите виртуальные сети (VNet) с номерами VNI. EVPN-зона добавляет к этому BGP-сигнализацию и маршрутизацию между сегментами, для неё нужен пакет FRR. Правило по MTU то же: MTU зоны на 50 байт меньше, чем у физического интерфейса, то есть 1450 при обычной сети. На Proxmox же построена «Альт Виртуализация», так что всё сказанное к ней тоже относится. Как устроен overlay на конкретной платформе, по шагам показано в финальной части нашего цикла: как overlay выглядит со стороны хоста.
Голый Linux. VXLAN-интерфейс создаётся одной командой, без дополнительного софта. Номер порта лучше указывать явно, иначе ядро возьмёт старый 8472 и не договорится с коммутаторами:
ip link add vxlan100 type vxlan id 100 dev eth0 dstport 4789
Российские платформы виртуализации (zVirt, ROSA Virtualization и другие) построены на KVM и строят виртуальные сети своими средствами. Что умеет каждая и чем они отличаются по лицензированию, собрано в нашем обзоре zVirt, ROSA и «Альт».
Коммутаторы. Чтобы VXLAN-сегменты выходили на физические серверы и между стойками, нужны коммутаторы с аппаратной поддержкой VXLAN и EVPN. Такие есть и у российских производителей: у Eltex есть руководство по построению IP-фабрики на EVPN/VXLAN, у Qtech - настройка VXLAN и EVPN на коммутаторах для ЦОД.
Geneve постепенно вытесняет VXLAN как туннельный протокол - гибкие метаданные открывают возможности для L4-L7 сервисов прямо в заголовке. NSX интегрируется с Tanzu для управления сетями Kubernetes-кластеров, и граница между виртуальными сетями ЦОДа и контейнерными оверлеями стирается.
EVPN как control plane для VXLAN стал стандартом для новых инсталляций. Это даёт нормальную BGP-сигнализацию для MAC/IP-таблиц без проприетарных контроллеров, что особенно актуально в гетерогенных средах с несколькими вендорами.
Broadcom продвигает NSX только в составе VMware Cloud Foundation, так что отдельные инсталляции NSX уходят в прошлое. Для тех, кто может официально покупать VMware, целевая платформа - VCF. В России выбор другой: оверлей на Proxmox или российской платформе виртуализации и EVPN/VXLAN-фабрика на коммутаторах, которые можно купить и поставить на поддержку.
Если вы только строите оверлейную сеть - закладывайте EVPN и MTU 9000 в underlay с первого дня. Если уже эксплуатируете NSX-V - план миграции лучше составить сейчас, пока это не стало срочным.
Способ растянуть одну локальную сеть поверх любой IP-сети: кадры виртуальных машин упаковываются в UDP-пакеты, едут между хостами и распаковываются на другой стороне.
Сам по себе нет, это протокол туннелирования. SDN получается, когда поверх VXLAN есть контроллер, который программно создаёт сегменты и раздаёт правила: VMware NSX, SDN в Proxmox, фабрика на EVPN.
В underlay - не меньше 1600 байт, для Geneve в NSX рекомендуется 1700, удобнее всего 9000. Если поднять MTU нельзя, уменьшите его внутри виртуальных машин до 1450.
VLAN - метка в кадре, до 4094 сегментов в пределах одной L2-сети. VXLAN - туннель через IP-сеть, около 16 млн сегментов и никакой привязки к физической топологии.
Нет. VXLAN поддерживают ядро Linux, SDN в Proxmox и коммутаторы многих производителей, включая российские.
Строите кластер под виртуализацию с оверлейной сетью?
Подберём серверы под гипервизор и сетевые карты с аппаратной разгрузкой VXLAN, учтём ядра под сетевой стек и соберём конфигурацию с тестом перед отгрузкой. Готовые конфигурации есть в каталоге, там можно подобрать и купить сервер виртуализации, или напишите нам: +7 (800) 551-80-12, info@ittelo.ru. Серверами мы занимаемся больше 11 лет и за это время накопили серьёзную экспертизу. Даём гарантию до 5 лет, берём сервер на постпродажное обслуживание и не пропадаем после отгрузки.