NUMA (Non-Uniform Memory Access, неоднородный доступ к памяти) - это архитектура, в которой у каждого процессора есть своя «ближняя» память. До неё процессор дотягивается быстро, а до памяти соседа - через межпроцессорную шину, заметно медленнее. Отсюда парадокс, знакомый многим админам: в сервер поставили второй процессор и добавили памяти, а база данных или виртуальная машина быстрее не стала. Бывает, что и замедлилась.
Разберёмся, сколько NUMA-узлов в современном сервере, как их увидеть, где NUMA съедает производительность и что поправить в BIOS и гипервизоре.
Если вы искали Numa BIOS или Numa vServer: это продукты российской компании НумаТех (базовая система ввода-вывода и платформа виртуализации). С архитектурой памяти их роднит только название.
NUMA - это схема памяти, где скорость доступа зависит от того, чья это память. Работает она так:
Противоположность NUMA - UMA (Uniform Memory Access), где все ядра ходят в память одинаково долго. Так были устроены многопроцессорные x86-серверы до второй половины 2000-х.
В начале 2000-х процессоры двухсокетного сервера сидели на общей шине и вместе ходили к одному контроллеру памяти в чипсете. Для всех ядер память была одинаково далёкой, и каждый добавленный процессор усиливал толкотню на шине.
AMD решила это в 2003 году: в Opteron контроллер памяти переехал внутрь процессора, а сокеты соединила шина HyperTransport. Intel пошла тем же путём в 2009-м с Xeon 5500 на архитектуре Nehalem и шиной QPI. С тех пор любой двухпроцессорный x86-сервер - это NUMA, хочет того админ или нет.
Третий шаг случился уже внутри одного процессора. Большие серверные CPU собирают из нескольких кристаллов (чиплетов), и ядро на одном краю такого процессора ждёт память с другого края дольше, чем соседнюю. Первые EPYC 2017 года вообще состояли из четырёх кристаллов со своими контроллерами памяти, и один процессор выглядел для системы как четыре узла. В следующих поколениях AMD вынесла контроллеры в центральный кристалл ввода-вывода, и по умолчанию сокет снова стал одним узлом. Но возможность разбить его на части осталась - и у AMD, и у Intel.
Короткий ответ: число процессоров, умноженное на число узлов, которое задаёт режим в BIOS. В двухпроцессорном сервере с настройками по умолчанию узлов обычно два, но BIOS может показать системе и четыре, и шесть, и восемь.
| Платформа | Узлов на сокет по умолчанию | Что можно выставить в BIOS |
|---|---|---|
| Intel Xeon Scalable 1-3 поколений | 1 | SNC2 - процессор делится на 2 узла |
| Intel Xeon Scalable 4-5 поколений | 1 | SNC2, у части многокристальных моделей - SNC4 |
| Intel Xeon 6900P | 3 (SNC3, по узлу на вычислительный кристалл) | HEX - весь сокет одним узлом |
| Intel Xeon 6700P / 6500P | зависит от модели | SNC - если его поддерживает модель; число узлов проверяйте командой (ниже) |
| AMD EPYC 7002-9005 | 1 (NPS1) | NPS2, NPS4; на двух сокетах - NPS0 (вся память одним узлом); отдельно - «L3 как NUMA-узел» |
| AMD EPYC 4004/4005 | 1 | - |
SNC (Sub-NUMA Clustering) у Intel и NPS (NUMA Nodes Per Socket) у AMD делают одно и то же: дробят процессор на узлы, каждому из которых достаются свои ядра и свои каналы памяти. Внутри маленького узла память ближе, зато сам узел меньше, и большая виртуальная машина в него уже не влезет.
NUMA бывает и в одном процессоре. Многие считают, что это проблема только двухпроцессорных серверов, но один EPYC в режиме NPS4 или один Xeon 6900P с настройками по умолчанию уже показывает системе несколько узлов. Разница в задержке между ними меньше, чем между сокетами, но гипервизор и СУБД работают именно с узлами.
Чаще всего NUMA портит сама сборка: как в сервер поставили память и платы расширения. Вот четыре типовых сценария.
Память только у одного процессора. Двухпроцессорный сервер берут с четырьмя модулями, и все четыре стоят в слотах первого процессора. Второй CPU работает, но своей памяти у него нет: каждое обращение его ядер - удалённое. В Linux такой узел виден в выводе numactl --hardware с нулевым объёмом памяти.
Разный объём на сокетах. На одном процессоре 256 ГБ, на другом 64 ГБ. Гипервизор раскладывает виртуальные машины по узлам, и большая ВМ рано или поздно не помещается в «бедный» узел и вылезает к соседу.
Пустые каналы. У современного процессора 8-12 каналов памяти, и пропускная способность узла складывается из них. Два модуля на 12-канальный EPYC - это примерно одна шестая возможной пропускной способности памяти, а в режимах SNC/NPS часть узлов может вовсе остаться без своей памяти. Подробнее о том, почему один модуль на канал часто выгоднее двух, - в разборе 1DPC для AMD EPYC 4004, а о том, что такое ранговость оперативной памяти и почему модули лучше брать одинаковыми, - в отдельной статье.
Устройства на «чужом» сокете. Сетевая карта на 25 Гбит/с или NVMe-диски стоят в слоте, разведённом ко второму процессору, а сервис, который с ними работает, живёт на первом. Каждый пакет и каждый блок данных пересекает межпроцессорную шину. На части платформ с одним установленным процессором слоты второго сокета не работают вовсе - это лучше выяснить до покупки.
Частая ошибка при апгрейде. «Докупим память в свободные слоты» на двухпроцессорном сервере легко заканчивается перекосом: все новые модули встают к одному процессору. Добавляйте память одинаково к каждому сокету и по одинаковым каналам.
Перед установкой памяти в двухпроцессорный сервер пройдитесь по списку:
Хватает трёх-четырёх команд, специальный софт не нужен.
Linux, в том числе хост Proxmox:
lscpu | grep -i numa
numactl --hardware
numastat
cat /sys/class/net/eth0/device/numa_node
lscpu покажет число узлов и какие ядра к какому относятся. numactl --hardware выведет память каждого узла и матрицу расстояний: 10 - это свой узел, числа больше - соседние. numastat считает промахи: если счётчики numa_miss и other_node быстро растут, процессы активно ходят в чужую память. Последняя команда показывает, к какому узлу подключена сетевая карта (вместо eth0 - имя вашего интерфейса; значение -1 означает, что система узлы не различает).
Windows Server: утилита Coreinfo от Sysinternals. coreinfo -n показывает, какие логические процессоры к какому узлу относятся, coreinfo -m - относительную стоимость доступа между узлами.
VMware ESXi: esxcli hardware memory get выводит среди прочего число NUMA-узлов хоста.
Виртуальная машина работает быстрее всего, когда её виртуальные процессоры и память помещаются в один NUMA-узел хоста. Считать нужно по физическим ядрам узла: гиперпотоки не добавляют узлу полноценных ядер.
Если ВМ больше узла, гипервизор может показать гостевой системе виртуальную NUMA-топологию (vNUMA). Тогда Windows, Linux и СУБД внутри ВМ знают, какая память «своя», и раскладывают потоки разумно. Без vNUMA гостевая система считает память однородной и ходит в неё вслепую.
Пример: хост с двумя процессорами по 16 ядер и 512 ГБ памяти, то есть два узла по 16 ядер и 256 ГБ.
| Виртуальная машина | Влезает в узел? | Что будет |
|---|---|---|
| 8 vCPU, 64 ГБ | да | лучший случай: всё локально |
| 16 vCPU, 192 ГБ | да, впритык | работает, но соседним ВМ на этом узле почти не остаётся места |
| 24 vCPU, 128 ГБ | нет, по ядрам | ВМ размазана по двум узлам; нужна vNUMA из двух узлов, иначе гостевая ОС не знает, где её память |
| 8 vCPU, 320 ГБ | нет, по памяти | самый коварный случай: ядер мало, ВМ живёт в одном узле, а часть её памяти лежит у соседа |
Последняя строка - типичная ВМ под 1С или базу данных: процессоров немного, памяти много. В VMware ESXi виртуальная NUMA-топология по умолчанию включается только для ВМ больше чем с восемью vCPU, и строится она по числу процессоров. Объём памяти ESXi в этот расчёт не берёт, поэтому такая машина получает удалённую память, а гостевая система об этом не знает. Лечится ручной настройкой топологии или порога vNUMA (параметр numa.vcpu.min).
О том, сколько процессоров выделить виртуальной машине и как распределить между ВМ память и диски, - в отдельной статье. Дальше - что умеет каждый популярный гипервизор. Сравнение платформ целиком, включая Proxmox vs ESXi, - в обзоре гипервизоров 2026 года.
В настройках процессора ВМ в Proxmox есть флажок «Включить NUMA». Документация Proxmox советует при включённой NUMA ставить число сокетов ВМ равным числу NUMA-узлов хоста.
На практике маленькой ВМ, которая целиком помещается в один узел, хватает одного сокета без NUMA. Флажок нужен большим ВМ, которые всё равно займут несколько узлов. Сам флажок не привязывает ВМ к конкретному узлу хоста - для жёсткой привязки к ядрам в Proxmox есть отдельный параметр affinity.
В Hyper-V по умолчанию разрешено «растягивать» ВМ на несколько физических узлов (NUMA spanning). Настройка действует на весь хост сразу. Если её отключить, ВМ, которая не помещается в узел, просто не запустится и не примет живую миграцию, - зато ни одна машина не получит удалённую память незаметно.
Hyper-V сам передаёт гостевой системе виртуальную NUMA-топологию, но с оговоркой: у ВМ с включённой динамической памятью виртуальный NUMA-узел один. Для больших баз данных динамическую память обычно отключают в том числе по этой причине.
ESXi строит vNUMA автоматически для ВМ больше чем с восемью vCPU. Главная ловушка описана выше: топология считается только по числу процессоров. Если ВМ создавали по старым гайдам с включённым горячим добавлением процессоров (CPU Hot Add), проверьте, видит ли гостевая ОС узлы: в ряде версий ESXi эта опция отключала vNUMA.
Российские платформы виртуализации на базе KVM - zVirt, «Брест», ROSA Virtualization - умеют задавать ВМ виртуальные NUMA-узлы и привязывать их к узлам хоста. Логика та же: маленькая ВМ - в один узел, большая - с явной топологией и закреплением.
СУБД по-разному относятся к NUMA, и от этого зависит, что настраивать.
Microsoft SQL Server про NUMA знает. Начиная с версии 2016 он сам дробит узлы, в которых больше восьми физических ядер, на программные узлы (automatic soft-NUMA). Это меняет распределение потоков, а размещение памяти остаётся прежним. Задача админа - дать ВМ с SQL Server правильную vNUMA и не прятать от неё реальную топологию.
PostgreSQL исторически размещением памяти по узлам не управляет. В версии 18 появилось представление pg_shmem_allocations_numa, которое показывает, как общая память распределена по узлам. Это инструмент наблюдения: поменять через него ничего нельзя. Практический совет: если база помещается в один узел, держите её там. А на Linux-хосте проверьте, что vm.zone_reclaim_mode = 0: на современных ядрах это значение по умолчанию, а включённый режим заставляет ядро вычищать кэш своего узла, вместо того чтобы взять свободную память у соседа.
Сервер «1С:Предприятия» - это набор рабочих процессов, и ему обычно важнее частота ядер, чем их количество (подробно - в разборе, какой лучший процессор для 1С). Если сервер 1С и СУБД живут на одном двухпроцессорном хосте, часто разумнее разнести их по двум ВМ, каждая из которых помещается в свой узел, чем собирать одну огромную машину на весь сервер.
Главная настройка с подвохом - Node Interleaving (чередование узлов). Если её включить, BIOS «перемешивает» память всех процессоров мелкими кусками, и система видит один большой узел. В двухпроцессорном сервере примерно половина обращений любой задачи после этого уходит к соседнему сокету - удалённых обращений становится больше, зато все задачи тормозят одинаково. По умолчанию опция выключена, и включать её стоит только как крайнюю меру для старого ПО, которое плохо работает на NUMA-системе.
| Задача | Что выставить | Почему |
|---|---|---|
| Виртуализация общего назначения, ВМ небольшие | Node Interleaving выключен, SNC/NPS - значение производителя по умолчанию | гипервизор сам раскладывает ВМ по узлам |
| Крупные ВМ или одна большая база на весь сервер | Node Interleaving выключен, vNUMA в гостевой ОС | СУБД, которая знает про NUMA, распределит потоки и память сама |
| Задачи, чувствительные к задержкам памяти, с привязкой процессов | SNC2/SNC4 или NPS2/NPS4 - только после теста на своей нагрузке | узлы меньше, но память ближе |
| VMware ESXi на AMD EPYC | «L3 как NUMA-узел» выключен | Broadcom рекомендует не включать эту опцию на современных ESXi: она сбивает планировщик гипервизора |
| Старое ПО, которое тормозит на NUMA-системе | Node Interleaving включён | крайняя мера: равномерно средняя скорость вместо перекоса |
Менять режимы SNC и NPS «на всякий случай» не стоит. Выигрыш от них зависит от того, умеет ли конкретная нагрузка работать с узлами, и проверяется только тестом.
Во многих конфигурациях малого и среднего бизнеса о NUMA можно не думать вовсе:
Если сервер только выбираете, сначала решите, нужен ли второй процессор вообще: для многих задач SMB один мощный CPU проще и быстрее двух. Когда второй сокет оправдан, а когда только добавляет NUMA и стоимость лицензий, - в статье про двухпроцессорный сервер. А если задача всё-таки требует двух сокетов и вы собираетесь купить двухпроцессорный сервер, сразу закладывайте симметричную память на оба процессора.
Это группа ядер вместе со своим контроллером и каналами памяти. Доступ к памяти своего узла быстрее, чем к памяти соседнего.
Может быть. С настройками по умолчанию сокет обычно один узел, но в режимах NPS2/NPS4 у AMD EPYC, SNC у Xeon, а у Xeon 6900P и по умолчанию процессор делится на несколько узлов.
Для ВМ, которая помещается в один узел хоста, обычно нет. Для большой ВМ, занимающей несколько узлов, - да, с числом сокетов, равным числу узлов хоста.
Виртуальная NUMA-топология, которую гипервизор показывает гостевой ОС. С ней система внутри ВМ знает, какая память для её потоков ближняя.
Обычно нет. Опция выключает NUMA для системы и делает доступ к памяти равномерно средним. Включать её стоит только для старого ПО, которое плохо работает с узлами.
Нет. Это продукты российской компании НумаТех, к архитектуре памяти они отношения не имеют.
По теме: P-ядра и E-ядра в Intel Xeon 6 · Сколько оперативной памяти нужно серверу · Как выбрать сервер под базу данных
Подбираете сервер под виртуализацию или базу данных?
Подберём процессоры и память под вашу нагрузку, разложим модули симметрично по сокетам и каналам и протестируем конфигурацию перед отгрузкой. Подберите сервер для виртуальных машин в каталоге или напишите нам: +7 (800) 551-80-12, info@ittelo.ru. Серверами мы занимаемся больше 11 лет и за это время накопили серьёзную экспертизу. Даём гарантию до 5 лет, берём сервер на постпродажное обслуживание и не пропадаем после отгрузки.