Собрали GPU-сервер на двух RTX 3090: конфликт, который видно только при сборке

К нам пришёл запрос: нужен сервер для видеоаналитики с камер. Два GPU с поддержкой CUDA, NVMe в зеркале, двухпроцессорная платформа, 64 ГБ оперативки. На бумаге - задача из разряда «подобрать компоненты и собрать». Но между «совместимо по спецификациям» и «физически влезло в корпус» - целая пропасть нюансов, про которые ни один даташит не предупреждает.

Рассказываем, как мы собирали этот сервер и почему M.2-слот оказался главным героем истории.

Что просил клиент

Сервер для видеоаналитики: обработка потоков с камер, вычислительная нагрузка на GPU. Две видеокарты с 24 ГБ VRAM каждая, CUDA, NVMe в RAID 1 под систему, 64 ГБ оперативки, Ubuntu Server 24.04 LTS. Сроки - «вчера».

Что выбрали и почему

Материнская плата - Supermicro X11DPH-i. Два сокета LGA 3647, несколько PCIe x16 под GPU, два M.2 для NVMe. IPMI на борту, в серверную без монитора без этого никуда.

Корпус - башенный Supermicro с восемью hot-swap корзинами 3.5" SAS/SATA спереди, восстановленный (ref). Tower-формат для GPU-задач. Отличный выбор, если хочется сэкономить бюджет или нет полноценной серверной стойки:

• Влезает до четырёх GPU двойной ширины (RTX A6000, A5000 и т. д.). У нас стоят две RTX 3090, место ещё осталось.
• Карты с турбиной в башне чувствуют себя отлично: выбрасывают горячий воздух сразу за пределы корпуса, а не раздувают его по соседним компонентам.
• Стоимость tower-конфигурации в 2–3 раза ниже аналогичной стоечной. А рефабришед-корпус экономит ещё больше. Железо то же самое, только дешевле.

Этот конкретный корпус и материнская плата приехали из крупного ЦОД, прошли полную диагностику, чистку и замену расходников. Снаружи и внутри не отличить от нового. Как говорится - если нет разницы, зачем платить больше?

Две RTX 3090 плюс двухсокетная платформа - прожорливая связка. Поэтому блоки питания: два Supermicro PWS-2K04A-1R по 2 кВт в режиме 1+1. Резервирование, чтобы сервер не лёг посреди ночи.

GPU: две AFOX RTX 3090 с турбинным охлаждением. Турбина в серверном корпусе - то, что надо: она выбрасывает горячий воздух наружу, а не греет соседей по плате.

Где всё пошло не по плану - M.2 против видеокарты

На плате X11DPH-i два M.2-слота. По спецификации всё прекрасно: ставим два NVMe-диска, собираем RAID 1, система защищена от выхода одного накопителя. Первый диск встал без вопросов.

Дальше устанавливаем видеокарту в ближайший PCIe x16. Защёлкиваем крепление - и понимаем, что защёлка фиксатора GPU легла прямо на второй слот M.2. Физически. Диск туда больше не вставить.

В документации об этом ни слова. В мануале к плате сказано «2x M.2 slots» - и это правда. В спецификации GPU указаны габариты карты - и они тоже верные. Но никто не пишет: «при установке видеокарты в слот PCIe 3 защёлка перекроет M.2 слот номер 2». Это знание, которое невозможно получить из документации. Только из опыта сборки.

Решение: PCIe-адаптер для M.2 NVMe. Это карта расширения, которая вставляется в свободный PCIe-слот и принимает стандартный M.2-диск. Второй NVMe переехал туда - RAID 1 собрался, обе видеокарты на месте.

Адаптер встал вплотную к видеокартам, получилось плотно. Поэтому поставили дополнительные вентиляторы для обдува GPU-зоны - при такой компоновке лишними не будут.

Видео с производства: наш инженер показывает, как защёлка GPU блокирует M.2-слот

Что ещё под капотом

Питание GPU. Четыре 8-pin кабеля от шины БП, каждый с дополнительным 6-pin. Для двух RTX 3090 - с запасом.

Охлаждение. Четыре вентилятора спереди, четыре сзади. Два задних стационарные, два для обдува GPU-зоны. У карт свои турбины, но при плотной компоновке лишний обдув не помешает.

Крепление видеокарт. Держатели надежно фиксируют видеокарты в корпусе - карты сидят очень плотно. Никаких провисаний и люфта.

Почему сборка сервера сложнее, чем кажется по спецификациям

Конфликт M.2-слота с защёлкой GPU - один пример из десятков. Мы постоянно сталкиваемся с подобным: кабели не дотягиваются на 3 сантиметра, радиатор упирается в планку памяти, вентилятор задевает провод питания. В даташите каждой железки по отдельности всё красиво - а конфликты вылезают, когда собираешь их вместе.

Если собираете сервер сами по списку комплектующих - готовьтесь к вечеру на форумах и паре деталей, заказанных после «финальной» сборки. У нас этот опыт накоплен: мы знаем, какие платы конфликтуют с какими GPU, где нужен переходник, какой длины брать кабели.

Отдельная тема - новое vs. восстановленное. Этот сервер собран на рефабришед-платформе: корпус и материнская плата из крупного дата-центра, где оборудование работало в идеальных условиях - контролируемая температура, влажность, чистота. Всё, что изнашивается, заменили на новое: накопители, термоинтерфейсы, батарейки CMOS, вентиляторы. Прошивки обновлены, 72 часа стресс-тестов под полной нагрузкой - и только после этого сервер уехал к клиенту.

Мы собираем и новые, и восстановленные серверы. Зависит от задачи и бюджета. На рефабришед даём до 5 лет гарантии с быстрой заменой (отправим замену уже на следующий рабочий день). Мы уверены в том, что отдаём.

Итоговая конфигурация