Обзор корпуса Supermicro 741GE-TNRT: GPU-сервер на 4 видеокарты

GPU-серверы перестали быть нишей. Запросы на 4U-башни под две-четыре видеокарты пошли потоком - кому под локальный ИИ-инференс, кому под рендер, кому под CAD в серверном форм-факторе. И почти всегда вопрос один: «что взять, чтобы влезло, охладилось и не пришлось докупать ещё пол-сервера комплектующих».

Платформа: Supermicro 741GE-TNRT с системной платой Supermicro X13DEG-QT. Корпус GPU-ready на четыре двухслотовых карты, два сокета LGA4677, 16 слотов DDR5, 8 универсальных корзин 3.5" и два блока питания на 2 кВт в резервировании. Недавно собрали на ней сервер с RTX PRO 6000 Blackwell - покажем, что внутри платформы, как прошла сборка и какие позиции мы всегда докладываем в комплект, потому что в спецификации Supermicro их нет.

Кому подходит 4U-башня под GPU

4U - универсальный форм-фактор. Можно поставить как tower (вертикально, под стол или в серверный шкаф), можно положить в стойку через рельсы. У 1U и 2U такой опции нет - только в стойку. Это значит: один и тот же сервер закроет задачу и на старте (когда серверной ещё нет, а GPU-сервер уже нужен), и через год (когда стойка появилась, и хочется перевезти железо в инфраструктуру).

Под какие задачи 741GE-TNRT хорошо ложится:

• Локальный ИИ-инференс на 1-4 двухслотовых GPU
• ML-разработка и эксперименты с моделями
• Рендер-фермы «в одном корпусе»
• CAD/3D-станции в серверном форм-факторе
• Виртуализация с GPU-passthrough
• Сценарии с большим локальным хранилищем (8 корзин дисков - не у всех есть)

По видеокартам: до 4 двухслотовых GPU с TDP до 300-350 Вт каждая. Карты на 450+ Вт - не больше 2 штук на платформу, под конкретную модель считается отдельно.

Что внутри Supermicro 741GE-TNRT

Платформа собрана вокруг материнской платы Supermicro X13DEG-QT - двухсокетной EATX-платы под Intel Xeon Scalable 4-го и 5-го поколения. Что есть:

• 2 сокета LGA4677 под Xeon Scalable 4-го/5-го поколения (Sapphire Rapids / Emerald Rapids)
• 16 слотов DDR5 (DIMM), до 4 ТБ суммарно
• До 4 двухслотовых GPU full-height, full-length - по две карты с каждой стороны от центральной перегородки с вентиляторами (midwall)
• 8 универсальных корзин 3.5"/2.5" hot-swap под NVMe или SAS/SATA
• Бэкплейн BPN-NVME5-749N-S8 - универсальный, переключается между NVMe и SAS/SATA
• 2× 10GbE RJ-45 (Intel X550-AT2) на борту
• 2× блока питания 2000 Вт (PWS-2K05A-1R) в режиме 1+1, hot-swap
• 4 вентилятора 80 мм в midwall, hot-swap, плюс опциональные в GPU- и CPU-зонах
• IPMI 2.0 с веб-интерфейсом и iKVM
  
  
  

Что в 741GE-TNRT удобно

По спекам корпус выглядит как ещё один большой 4U. На столе раскрывается иначе - вот что разглядели за час с отвёрткой. Полный обзор пустого корпуса - на видео.

В тексте остановимся на том, что сразу бросается в глаза.

Перфорация по всей лицевой стороне. Воздух идёт большой площадью, а не через узкие щели бытовых корпусов. Под четыре GPU это критично: суммарный поток нужен большой, а просасывать его через мелкие отверстия - это шум и просадка КПД вентиляторов.

Дверца с замком на дисковую корзину. Случайно диск не вынуть, без ключа - тоже. Для сервера, который не всегда стоит в закрытой серверной, это разница между «всё под контролем» и «кто-то задел и выдернул горячий диск».

Симметричная компоновка GPU-зоны. Это редкое решение: посадка под видеокарты - с обеих сторон от центральной перегородки с вентиляторами. У большинства 4U-tower'ов GPU стоят только с одной стороны от материнки, и потолок там - две карты. Тут двухслотовые встают по две с каждой стороны - итого четыре, без переходников и без жертв.

Шина-колодка питания на 9 свободных разъёмов после установки одной RTX PRO 6000. То есть запас под расширение - ещё три-четыре GPU и периферию - есть из коробки.

Бэкплейн BPN-NVME5-749N-S8: универсальная начинка

Бэкплейн - сильная сторона платформы и место, где спецификация часто обманывает. У 741GE-TNRT бэкплейн BPN-NVME5-749N-S8 - универсальный: все 8 портов поддерживают и NVMe (напрямую через материнскую плату, без retimer), и SAS/SATA (через два кабеля Oculink на мать).

Что это значит на практике:

• Хотите NVMe-сторадж на 8 дисков - получаете из коробки, без переплат за отдельный U.2-бэкплейн
• Хотите классику с большими SATA-дисками под архив - тоже из коробки, просто с другим кабельным комплектом
• Можно микс: часть портов NVMe, часть SAS/SATA - по индивидуальной разводке

В нашей сборке - SATA-вариант: четыре HDD по 16 ТБ под архив плюс два SSD 960 ГБ под систему, всё на контроллере LSI 9560-8i.

Питание: 2 кВт - это не 4 кВт

Два блока питания PWS-2K05A-1R по 2000 Вт каждый. Hot-swap, в режиме 1+1.

Здесь важная штука, на которой иногда обжигаются. 1+1 - это резервирование, не сложение. Один БП работает, второй ждёт. Полезный бюджет питания платформы - около 2 кВт минус КПД и запас на пиковые броски. То есть 2 кВт, не 4. Это правда даже в маркетинговых табличках вендоров - просто не всегда выделено жирным.

Что из этого следует для расчёта под GPU:

• 4× RTX PRO 6000 Blackwell Max-Q (300 Вт каждая) - вписывается с запасом
• 4× RTX 5000 Ada (250 Вт) - тоже с запасом
• 4× RTX PRO 6000 Blackwell в полной 600-ваттной версии - не вытянет, нужен либо БП помощнее, либо меньше карт

Считать всегда нужно от реального суммарного TDP всех компонентов с запасом 20-30% сверху.

Чего нет в коробке: что докладываем при сборке

В спецификации Supermicro этого не пишут, но без этих позиций сервер с GPU нового поколения не соберёшь. Перечисляем, что мы всегда докладываем в комплект - чтобы у заказчика не было сюрпризов на этапе пусконаладки.

Кабель 2×8pin → 12VHPWR (16-pin) - для GPU с новым разъёмом питания. Ни в комплект корпуса, ни в комплект материнской платы его не кладут. NVIDIA RTX PRO 6000, RTX 5090, RTX 4090 без него не запитать - у них только новый 16-pin вход. Держим запас кабелей под такие сборки.

Монтажные рамки под радиаторы CPU. В комплект серверных радиаторов под LGA4677 рамки не идут. Зависят от модели процессора (для Sapphire Rapids и Emerald Rapids - разные по высоте кристалла). При сборке подбираем под конкретный CPU.

Кабельный комплект под бэкплейн. NVMe и Oculink-наборы разные. По умолчанию приходит один из двух - укомплектовываем под целевую конфигурацию ещё до отгрузки.

Сборка: конфигурация и почему такая

Конфигурацию подбирали под универсальный GPU-сервер с большим локальным архивом и быстрым системным разделом. Один ускоритель, простор под архив, второй сокет про запас.

Короткие комментарии по логике сборки.

Один процессор Xeon Gold 6526Y - потому что нагрузка такой машины ложится на GPU, а не на CPU. 16 ядер на 2.8 ГГц без дела не останутся, второй сокет здесь оставлен на вырост. Если CPU-нагрузка вырастет, добавим второй камень и заполним вторую половину слотов памяти.

256 ГБ DDR5-5600 ECC - 8 планок по 32 ГБ. Заполнили половину каналов памяти, оставили апгрейд - платформа тянет 16 планок и потолок 4 ТБ. Память удвоить можно, не выбрасывая текущие планки.

RTX PRO 6000 Blackwell Max-Q - выбор сознательный. У карты урезаны частоты, но остались все 96 ГБ видеопамяти, а TDP вместо 600 Вт стал 300. Это значит: меньше нагрузка на питание, меньше тепла, проще охлаждение, можно потом ещё одну такую же поставить - бюджет БП позволяет. Полную 600-ваттную RTX PRO 6000 ставить тоже можно, но БП придётся пересчитывать заново и ограничиваться одной-двумя картами вместо четырёх.

LSI 9560-8i + батарея. 8-портовый SAS/SATA контроллер с 4 ГБ кэша. Батарея - чтобы кэш записи не потерялся при пропадании питания (хотя у нас два БП в резервировании, это ещё один слой защиты данных). Контроллер ещё и два NVMe тянет - полезно для будущих апгрейдов, если захочется добавить быстрый кэш или отдельный NVMe-том.

4× 16 ТБ HDD + 2× 960 ГБ SSD. 64 ТБ «сырого» архива на HDD под большие данные, 1.9 ТБ на SSD под систему и быстрый раздел. Универсальная конфигурация под GPU-сервер с локальным хранилищем - данные лежат рядом с видеокартой, ничего не нужно гонять по сети.

IPMI и первое включение

Сервер собран - подключаем IPMI, смотрим, что показывает.

IPMI у Supermicro - простой и понятный. После первого включения дашборд сразу показывает CPU, оперативную память, GPU, температуры, состояние блоков питания и дисков. Видеокарта в IPMI выведена отдельным пунктом - с моделью и параметрами. Удобно для удалённого мониторинга: смотреть нагрузку и температуры можно, не заходя в OS.

Все температуры в норме сразу после сборки. Storage и sensors - без замечаний. Можно отдавать в эксплуатацию.

Из-под Windows RTX PRO 6000 Blackwell определяется штатно с актуальным драйвером NVIDIA Studio или Enterprise.

Итог

Supermicro 741GE-TNRT - честная 4U-платформа под GPU без видимых компромиссов. Универсальный бэкплейн на 8 дисков, симметричная компоновка под четыре карты, два киловатта питания в резервировании, IPMI с нормальным дашбордом. Нюансы по комплектности (кабель GPU, рамки CPU) - небольшая плата за универсальность платформы и решается на этапе заказа.