Эксперты в подборе IT-оборудования
Обычная стойка на воздухе держит примерно до 15-20 кВт. Дальше идут внутрирядные кондиционеры и двери-теплообменники, они вытягивают 20-40 кВт. В районе 40-60 кВт чистый воздух перестаёт быть практичным: дальше либо жидкость на чипе, либо активные двери-теплообменники, где сервер по-прежнему продувается воздухом, а тепло из стойки уже уносит вода. Но плотность стойки редко упирается в физику сразу. Гораздо чаще холода в помещении хватает - он просто идёт мимо серверов.
Разговор про жидкостное охлаждение пришёл из новостей про ИИ-фабрики, где стойки берут по 120 кВт и погружаются в масло. Беда в том, что советы оттуда не переносятся на серверную с четырьмя стойками в офисном здании. Ниже - лестница решений снизу вверх: что реально даёт каждая ступень, во что обходится и что мешает подняться на неё именно у нас. А ближе к концу - вопрос, который стоит проверить независимо от вашей плотности: сколько минут у вас есть, когда холод пропал.
| Плотность стойки | Что обычно стоит в стойке | Чем охлаждают |
|---|---|---|
| 3-5 кВт | десяток обычных 1U/2U серверов, свитч, СХД | кондиционер на помещение |
| 5-10 кВт | типовая корпоративная стойка, наполненная плотно | кондиционер плюс порядок в потоках воздуха |
| 10-15 кВт | много дисков, пара GPU или лезвийное шасси | коридоры, перфорированные двери, контроль по входу |
| 15-20 кВт | верх воздушных возможностей | изоляция коридоров обязательна |
| 20-40 кВт | GPU-серверы, вычислительный кластер | внутрирядные кондиционеры, задние двери-теплообменники |
| 40-60 кВт | пограничная зона | гибрид: жидкость на процессорах, воздух на остальное |
| Свыше 60 кВт | ИИ-стойки | жидкость на чипе; активные двери-теплообменники как переходный вариант |
Цифры в таблице - диапазоны, а не пороги. Одна и та же стойка на 12 кВт спокойно живёт в зале с холодным коридором и задыхается в кладовке с бытовым сплитом под потолком. На результат влияют температура приточного воздуха, высота помещения, геометрия ряда, перфорация дверей и то, насколько аккуратно уложены кабели за сервером.
А настоящий предел у воздуха не в киловаттах на стойку, а в тепле с одного чипа. Ускоритель на 700-1000 Вт воздухом ещё снимается, но уже на пределе, а стойка на 120-130 кВт вроде GB200 NVL72 проектируется под жидкость сразу: воздушного варианта у неё просто нет.
Полезно понимать и вторую сторону: сколько ваша стойка ест под нагрузкой. Паспортная сумма блоков питания и реальное потребление расходятся в разы, и считать надо по второму - как считать мощность стойки, мы разбирали отдельно.
Заодно ориентир по нашему рынку. Базовая единица аренды в российских коммерческих ЦОД до сих пор - стойка на 5 кВт, и запрос «стойка 5 кВт» в Вордстате в разы популярнее, чем «жидкостное охлаждение серверов». Неплохой индикатор того, где рынок находится в действительности.
Виноваты ускорители. Один сервер с восемью GPU уровня H100 под нагрузкой съедает 10-11 кВт - то есть в одиночку больше, чем целая стойка обычных серверов у среднего заказчика. Четыре таких узла в одной стойке дают около 40 кВт. Кондиционер на помещение с этим не справится: тепло надо снимать прямо с фасада конкретной стойки, общим холодом по залу его не разбавить.
А дальше работает простая логика: раз в ЦОД под ИИ ставят жидкость, значит воздух умер везде. Данные говорят другое. По опросу Uptime Institute 2026 года самая часто встречающаяся плотность стойки в мире - 11 кВт (годом раньше было 9), а средняя, если не считать площадки, спроектированные под 30 кВт и выше, - 7,8 кВт. Массовая стойка в мире по-прежнему живёт в районе десяти киловатт.
Так что вопрос стоит не «когда все перейдут на жидкость», а «где на этой шкале стоите вы и какая ступень вам нужна следующей». Если вы как раз собираете сервер для GPU, тепловой бюджет стойки лучше посчитать до заказа, а не после доставки.
| Симптом | Что померить | О чём говорит |
|---|---|---|
| Верхние юниты стабильно горячее нижних на 5-10 °C | температуру на фасаде внизу, посередине и вверху стойки | воздух не доходит до верха, горячий подсасывается обратно |
| Вентиляторы серверов постоянно на повышенных оборотах | обороты и потребление сервера в BMC/iLO/iDRAC | сервер охлаждает себя сам, вы платите за это электричеством и шумом |
| Кондиционер молотит без остановки, в зале не холоднее | температуру приточного и обратного воздуха | холодопроизводительности хватает, воздух идёт мимо оборудования |
| Разница температур на входе и выходе стойки меньше 10 °C | дельту между фасадом и тылом, вместе с загрузкой серверов | часть потока проскакивает мимо оборудования (либо серверы просто недогружены - проверьте одно с другим) |
| Летом жалобы на перегрев, зимой всё спокойно | температуру на входе в жару и в холода | система на пределе, запаса нет |
Один пункт из списка - повод померить. Три и больше - признак того, что воздух кончился при нынешней расстановке и потоках, и это ещё не значит, что пора закупать жидкостный контур: сначала меняют расстановку. Заодно проверьте, в каких границах вообще должна держаться серверная: нормы температуры в серверной описаны и в ГОСТ, и в отраслевых рекомендациях, и они мягче, чем принято думать.
Для одной стойки список тот же, а мерить даже проще. Температуру на входе показывает BMC каждого сервера - iDRAC, iLO и их аналоги, - так что для первой проверки не нужны ни датчики, ни мониторинг: откройте веб-интерфейс верхнего и нижнего сервера и сравните.
ASHRAE рекомендует держать на входе в оборудование 18-27 °C. Главное слово тут - «на входе». Регулировать климат по обратному воздуху или по датчику на стене у двери бессмысленно: вы измеряете смесь, а сервер дышит тем, что перед его фасадом.
Для серверной на одну-десять стоек хватает трёх-пяти датчиков на фасадах - внизу, посередине и вверху крайних стоек ряда. Один термометр у входной двери показывает погоду в комнате и ничего не говорит про то, чем дышит верхний сервер в стойке. Про расстановку и мониторинг у нас есть подробный разбор: где ставить датчики температуры.
Второе, что стоит измерить, - разницу температур между фасадом и тылом стойки. Проходя сквозь сервер, воздух нагревается примерно на 10-20 °C. Если у вас дельта заметно меньше, скорее всего холодный воздух минует оборудование и возвращается в кондиционер, так и не поработав. Второй вариант - серверы просто недогружены, поэтому смотрите дельту вместе с загрузкой. В запущенных случаях мимо серверов проходит до 60 % подаваемого воздуха: такую цифру дало обследование старых залов, которое Upsite проводила вместе с Uptime Institute.
И третье: посчитайте, сколько холода у вас уже есть. Компания Upsite обследовала 45 площадок и получила, что установленной холодопроизводительности там в среднем в 3,9 раза больше, чем ИТ-нагрузки - а жарко всё равно. В серверной с одним сплитом это считается за минуту: паспортные киловатты холода против суммы потребления серверов, которую покажет ИБП или BMC. Методика расчёта и подбор кондиционера у нас разобраны отдельно: расчёт тепловыделения и подбор кондиционера.
Частая ошибка: закатить в серверную мобильный напольный кондиционер. Он забирает воздух из того же помещения, выбрасывает горячий поток в гофру за фальшпотолок или в соседнюю комнату, добавляет собственное тепло от компрессора и ломает и без того шаткую картину потоков. Как временная мера на выходные - допустимо. Как решение - становится хуже, чем было.
Раз уж речь про температуру, стоит разобрать старый миф. Фраза «каждые 5 °C сокращают ресурс диска вдвое» кочует по статьям десятилетиями. В рабочем диапазоне она не подтверждается: Google по своему парку и Backblaze по 34 тысячам дисков связи между температурой и отказами не нашли, а Google фиксировал даже больше отказов на холодных дисках. Полного единодушия в исследованиях нет, отдельные работы корреляцию находили. Но диски у Backblaze работали при 22-30 °C при паспортном пределе 55-60 °C, и спор идёт про поведение у верхней границы, а не про разницу между 18 и 24 °C в серверной. Держать серверную при 18 °C ради дисков смысла нет - вы просто платите за холод.
Самое дешёвое, что можно сделать с плотной стойкой, делается за час и не требует ни проекта, ни согласований.
Начните с заглушек в пустые юниты. Без них горячий воздух из тыла стойки возвращается на фасад через свободные места между серверами. Эффект измеряли: в расчёте, который заказывал производитель заглушек Upsite, разница на входе между плотно закрытой стойкой и стойкой со щелями между панелями составила около 4 °C. Цифра вендорская и получена в компьютерной модели, а не на площадке, так что относиться к ней стоит как к порядку величины. Направление она показывает верно, а обходится мера в стоимость самих панелей. Той же логике подчиняются щётки и уплотнители в кабельных вводах: дыра в дне стойки или в фальшполу открывает горячему воздуху такой же короткий путь обратно, как и пустой юнит.
Дальше посмотрите на двери. Производитель стоек Chatsworth в своей белой книге со ссылкой на ANSI/BICSI 002 называет минимумом 63 % открытой площади перфорации; штатные двери APC NetShelter и стоек Dell дают 80 %, у Vertiv - 77. Глухая или стеклянная дверь на стойке с десятью серверами работает как тепловая пробка, и красота тут обходится в градусы.
И загляните за сервер. Пучок кабелей, перекрывающий половину тыльной части, работает как заслонка - воздуху некуда выходить, вентиляторы разгоняются, стойка греется.
Если у вас всего одна стойка и городить коридоры не из чего, следующий раздел как раз про вашу ситуацию. Отдельное руководство по потокам в одиночной стойке у нас тоже есть: что делать, если у вас одна стойка без коридоров.
Всё, что написано выше про ряды и коридоры, предполагает зал. Серверная в компании на сто-двести человек устроена иначе: переоборудованная кладовая или кабинет без окон, одна-две стойки и бытовая сплит-система на стене. Ряда нет, коридора нет, фальшпола тоже. Изоляция коридоров для вас закрыта, и ничего страшного тут нет: нижние ступени в такой серверной дают больше, чем в зале, а из верхних остаётся доступной одна - небольшой внутрирядник, про него ниже.
Начинать стоит с потолка комнаты. Для серверной небольшой компании обычно ставят сплит на 5-5,5 кВт холода, но серверам из них достанется меньше. Паспортная холодопроизводительность бытовой машины измеряется при 27 °C и влажном воздухе и включает осушение. В сухой серверной осушения меньше, но не ноль. Плюс освещение, люди и теплопритоки через стены и потолок. Обычно закладывают, что под ИТ-нагрузку уйдёт 60-80 % паспортных киловатт, для такого сплита это 3-4,5 кВт, то есть одна стойка обычных серверов, наполненная без фанатизма. Это ориентир, а не расчёт: точную цифру даёт подбор по явному холоду под вашу комнату. Вопрос не в том, сколько юнитов влезет в стойку, а в том, сколько тепла комната способна выбросить наружу.
Дальше полезно понимать, чем бытовая машина отличается от прецизионной - раз уж именно она у вас и стоит. Цифры по ресурсу в таблице - оценки климатических подрядчиков, а не паспортные данные.
| Что сравниваем | Бытовой сплит | Прецизионный кондиционер |
|---|---|---|
| На какой режим рассчитан | сезонная работа с паузами | круглосуточно, круглый год |
| Ресурс компрессора при работе 24/7 | порядка 5-7 лет | 12-15 лет и больше |
| Зима | без зимнего комплекта охлаждает до -5...-15 °C на улице, часть моделей - только при плюсе | штатный режим |
| Влажность | не регулирует, попутно сушит воздух | держит в заданных границах |
| Резерв и ротация | только внешней автоматикой | предусмотрены в линейке |
Выгонять бытовой сплит из серверной никто не требует: во многих компаниях он работает годами. Но у него три слабых места, и закрываются они деньгами куда меньшими, чем замена на прецизионник.
Зима - первое из них. У большинства бытовых сплитов нижний предел для режима охлаждения по паспорту лежит между +18 и -5 °C на улице, у инверторных доходит до -15. Ниже наружный блок обмерзает, масло в компрессоре густеет, и попытка запуска в таком состоянии его добивает. Зимний комплект - подогрев картера, регулятор давления конденсации, обогрев дренажа - опускает этот предел до -25...-30 °C и стоит несопоставимо дешевле нового кондиционера. Прецизионной машину он не сделает, но зиму она переживёт. Заодно проверьте дренаж: выведенная на улицу трубка замерзает, и конденсат начинает уходить внутрь помещения.
Резерв важнее зимы. Один кондиционер на серверную - единая точка отказа, и срабатывает она обычно в жару, когда мастера расписаны на неделю вперёд. Отраслевая практика для серверных простая: два блока вместо одного, каждый вытягивает нагрузку в одиночку, плюс блок ротации, который поочерёдно меняет рабочий и резервный. Ротация нужна затем, чтобы резервный не простоял год мёртвым грузом и не отказался запуститься в тот единственный день, когда понадобился. Два бытовых сплита с ротацией обойдутся дешевле одного прецизионника и закроют главный риск небольшой серверной.
Влажность - третье, и тут спокойнее. Бытовой сплит управляет только температурой и попутно работает осушителем. Для одной-двух стоек это редко превращается в проблему, но если зимой в помещении пересыхает всё и на ковролине бьёт статикой, вопрос стоит померить.
И последнее, что не стоит вообще ничего. В маленькой комнате стойку обычно задвигают вплотную к стене и ставят прямо под внутренний блок. Оба решения работают против вас: у задней стенки горячему воздуху некуда уйти, а поток, направленный в тыл стойки, гонит этот воздух обратно на фасады. Разверните стойку фасадом в сторону внутреннего блока, оставьте за ней хотя бы полметра и не направляйте поток в упор на оборудование: холод должен приходить в комнату, а не дуть в конкретный сервер.
Следующая ступень - развести холодный и горячий воздух физически. Стойки ставят фасадами друг к другу, между ними получается холодный коридор, который закрывают дверями с торцов и крышей сверху. Кондиционер подаёт холод только туда, горячий воздух уходит в остальной объём зала.
Экономию на охлаждении называют в диапазоне от 10 до 40 %, и сам разброс показателен: результат зависит от того, с чем сравнивают и при какой температуре зал работал раньше. Верхние цифры получены на залах, которые держали при 20 °C. Если у вас на входе уже 24-25 °C, выигрыш будет ближе к нижней границе. Но экономия тут вообще не главное: изоляция поднимает потолок по плотности до тех самых 15-20 кВт на стойку.
Для одного-двух рядов полная изоляция чаще всего избыточна. Мягкие торцевые шторы плюс крыша над коридором дают почти тот же эффект и стоят кратно дешевле. Проектирование и типовые ошибки мы разбирали здесь: горячие и холодные коридоры в серверной.
Если стоек одна-две и ряда нет, коридор строить не из чего, и гнаться за ним не надо. В маленькой комнате роль изоляции выполняют заглушки, перфорированная дверь и разворот стойки фасадом к внутреннему блоку из раздела выше. Задача та же: не пускать горячий воздух из тыла обратно на фасад. Чем вы её решите, шторой или разворотом стойки, - уже второй вопрос.
Есть один момент, о котором вспоминают поздно. Закрывая коридор, вы меняете геометрию защищаемого объёма для пожарной автоматики: оросители и датчики оказываются снаружи, а очаг - внутри. Проект изоляции надо согласовывать с проектировщиком установки пожаротушения (нормы проектирования - СП 485.1311500.2020). В мировой практике панели крыши коридора делают раскрывающимися по сигналу дымового извещателя, а не по плавкой вставке: газовое тушение стартует по дыму, и газ может пойти раньше, чем вставка нагреется. Американский NFPA 75 отдельно оговаривает изоляцию, которая мешает спринклерам, но конкретное решение зависит от типа тушения и конструкции. Это вопрос к проектировщику установки пожаротушения, а не к продавцу коридора.
Когда 20 кВт на стойку перестают помещаться, холод переносят из угла зала вплотную к оборудованию.
Внутрирядные (межрядные) кондиционеры встают прямо в ряд между стойками. Путь воздуха сокращается с десятка метров до полуметра, и это поднимает потолок до 20-40 кВт на стойку. В России тема живая: «прецизионный кондиционер» ищут больше полутора тысяч раз в месяц, и значительная часть запросов - именно про внутрирядные и шкафные исполнения.
Внутрирядник не обязан быть машиной для зала. Линейки начинаются примерно с 7 кВт: у APC это InRow RD с обычным наружным блоком на фасаде здания, и такой блок ставят в серверную на две стойки, когда настенный сплит уже не вытягивает, а под шкафной прецизионник нет места. Для маленькой серверной это следующая ступень после второго сплита с ротацией, и стоит она уже заметно дороже.
Отдельно про импортозамещение, потому что для госзаказа и объектов КИИ это не абстракция. Прецизионники российского производства есть: РЕФКУЛ выпускает шкафные и внутрирядные машины и включён в реестр Минпромторга с мая 2026 года, у ВАЙБОС производство в Москве и Дубне, у ВЕЗА есть линейка АКП-Р на 22-58 кВт. Наличие в реестре для части заказчиков - прямое условие поставки.
Задние двери-теплообменники заменяют штатную дверь стойки радиатором с холодной водой. Горячий воздух проходит сквозь него и выходит в зал уже охлаждённым, так что помещение почти не греется. Пассивные модели снимают около 35 кВт со стойки (у Vertiv Liebert DCD - ровно 35), активные, с собственными вентиляторами, доходят до 50 кВт и выше (Motivair заявляет 75).
У обеих ступеней одна и та же проблема - ретрофит. И внутрирядник, и дверь-теплообменник требуют источника холода и трассы до него. В готовом помещении это упирается в вещи, которых нет в вендорских брошюрах: куда вести трассу, где на фасаде разместить внешний блок и согласуют ли это собственники здания. Плюс наша зима: обычный сплит без зимнего комплекта на морозе не работает, и «кондиционер для серверной зимний» - устойчивый запрос в Вордстате, около сотни в месяц.
И ещё одно, о чём забывают: резервирование холода - отдельная задача от резервирования питания. Один внутрирядник на серверную - та же единая точка отказа, что и один сплит. Два блока поменьше почти всегда лучше одного большого.
Здесь начинается собственно жидкостное охлаждение серверов. На процессор и ускорители ставят водоблоки, по контуру идёт теплоноситель, а между серверным контуром и контуром здания стоит теплообменный модуль CDU. Устройство водоблоков и варианты установки мы разбирали подробно: как устроены водоблоки и СЖО.
Деталь, которую вендорские материалы проговаривают вполголоса: жидкость на чипе не отменяет кондиционер. Через контур уходит 60-80 % тепла сервера, а память, диски, сетевые карты и блоки питания продолжают греть воздух. Оставшиеся 20-40 % надо снимать так же, как раньше. Схема получается гибридной, и планировать её надо как гибридную.
У российского заказчика выбор упирается совсем не в теплофизику. Серверы с фабричной СЖО поставляются, вопрос в другом: кто обслуживает контур, где брать теплоноситель, кто приедет при течи и в чьей зоне ответственности окажется вода в шаге от электроники - вашей ИТ-службы или инженеров здания. Если внятного ответа на эти четыре вопроса нет, ступень для вас закрыта, какой бы эффективной она ни была в презентации.
Для маленькой серверной эта ступень возникает в одном случае: вы купили GPU-сервер, который поставляется только с водоблоками, а воды в здании нет. Выход существует - теплообменник жидкость-воздух рядом со стойкой. У Vertiv такой модуль снимает до 70 кВт без подключения к воде здания, но тепло он выбрасывает в воздух комнаты, и кондиционер ему нужен такой же, как воздушному серверу. А с одним воздушным GPU-сервером на 10 кВт вы ещё на нижних ступенях лестницы: греться будет комната, чипы тут ни при чём.
Иммерсионное охлаждение - это погружение серверов целиком в диэлектрическую жидкость, которая не проводит ток. Технологий две, и судьба у них сейчас разная.
Однофазная работает на минеральных маслах и синтетике: жидкость нагревается, циркулирует, отдаёт тепло через теплообменник и возвращается. С сырьём тут всё в порядке.
Двухфазная устроена изящнее: жидкость кипит прямо на чипе при 49-50 °C, пар поднимается, конденсируется на змеевике под крышкой и стекает обратно. Работала она на фторированных составах 3M - Novec и Fluorinert. В декабре 2022 года 3M объявила о полном уходе из PFAS, весной 2025-го закрыла приём последних заказов, а к концу того же года остановила производство. Технология осталась без базовой жидкости. Замена на подходе: Chemours разработала Opteon 2P50 с кипением при 49 °C. Но это тоже фторированное соединение, в 2026 году оно ещё проходит испытания у производителей серверов, а кто и как привезёт его в Россию - вопрос открытый.
Практически вся русскоязычная выдача про охлаждение до сих пор описывает двухфазную иммерсию как «следующий шаг». Если вам её предлагают - первый вопрос должен быть про жидкость: какая, чья, откуда и что будет через пять лет.
Впрочем, до химии дело обычно не доходит - иммерсию останавливают вещи попроще. Вес: минеральное масло весит около 860 кг на кубометр, и ванна с жидкостью нагружает перекрытие сильно иначе, чем стойка. Для серверной на третьем этаже офисного здания это первый и часто последний вопрос. Дальше - обслуживание: вынутый из ванны сервер надо где-то отцеживать, а гарантию вендора на погружённое железо надо обсуждать заранее. И утилизация масла, которую тоже кто-то должен делать.
В России иммерсией интересуются в основном майнеры и энтузиасты - по связанным запросам в Вордстате это видно невооружённым глазом: «иммерсионное охлаждение асиков», «иммерсионное охлаждение пк». Для корпоративной серверной это пока экзотика, и честнее об этом сказать прямо.
Точных сумм мы не приводим сознательно: цена зависит от площадки, этажности, наличия трасс и десятка местных обстоятельств, поэтому любая цифра в статье будет враньём. Полезнее понимать структуру затрат и то, что реально мешает подняться на ступень.
| Ступень | Потолок, кВт на стойку | Что покупаете | Что тормозит у нас |
|---|---|---|---|
| Второй сплит с ротацией, зимний комплект | 3-4,5, потолок комнаты | второй наружный и внутренний блок, блок ротации, зимний комплект | ничего: это покупка, а не проект |
| Заглушки, щётки, разбор кабелей | 5-7 | расходники, час работы | ничего, кроме привычки не замечать |
| Перфорированные двери, датчики на фасадах | 7-10 | двери, датчики, мониторинг | нужно сначала померить |
| Изоляция коридоров | 15-20 | конструкции, монтаж, правки проекта пожаротушения | нужен ряд стоек и согласование АУПТ |
| Внутрирядные кондиционеры | 20-40 | оборудование, трасса, внешний блок, проект | место на фасаде, зимний комплект, собственник здания |
| Задние двери-теплообменники | 35-50 | двери, контур холодной воды, источник холода | нужен чиллер или готовый водяной контур |
| Direct-to-chip | 60-100 | серверы с водоблоками, CDU, контур, сервисный договор | подрядчик и эксплуатация контура |
| Иммерсия | свыше 100 | ванны, жидкость, усиление перекрытия, сервис | перекрытие, гарантия, судьба жидкости |
Закономерность простая: деньги по ступеням растут быстрее, чем киловатты. По таблице переход от заглушек к изоляции коридора и переход от внутрирядников к жидкости поднимают потолок примерно одинаково, раза в три, а стоят эти два шага несопоставимо. Поэтому нижние ступени окупаются почти всегда, а верхние имеют смысл, только когда без них задача физически не решается.
Для серверной с одной стойкой лестница заканчивается на третьей строке, и это не поражение: дальше начинаются задачи, которых у вас нет. Если в одной стойке набирается больше 5-7 кВт, следующая ступень - небольшой внутрирядник из раздела выше. Коридор вам всё равно собирать не из чего.
Тепло никуда не исчезает. Жидкостный контур переносит его из стойки в другое место, но выбросить наружу его всё равно надо - через сухую градирню, чиллер или контур здания. Если наружного узла нет, покупка водоблоков ничего не изменит.
Электрику жидкость тоже не решает. Стойка на 40 кВт - это ввод, автоматы, PDU и ИБП под 40 кВт с запасом, а в ЦОД ещё и два независимых луча питания. Плотность упирается в электрику не позже, чем в холод, а часто и раньше. В офисной серверной это часто чувствуется раньше всего: стойка, ИБП и оба сплита сидят на вводе, который выделил арендодатель, и добавить туда киловатты бывает сложнее, чем купить любой кондиционер.
Плохую эксплуатацию жидкостное охлаждение не лечит. Кое-как уложенные кабели, глухие двери и незакрытые юниты остаются проблемой на любой ступени - просто на верхних они стоят дороже.
И отдельно: шум. Плотная воздушная стойка воет, и жидкость на процессорах уменьшает вой лишь частично - вентиляторы блоков питания и корпусные остаются. Если серверная стоит за стеной от переговорной, вопрос решается звукоизолированным шкафом, до смены типа охлаждения тут далеко.
Этот раздел стоит прочитать даже тем, кто на лестницу подниматься не собирается.
Серверы у вас, скорее всего, на ИБП. А кондиционер - в обычной розетке. При пропадании питания серверы продолжают работать и продолжают греть, а холод исчезает мгновенно. Дальше вопрос простой: сколько времени есть до того, как температура выйдет за пределы допустимого.
Uptime Institute приводит случай: машинный зал с 250 стойками по 6 кВт при потере холода ушёл с 22 до 32 с лишним градусов за 75 секунд. Не за час и не за десять минут. Для площадок плотнее 6 кВт на стойку Uptime рекомендует непрерывное охлаждение - то есть холод не должен прерываться даже на время переключения на резервный источник питания. Чем плотнее стойка, тем короче запас: у систем с водоблоками счёт идёт на секунды. В испытании, опубликованном в журнале ASME Journal of Electronic Packaging, процессор под полной нагрузкой начал сбрасывать частоту через 23 секунды после остановки потока в контуре, при четверти нагрузки - через 56.
Что с этим делать в серверной небольшой компании:
Завести кондиционер на АВР вместе с серверами, а если у ИБП есть запас - то и на ИБП. Запас нужен ощутимый: сплит на 5 кВт холода берёт из розетки 1,5-2 кВт. Если ИБП его не вытянет, хотя бы убедитесь, что после пропадания питания кондиционер запускается сам: у части бытовых моделей автозапуск выключен, и после отключения они ждут кнопку на пульте.
Написать регламент «холод пропал»: что гасим первым, что оставляем, при какой температуре сервера выключаются автоматически. Регламент, который никто не читал в спокойной обстановке, в жару не работает.
Настроить оповещение по температуре на входе, пока сервер ещё не ушёл в аварийное выключение. К моменту, когда он ушёл в защиту, вы уже опоздали.
Проверить это можно за один вечер, и денег не потребуется вовсе. По соотношению пользы к затратам это лучшее, что есть во всей статье.
Это лимит электрической мощности, которую можно снять с одной стойки, - и одновременно тепло, которое площадка обязуется от неё отвести. В коммерческих ЦОД 5 кВт до сих пор базовая единица аренды. Поставить в такую стойку оборудование на 8 кВт площадка не даст: упрётесь и в договор, и во ввод, и в отведённый на стойку холод.
При нормально организованных потоках - 15-20 кВт. Без изоляции коридоров и с глухими дверями реальный потолок падает до 5-7 кВт, независимо от мощности кондиционера.
Шкаф стоит в отдельном помещении с климатом - нет. Шкаф стоит в кабинете, коридоре или на складе - да, нужен шкафной кондиционер, который вешается на дверь или крышу шкафа: он охлаждает только объём шкафа, комнату с людьми не трогает и заодно снижает шум. Мобильный напольный моноблок сюда не подходит, про него написано выше. Там это чаще всего единственный вариант: охлаждать всю комнату ради одного шкафа никто не станет.
В стандартную 19-дюймовую - да, ограничение не в стойке. Нужен источник холода, трасса, теплообменный модуль и серверы, у которых водоблоки предусмотрены заводом. Ставить водоблоки на серверные процессоры своими силами - плохая идея: слетает гарантия, а цена ошибки равна стоимости содержимого стойки.
Можно, и во многих небольших компаниях он там и стоит. Но рассчитан он на сезонную работу с паузами, а в серверной молотит круглосуточно: ресурс компрессора в таком режиме климатические подрядчики оценивают в 5-7 лет против 12-15 и больше у прецизионной машины. Минимум, который стоит обеспечить: зимний комплект, автоматический перезапуск после пропадания питания и второй такой же блок с ротацией. Один кондиционер на серверную - единая точка отказа.
Иммерсионное - частный случай жидкостного. При direct-to-chip жидкость идёт по трубкам в водоблоки на процессорах, сервер снаружи остаётся обычным. При иммерсии сервер погружают в жидкость целиком. Первый вариант совместим с привычной эксплуатацией, второй требует другой серверной.
Считаете тепловой бюджет под плотную стойку или GPU-сервер?
Инженеры ITTELO подберут конфигурацию под вашу нагрузку и под то, что реально вытянет ваша серверная, соберут и протестируют сервер под задачу перед отгрузкой, с гарантией и поддержкой после продажи. На рынке серверов 11+ лет.
Сервер для искусственного интеллекта · +7 (800) 551-80-12 · info@ittelo.ru
