Эксперты в подборе IT-оборудования
Жидкостное охлаждение серверов обсуждают так, будто это выбор между «прогрессивно» и «по старинке». Выбора нет. Есть порог тепловыделения, ниже которого воздух справляется и переплачивать не за что, и есть железо, которое без воды просто не запустится.
Плохая новость для тех, кто ждал революции: этот порог гораздо выше, чем принято думать. Процессор на 500 ватт спокойно живёт под воздухом. Видеокарта на 600 ватт - тоже. Хорошая новость для тех, кто закупает под ИИ: на топовых ускорителях воздушного варианта уже не существует физически, и это надо закладывать в проект серверной, а не выяснять при монтаже.
Разберём по порядку: где проходит граница, какие бывают системы, что реально течёт по трубкам и во что обходится всё это обслуживать.
Начнём с ответа, потому что за ним обычно и приходят.
| Тепловыделение на компонент | Чем охлаждать | Примеры железа 2026 года |
|---|---|---|
| До 350 Вт | Воздух, штатные радиаторы | Большинство серверных Xeon и EPYC среднего сегмента |
| 350-500 Вт | Воздух, но шасси и вентиляторы подбираются под задачу | AMD EPYC 9005 «Turin» до 192 ядер, 500 Вт TDP; Intel следующего поколения заявлен до тех же 500 Вт |
| 500-700 Вт | Воздух на пределе либо жидкость - зависит от плотности | NVIDIA RTX PRO 6000 Blackwell (600 Вт), H200 NVL в исполнении PCIe (до 600 Вт), H200 SXM (700 Вт) |
| От 1000 Вт на кристалл | Только жидкость | NVIDIA B200 |
| Стойка целиком от 100 кВт | Только жидкость, воздушного варианта нет | GB200 NVL72 - около 125-130 кВт на стойку |
Цифра, которая ломает большинство статей на эту тему: воздух в серверном шасси снимает все 500 ватт. Привычные «максимум 300» устарели. EPYC 9005 с TDP 500 Вт охлаждают обычным воздушным радиатором с вентиляторами высокого статического давления. Никакой воды.
Поэтому если у вас башня или 4U с двумя-четырьмя картами класса RTX PRO 6000, вопрос жидкостного охлаждения перед вами не стоит. Считайте теплопритоки, подберите шасси с нормальной продувкой и займитесь чем-нибудь полезным. Как считать - разобрано в статье про расчёт TDP и схемы воздушных потоков.
Границу задаёт плотность размещения. Одна карта на 700 Вт в просторном корпусе - решаемо. Восемь таких же в 4U - уже нет: воздуху негде набрать скорость, а соседние карты греют друг друга. Считать надо киловатты на стойку, а не ватты на чип.
Практический ориентир. До 15 кВт на стойку - обычная воздушная схема с холодным и горячим коридором. 15-30 кВт - воздух ещё возможен, но потребуется либо задняя дверь-теплообменник, либо изоляция коридора. Свыше 40-50 кВт - жидкость, других вариантов на рынке нет.
Физика простая. Теплопроводность воды примерно в 25 раз выше, чем у воздуха, а удельная теплоёмкость - в четыре раза. Но интереснее объёмное сравнение: литр воды уносит столько же тепла, сколько около 3 500 литров воздуха. Отсюда и вся разница в инженерии.
Воздух надо гнать. Много, быстро и по правильному маршруту. Радиаторы занимают объём, вентиляторы едят электричество, а горячий поток нельзя смешивать с холодным - иначе всё это бессмысленно. В итоге серверная наполовину занята логистикой воздуха.
Жидкость забирает тепло прямо с крышки процессора и уносит по трубке диаметром с палец. Плотность размещения растёт в разы, а шум падает: у плотно набитой воздушной стойки бывает под 80-90 дБ, с жидкостью заметно тише - часть вентиляторов просто не нужна. Совсем тихо не станет, насосы и CDU тоже звучат.
Есть и обратная сторона, о которой в рекламных материалах пишут реже. Жидкостная система - это трубы, насосы, теплообменник и точки, где всё это может подтечь. Она требует регламента обслуживания и людей, которые этот регламент выполняют. Воздушное охлаждение прощает небрежность. Водяное - нет.
Схема знакома каждому, кто видел систему отопления: насос гоняет теплоноситель по кругу, есть теплообменник и есть расширительный бак. Только вместо батарей - водоблоки на процессорах и видеокартах.
Водоблок (в отраслевой литературе - cold plate) прижимается к крышке чипа через термоинтерфейс. Внутри у него микроканалы: жидкость проходит сквозь них тонким слоем на большой площади и забирает тепло. Дальше нагретый теплоноситель уходит к теплообменнику, отдаёт тепло контуру здания и возвращается.
Ключевой узел серверной схемы, которого нет в домашних системах, - CDU, блок распределения теплоносителя. Это насосная станция с теплообменником, фильтрацией и контролем давления. Он разделяет два контура: внутренний, который идёт по серверам, и внешний, который идёт к чиллеру или на улицу. Ставят CDU по-разному: прямо в стойку, в ряд между стойками или на периферии зала. Внутристоечный вариант проще всего запустить, но он занимает юниты и обслуживает только свою стойку.
Второй важный узел - быстроразъёмные соединения. Они перекрывают поток с обеих сторон в момент разъединения, чтобы сервер можно было вынуть из стойки без слива системы. Экономить на них не стоит: разъём, который подтекает при каждом обслуживании, обойдётся дороже, чем стоил.
Сервер целиком погружают в ванну с диэлектрической жидкостью. Охлаждается всё сразу - память, накопители, цепи питания. Вентиляторы не нужны вообще.
Однофазная иммерсия работает на минеральных маслах и синтетике, с ними на рынке всё в порядке. А вот двухфазная сейчас на паузе, и это надо знать до того, как закладывать её в проект. Двухфазные ванны строились на фторкетонах - жидкостях семейства Novec, которые кипят прямо на чипе около 50 °C. В декабре 2022 года 3M объявила о выходе из производства всех фторсодержащих соединений PFAS, последние заказы на Novec принимались до 31 марта 2025 года, к концу того же года линии остановили. Технология осталась без базовой жидкости, и альтернативы не заменяют её один в один - особенно тяжело подобрать замену по точке кипения.
Подробный разбор иммерсионных схем, включая то, что с ними стало после ухода Novec, - в отдельной статье про экспериментальные способы охлаждения комплектующих.
Жидкостью охлаждают только процессоры и видеокарты, остальное остаётся на воздухе. Для действующей серверной это самая приземлённая схема: перевести две проблемные стойки, не перестраивая всё здание.
Отдельного упоминания заслуживает задняя дверь-теплообменник. Штатная задняя дверь стойки меняется на дверь с радиатором внутри: горячий воздух проходит сквозь неё и охлаждается перед выходом в помещение. Пассивная дверь снимает порядка 20-30 кВт со стойки, активная, с собственными вентиляторами, - 30-50 кВт и выше. Требуется подвод холодной воды: примерно 15-30 литров в минуту при температуре 15-20 °C.
Почему это интересно небольшой компании: сервер трогать не надо. Никаких водоблоков внутри, никаких быстроразъёмов - вскрывать сервер и спорить потом с поставщиком о гарантии не придётся. По сути, это способ поднять плотность стойки, оставшись в воздушной схеме. Если места под холодный коридор нет, а стойка греется, вариант стоит рассмотреть раньше остальных - альтернативы описаны в материале про горячие и холодные коридоры.
Путаница здесь массовая, поэтому разберём отдельно.
В замкнутом контуре с водоблоками не течёт диэлектрик. Там течёт вода с добавками, и она прекрасно проводит электричество. Ей это не мешает: жидкость физически отделена от электроники стенкой водоблока и с платами не соприкасается.
Отраслевой стандарт для таких контуров - PG25: 75 % воды и 25 % пропиленгликоля с пакетом присадок. Пропорция выбрана не случайно. При концентрации около 10 % гликоль сам становится питательной средой для микроорганизмов, а вот 25 % уже подавляют их рост. Присадки в составе защищают от коррозии медь водоблоков и внутренности CDU.
Деионизированная вода отводит тепло чуть лучше. Но она агрессивна к металлам и быстро теряет свои свойства, набирая ионы из системы, поэтому её приходится непрерывно обслуживать. Отрасль посчитала и выбрала PG25: разница в теплоотводе небольшая, разница в эксплуатационных хлопотах - принципиальная.
Заливать в серверный контур дистиллированную воду из автомагазина или антифриз для двигателя не надо. Первая без ингибиторов съест медь, второй рассчитан на совсем другие материалы уплотнений.
Настоящий диэлектрик - минеральное масло, синтетические эфиры, фторированные составы - живёт в иммерсионных ваннах. Вот там электроника действительно плавает в жидкости, и та обязана не проводить ток.
Вопрос, который задают при первой же сборке: можно ли посадить всё на один круг.
Можно. Вопрос в том, как соединять.
Последовательно. Жидкость проходит через один водоблок, потом через следующий. Схема простая, насос нужен один. Минус в том, что каждый следующий компонент получает теплоноситель, уже подогретый предыдущим. Здесь важна оговорка: при достаточном расходе жидкость пробегает круг быстро и разница между первым и последним водоблоком выходит в пределах пары градусов. Порядок начинает что-то значить, когда контур загружен под потолок или насос слабоват - тогда первым ставят то, что греет сильнее.
Параллельно. Поток делится коллектором, каждый водоблок получает жидкость одной температуры. Греются компоненты равномерно, но расход через каждую ветку падает, и насос нужен производительнее. На четырёх и более ускорителях собирают именно так.
На практике в серверных решениях чаще встречается смешанная схема: видеокарты подключены параллельно через общий коллектор, процессоры - отдельной веткой. Мощность контура считают по сумме тепловыделения всех компонентов, а не по одному горячему, и закладывают запас порядка 20 %.
Что проверить до сборки. Совместимость водоблока с конкретной платой и с высотой радиатора в шасси. Серверные материнские платы отличаются расположением монтажных отверстий от десктопных, и универсальный водоблок может просто не встать. Уточняйте по конкретной модели платы, а не по сокету.
Монтаж жидкостного охлаждения - инженерный проект, который начинается задолго до первой капли теплоносителя.
Подготовка инфраструктуры. Для контуров с водоблоками нужен подвод охлаждённой воды. Резервная линия, фильтрация, контроль качества воды, датчики протечки по всему маршруту. Отдельный вопрос - куда девать тепло: чиллер, сухая градирня или теплообменник с внешним воздухом.
Расчёт мощности. Складываете тепловыделение всех компонентов сервера, умножаете на количество серверов в стойке, добавляете запас процентов двадцать. Сервер с двумя топовыми процессорами и четырьмя ускорителями выдаёт 3-4 кВт. Дальше арифметика.
Датчики протечки. Место установки конкретное: под каждым разъёмным соединением и в поддоне стойки. Логика простая: течёт всегда там, где что-то разбиралось. Сигнал должен уходить в систему мониторинга и перекрывать подачу автоматически, а не ждать, пока кто-то посмотрит на лампочку.
Резервирование. Насос в контуре - единая точка отказа на всю стойку. В серверных CDU их ставят парой с автоматическим переключением; если в проекте насос один, у вас есть ровно столько времени, сколько железо продержится на остаточной теплоёмкости.
Замена сервера. Продумывается до монтажа. Быстроразъёмы с двусторонним перекрытием, промаркированные шланги, регламент: что отключаем, в каком порядке, куда сливаем остаток. Если этого нет на бумаге, первая же замена превратится в приключение.
Кто это делает в России. Отечественные производители жидкостных решений на рынке есть, серверы с водяным охлаждением собирают и поставляют. Железо доступно, сложность в обслуживании: контур требует регламентного сопровождения годами, и сервисного партнёра стоит выбирать раньше, чем поставщика. Заранее выясните, кто приедет при протечке и за какое время.
Логика подсказывает: чем холоднее теплоноситель, тем лучше. Инженерная практика её опровергает.
У «горячей воды» есть точное имя. ASHRAE в пятой редакции своих рекомендаций ввела классы по температуре воды на входе в оборудование: W17, W27, W32, W40, W45 и W+. Число - предельная температура подаваемой жидкости в градусах Цельсия. Классы W32 и W40 во многих климатических зонах работают без чиллера вообще: воду с такой температурой можно охладить сухой градирней или обычным теплообменником с наружным воздухом.
Процессоры при теплоносителе 40-45 °C работают при 70-80 °C, что укладывается в норму. Зато из схемы исчезает компрессорный холод - главный потребитель электричества. Отсюда и вся экономия; сама вода тут ни при чём.
Побочный эффект: тепло на выходе становится пригодным для использования. Несколько дата-центров в Северной Европе отапливают им жилые кварталы. Для российской компании с одной серверной это скорее любопытный факт, чем план, но при проектировании нового здания об этом стоит хотя бы подумать.
Про то, какие температуры вообще считаются нормой и что происходит при их превышении, есть отдельный разбор - нормы температуры в серверной по ГОСТ.
Жидкостная система требует более квалифицированного обслуживания, чем воздушная. Но не мистического.
Главный страх - протечки. На практике собранная из нормальных компонентов система держит герметичность годами, а датчики и автоматика отсекают подачу быстрее, чем жидкость доберётся до платы. Проблемы начинаются там, где регламент есть только на бумаге.
| Операция | Периодичность | Время простоя |
|---|---|---|
| Проверка датчиков | Еженедельно | 0 |
| Анализ качества жидкости | Ежемесячно | 0 |
| Чистка фильтров | Квартально | 0-30 минут |
| Проверка соединений | Раз в полгода | 0 |
| Частичная замена жидкости | Раз в 1-2 года | 2-4 часа |
| Полная замена жидкости | Раз в 3-5 лет | 8-24 часа |
Анализ жидкости - это pH, проводимость, наличие взвеси и признаков биообрастания. Показатели уходят из нормы постепенно, поэтому разовый замер мало что даёт. Смысл появляется в истории: три значения подряд с трендом вниз говорят больше, чем одно плохое.
Для иммерсионных ванн добавляется периодическая фильтрация от механических частиц.
Три ситуации, которые встречаются чаще всего.
Два-четыре ускорителя в башне или 4U. Жидкость не нужна. Нужно нормальное шасси, продуманная продувка и контроль температуры на входе. Типовая сборка GPU-сервера такого класса живёт на воздухе годами.
Стойка на 15-30 кВт под смешанную нагрузку. Пограничная зона. Сначала разбираются с воздухом: изоляция коридора, заглушки в пустых юнитах, перфорация дверей. Если этого не хватает - задняя дверь-теплообменник. Водоблоки внутри серверов на этом этапе избыточны.
Кластер под обучение моделей на топовых ускорителях. Здесь выбора нет: производитель поставляет только жидкостное исполнение, и проект серверной строится вокруг контура, а не наоборот. Это уже другая инженерная инфраструктура: подвод воды, CDU и отдельная схема электропитания.
Разница между вторым и третьим сценарием стоит несопоставимых денег. Поэтому решение «нужна ли нам жидкость» принимается по расчёту тепловыделения конкретной конфигурации.
Можно ли поставить водяное охлаждение в обычную стойку?
Можно, если есть куда подвести воду и куда отвести тепло. Сама стойка не мешает: есть решения с CDU внутри стойки, есть задние двери-теплообменники вместо штатной двери. Ограничивает обычно помещение.
Что за «вода, которая не проводит электричество»?
Так называют диэлектрические жидкости для иммерсионных ванн - минеральные масла и синтетику. В контурах с водоблоками их не используют: там течёт вода с гликолем, и проводимость значения не имеет, потому что жидкость с электроникой не контактирует.
Как работают водоблоки?
Металлическая пластина с сетью микроканалов внутри прижимается к крышке чипа через термопасту. Жидкость проходит по каналам тонким слоем, забирает тепло с большой площади контакта и уносит его к теплообменнику.
Можно ли посадить процессор и видеокарты на один контур?
Да. Последовательно - проще, но каждый следующий компонент получает подогретую жидкость. Параллельно через коллектор - равномернее, но нужен более производительный насос. Мощность контура считается по сумме тепловыделения.
Что будет, если протечёт?
При исправных датчиках - сработает отсечка подачи и уйдёт авария в мониторинг. Без датчиков - как повезёт. Именно поэтому они ставятся под каждым разъёмным соединением, а не «в одном месте для галочки».
Стоит ли переводить существующую серверную на жидкость?
Если стойки не выходят за 15 кВт - нет. Деньги эффективнее вложить в организацию воздушных потоков.
Подбираем конфигурацию под вашу нагрузку
Тепловыделение считается по конкретному железу: сколько ускорителей, в каком шасси, при какой температуре в помещении. Мы 11+ лет на рынке серверов и собираем машины под задачу - от башни с парой карт до стойки под обучение моделей.
Посмотрите готовые сборки в разделе gpu сервер или напишите, какую нагрузку планируете, - подберём вариант и посчитаем, хватит ли воздуха.
Телефон: +7 (800) 551-80-12
Почта: info@ittelo.ru
