Эксперты в подборе IT-оборудования
Когда в одном зале работают сотни серверов, коммутаторов и систем хранения, выделяемое ими тепло превращается в отдельную инженерную задачу. Плотность оборудования в крупных дата-центрах такая, что без работающего охлаждения техника начинает уходить в защиту за минуты, а не за часы.
Системы кондиционирования в больших ЦОД - это инфраструктура с резервированием, автоматикой и постоянной подстройкой под нагрузку. Разберём, как она устроена, по каким цифрам её считают и что из этого имеет смысл переносить в серверную на десяток стоек.
В офисе кондиционер работает циклами: охладил воздух до уставки - отключился. В дата-центре иначе. Оборудование выделяет тепло непрерывно, и интенсивность меняется вместе с нагрузкой. Пиковые значения приходят не по расписанию: серверы не спрашивают разрешения, когда начать считать.
Высокая плотность размещения усложняет картину. Когда в одной стойке стоит оборудование на 12-15 киловатт, локальные горячие точки образуются быстро. Недостаточный отвод тепла даже в одной зоне даёт троттлинг процессоров (снижение частоты ради уменьшения нагрева), а дальше - аварийное отключение по датчику.
Полезно держать в голове простую величину: проходя сквозь сервер, воздух нагревается примерно на 10-20 °C. Это значит, что задняя сторона стойки на 15 киловатт - источник горячего потока, который нужно куда-то деть, а не просто «тёплое место».
Летом, когда на улице +30 °C и выше, системы работают в самом тяжёлом режиме. Как раз тогда и выясняется, что запаса мощности нет, а воздушные потоки организованы наспех.
Крупный ЦОД редко устроен как один большой зал. Чаще это несколько машинных залов, каждый со своим комплексом прецизионных кондиционеров. Прецизионные - значит, держат температуру и влажность с высокой точностью и рассчитаны на круглосуточную работу с большой долей явного холода. Бытовая сплит-система охлаждает и попутно осушает воздух; для серверного зала осушение - побочный эффект, за который потом платят увлажнителем.
Типичная схема: несколько кондиционеров по периметру зала или в рядах со стойками. Они работают синхронно и с запасом производительности - если один встал, остальные подхватывают нагрузку без критического роста температуры.
Холод в зале считают по киловаттам теплопритока, а не по площади. Отправная точка - суммарная мощность IT-оборудования: почти вся потреблённая электрическая мощность выходит из стойки в виде тепла. К ней добавляют теплопритоки от ИБП, освещения, людей и через ограждающие конструкции. Два зала по 200 м² с разной загрузкой требуют разного холода, и «кондиционер на столько-то метров» здесь не работает.
Как считать теплоприток по паспортной мощности железа и что делать с запасом - разбирали отдельно в материале про расчёт TDP и схемы воздушных потоков.
Резервирование - обязательное условие. Схемы бывают разные: N+1 (один резервный на N рабочих), N+2 или 2N (полное дублирование). Выбор зависит от требований к доступности. Для банков, операторов связи и облачных провайдеров берут максимально избыточные конфигурации.
Слово «прецизионный» описывает класс оборудования, а не конструкцию. Внутри класса решения различаются тем, где стоит внутренний блок и как близко он подаёт холод к стойке.
| Тип | Где стоит | Типичная холодопроизводительность | Когда берут |
|---|---|---|---|
| Шкафной (периметральный) | По периметру зала, подача под фальшпол или в зал | 20-100+ кВт | Классические залы средней плотности, есть фальшпол |
| Межрядный, он же внутрирядный или InRow | В самом ряду, между стойками | 20-70 кВт | Высокая плотность, залы без фальшпола, изолированные коридоры |
| Подпотолочный | Над холодным коридором | Как правило, ниже межрядных | Мало места на полу, дозагрузка существующего зала |
| Задняя дверь-теплообменник | Вместо задней двери стойки | 35 кВт пассивные, 75+ активные | Точечные плотные стойки в обычном зале |
Логика выбора простая: чем выше плотность в стойке, тем ближе к ней должен стоять источник холода. Шкафной кондиционер по периметру гонит воздух через весь зал, и на этом пути поток теряет управляемость. Межрядный стоит в метре от горячей стороны стоек и забирает воздух до того, как тот успел смешаться с холодным.
Ориентир по мощности: межрядная линейка АКП-Р компании ВЕЗА выпускается с холодопроизводительностью 22,2, 25,3, 37,5 и 58,2 кВт - это перекрывает практически любую стойку, которую вообще имеет смысл охлаждать воздухом.
Вопрос, который после 2022 года задают чаще самого выбора схемы, - чем заменять ушедшие Vertiv, Schneider Electric и Stulz. Производство внутри страны есть: РЕФКУЛ 8 мая 2026 года подтвердил статус российского производителя прецизионных кондиционеров шкафного и внутрирядного исполнения с внесением в реестр Минпромторга, ВАЙБОС выпускает климатическое оборудование на площадках в Москве и Дубне. Для госзаказа и объектов КИИ наличие в реестре - не маркетинговая деталь, а условие поставки. Конкретные модели и сроки под задачу лучше уточнять на момент закупки: линейки обновляются, а доступность комплектующих меняется.
Представьте: холодный воздух из кондиционера подаётся в зал, смешивается с горячим воздухом от серверов и возвращается к кондиционеру уже тёплым. Звучит логично, но работает плохо. Потоки перемешиваются хаотично, появляются зоны с недостаточным охлаждением, а кондиционеры гоняют воздух вхолостую.
Решение - разделение потоков. Стойки размещают так, чтобы передние панели (откуда серверы забирают воздух) смотрели в одну сторону, а задние - в другую. Получаются чередующиеся холодный и горячий коридоры.
Холодный коридор - проход между передними панелями. Сюда подаётся охлаждённый воздух через перфорированные плиты фальшпола или напрямую от межрядных кондиционеров. Серверы забирают его, охлаждают компоненты и выбрасывают нагретый воздух в горячий коридор - проход между задними панелями. Оттуда воздух возвращается к кондиционерам.
Эффект от изоляции коридоров ASHRAE оценивает примерно в 15-20% экономии энергии на охлаждение. Основная выгода приходит даже не от самого разделения потоков, а от того, что после него можно поднять уставку подачи. В отрасли давно ходит правило «4-5% экономии на каждый градус Фаренгейта» (это около 7-9% на градус Цельсия), которое тиражирует в том числе ENERGY STAR. Относиться к нему стоит как к порядку величины: считали его в начале двухтысячных, когда залы держали на 20-22 °C, и при переходе от 24 к 25 °C прибавка будет заметно скромнее. Но направление верное, а главное - пока холодный и горячий воздух смешиваются, поднять уставку нельзя вообще: самые горячие стойки уйдут за предел раньше, чем средняя температура по залу сдвинется.
Для полноты изоляции коридор закрывают дверями и потолочными панелями, превращая в замкнутый объём. Дальше начинают работать мелочи: заглушки в пустые юниты, щётки на вводах кабеля, перфорация дверей стойки. По ANSI/BICSI 002 для стоек мощнее 5 кВт двери должны иметь минимум 63% открытой площади - глухая или слабо перфорированная дверь запирает воздух внутри стойки.
Подробный разбор проектирования и типичных ошибок монтажа - в материале про горячие и холодные коридоры в серверной.
У воздушного охлаждения есть физический потолок. Воздух - плохой теплоноситель: чтобы снять больше тепла, нужно либо гнать его быстрее, либо подавать холоднее, и оба пути упираются в стену. На скорости растёт шум и потребление вентиляторов, а холодная подача убивает экономию от фрикулинга.
Практические ориентиры на 2026 год выглядят так:
Такие плотности перестали быть экзотикой из-за стоек с ускорителями: одна полка с GPU под ИИ-нагрузку съедает столько, сколько раньше потреблял небольшой ряд. Для стойки с ускорителями прямое жидкостное охлаждение (direct-to-chip, когда теплосъёмник стоит прямо на кристалле, а тепло уносит вода или гликолевая смесь) с 2025-2026 годов стало обычной проектной нормой, а не экспериментом.
Важная поправка для тех, кто читал про иммерсию: двухфазное погружное охлаждение сейчас на паузе. Оно строилось на фторированных жидкостях вроде Novec, а 3M прекратила выпуск всей линейки PFAS - последние заказы принимали до 31 марта 2025 года. Однофазной иммерсии на минеральных маслах это не касается, с ней на рынке всё в порядке.
Типы контуров, водоблоки и порядок монтажа разбирали отдельно в статье про жидкостное охлаждение процессоров и GPU в серверах.
Системы охлаждения потребляют заметную долю энергии ЦОД, но разброс между объектами огромный. У обычного корпоративного дата-центра на охлаждение уходит порядка 30-40% всего потребления, у хорошо спроектированного гиперскейла - около 7%. Разница здесь не в марке кондиционеров, а в схеме: чем больше часов в году объект обходится без компрессоров, тем ниже счёт.
Отсюда и главный приём. Free cooling, или фрикулинг, - режим, при котором холод берут с улицы, а компрессоры стоят. Порог включения зависит от того, какую температуру подачи вы себе позволили: при уставке 18 °C фрикулинг доступен куда реже, чем при 24 °C. Это ещё один довод за изоляцию коридоров - она поднимает допустимую уставку и тем самым удлиняет фрикулинговый сезон.
В климате средней полосы России частичный фрикулинг доступен большую часть года, в северных регионах - почти круглый год. Считать выгоду правильнее не в «сэкономленных миллионах», а в часах работы без компрессоров: умножив их на потребление компрессорной группы и на свой тариф, вы получите цифру, которая относится к вашему объекту.
Дальше идут менее заметные вещи с накопительным эффектом: частотные преобразователи на вентиляторах и насосах, герметизация утечек воздуха, настройка алгоритмов управления. Модернизация действующих ЦОД обычно с них и начинается - они не требуют останова и окупаются на текущем счёте за электричество.
Под одним словом скрываются три разные схемы, и путать их не стоит - у них разная цена, разные риски и разные требования к площадке.
Прямой фрикулинг подаёт наружный воздух прямо в машинный зал через систему фильтров. Схема самая дешёвая и самая эффективная по энергии, но зал получает уличный воздух со всеми его свойствами: пылью, влажностью, промышленными газами. Нужна серьёзная фильтрация и контроль точки росы, а в городской или запылённой местности схему часто отвергают именно поэтому.
Косвенный фрикулинг разделяет контуры. Наружный воздух охлаждает внутренний через воздухо-воздушный теплообменник, чаще роторный, и в зале циркулирует один и тот же чистый воздух. Расплата - потери на теплообмене: температура наружного воздуха должна быть заметно ниже требуемой в зале. Роторы под расход большого ЦОД получаются крупными, до нескольких метров в диаметре, и это влияет на компоновку здания.
Адиабатическая ступень добавляется к косвенной схеме и расширяет её сезон. Перед теплообменником наружный воздух проходит через секцию увлажнения: вода испаряется, отбирает тепло у потока и снижает его температуру примерно на 8-15 °C в зависимости от исходной влажности. Летний день, в который фрикулинг был бы невозможен, становится рабочим.
У адиабатики есть цена, о которой в рекламных материалах пишут реже: расход воды. Экономия электричества обменивается на водопотребление и на обслуживание - форсунки и кассеты зарастают отложениями, требуется водоподготовка. В регионах с жёсткой водой это ощутимая статья эксплуатации. Для объекта на десяток стоек схема обычно избыточна; её область - большие залы, где счёт за электричество измеряется миллионами.
Отдельная схема - чиллер с функцией фрикулинга: зимой машина охлаждает теплоноситель наружным воздухом, минуя компрессоры, летом работает как обычный чиллер. Для действующего объекта с водяным контуром это чаще всего самый реалистичный путь к экономии.
Чтобы сравнивать объекты между собой, отрасль пользуется коэффициентом PUE (Power Usage Effectiveness). Считается он просто: всё потребление объекта делят на потребление собственно IT-оборудования. Показатель стандартизован в ISO/IEC 30134-2.
PUE 2,0 означает, что на каждый киловатт, ушедший в серверы, объект тратит ещё один киловатт на охлаждение, ИБП, освещение и потери. PUE 1,2 - что накладные расходы составляют пятую часть. Идеальная единица недостижима: инфраструктура всегда что-то потребляет.
Ориентиры на 2026 год: среднемировое значение по опросам Uptime Institute держится около 1,5-1,6 и снижается медленно, хорошо спроектированные современные объекты выходят на 1,2-1,4. Основной вклад в разницу даёт как раз охлаждение.
С показателем связано несколько ловушек. PUE зависит от загрузки: полупустой зал показывает плохую цифру просто потому, что инфраструктура работает вхолостую, и по мере заполнения коэффициент улучшается сам собой. Он зависит от климата - объект в Мурманске получит преимущество перед объектом в Краснодаре при одинаковом качестве проекта. И он ничего не говорит о полезной работе: заменив серверы на вдвое более производительные при том же потреблении, вы удвоите отдачу ЦОД и не сдвинете PUE ни на сотую.
Поэтому цифру в презентации разумно читать вместе с вопросами «при какой загрузке» и «за какой период». Для собственной серверной PUE полезен не как повод для гордости, а как способ увидеть динамику: измеренный дважды с интервалом в год, он показывает, помогли ли изменения.
Охлаждение упирается не в одну температуру. Ориентиром здесь служат рекомендации ASHRAE TC 9.9, на которые опираются производители серверов.
Рекомендованный диапазон - 18-27 °C на входе в оборудование. Мерить нужно именно там, а не в проходе и не под потолком: сервер живёт той температурой, которую забирает его вентилятор. Допустимые диапазоны шире - для класса A1 это 15-32 °C, для A2 10-35 °C, - но постоянно работать на границе смысла нет.
С влажностью произошло изменение, о котором знают не все. Раньше типовым требованием было 40-60% относительной влажности, и нижняя граница заставляла увлажнять воздух зимой. В действующей редакции рекомендаций влажность нормируется по точке росы: от -9 °C до +15 °C при относительной влажности не выше 60%. Исследования показали, что точки росы -9 °C достаточно для контроля статического электричества, а поддержание 40% RH - лишние деньги на увлажнение. Верхняя граница осталась жёсткой: выше 60% растут риски конденсации и коррозии.
Системы автоматического управления (BMS, Building Management System) следят за параметрами в реальном времени. Датчики ставят в разных зонах зала и обязательно на входах в стойки - усреднённая по залу температура скрывает именно те горячие точки, ради которых всё затевалось.
Равномерность подачи - отдельная задача. Недостаточно включить кондиционеры на полную: холодный воздух должен доходить туда, где выделяется тепло, а не застаиваться под потолком. Для этого рассчитывают расположение перфорированных плит, воздуховоды и схему размещения стоек.
Зимний режим тоже требует внимания. При низких наружных температурах фрикулинг может переохладить воздух, поэтому предусматривают смесительные камеры и автоматическое переключение между режимами. Как это настраивают на практике, разбирали в материале про автоматическое регулирование систем охлаждения.
В техническом задании на проектирование ссылаться приходится на конкретные документы, и здесь у российского заказчика есть свои стандарты.
С 1 августа 2020 года действуют ГОСТ Р 58811-2020 «Центры обработки данных. Инженерная инфраструктура. Стадии создания» и ГОСТ Р 58812-2020 с операционной моделью эксплуатации. Для госконтрактов, компаний с госучастием и объектов КИИ ссылка на национальный стандарт в ТЗ обязательна, и совет «ориентироваться на западную практику», который часто встречается в старых материалах, здесь просто не поможет.
Из международных документов чаще упоминают американский TIA-942 и европейскую серию EN 50600. Уровни Tier - отдельная система: их присваивает Uptime Institute по результатам сертификации, и формулировка «ЦОД уровня Tier III по TIA-942» некорректна, потому что это документы разных организаций. Что стоит за уровнями и сколько простоя в год они допускают, разбирали в статье про классификацию Tier для дата-центров.
Недооценка резервирования - самая частая. «У нас три кондиционера, хватит» работает до первой поломки в жаркий день. Если при выходе из строя одной машины остальные не держат нагрузку, это не резервирование.
Неправильная организация потоков обычно появляется при расширении. Добавили стойки, не пересчитали тепловую нагрузку - получили локальный перегрев. Любое изменение конфигурации зала требует пересмотра схемы охлаждения.
Отсутствие мониторинга по зонам прячет проблемы. Средняя температура по залу может быть нормальной, а в конкретной стойке - критической.
Экономия на обслуживании оборачивается ремонтами. Фильтры меняют по регламенту, контур проверяют на утечки хладагента, теплообменники чистят от пыли. Забитый фильтр снижает расход воздуха и заставляет вентиляторы работать интенсивнее - счёт за электричество растёт раньше, чем появится авария.
Отдельная ошибка - тестировать резерв только на бумаге. Схема N+1 считается рабочей, пока её не проверили отключением машины под нагрузкой. Проверка на плановом обслуживании летом стоит несравнимо дешевле, чем выяснение в аварии.
В жарком климате системы работают на пределе большую часть года. При +40 °C на улице фрикулинг недоступен, нагрузка на компрессоры растёт, эффективность падает. Требуется больший запас производительности и более частое обслуживание.
Холодный климат открывает возможности для экономии, но добавляет своих задач. Системы должны корректно работать при отрицательных температурах: обледенение воздухозаборников, замерзание конденсата и дренажа, защита водяного контура от размораживания требуют отдельных решений. Гликолевые смеси снижают точку замерзания, но ухудшают теплоотдачу, и это закладывают в расчёт заранее.
Влажный климат создаёт риск конденсации. Если холодная поверхность оказывается ниже точки росы, на ней выпадает влага. Контроль точки росы становится критичным, особенно при прямом фрикулинге.
Сухой и пыльный климат требует усиленной фильтрации. Пыль забивает радиаторы серверов и теплообменники кондиционеров, снижая эффективность обоих. Фильтры меняют чаще, иногда ставят многоступенчатую очистку.
Если сводить всё к списку проверок, получится примерно такой порядок действий.
Технологии вокруг этой задачи меняются быстро, а сам список - почти нет. Проект, собранный по этим семи пунктам, переживёт и смену поколения серверов, и переход части стоек на жидкость.
С чего начинается инженерная часть площадки и какие нормы действуют по температуре - в материалах про инженерную инфраструктуру ЦОД и нормы температуры в серверной по ГОСТ. Как устроена работа самого оборудования в машинном зале - в статье про серверы в дата-центрах.
Подбираете серверы под плотную стойку или под задачу с ускорителями?
Инженеры ITTELO помогут рассчитать тепловыделение будущей конфигурации, подберут решение под ваш машинный зал и охлаждение, соберут и протестируют его под задачу перед отгрузкой, с гарантией и поддержкой после продажи. На рынке серверов 11+ лет.
