Эксперты в подборе IT-оборудования
Почти все руководства по охлаждению написаны про машинный зал: ряды стоек, горячие и холодные коридоры, фальшпол, прецизионные кондиционеры. Компании с одной стойкой в выделенной комнате читать такое бесполезно. Коридор нельзя построить из одной стойки, фальшпол под неё никто заливать не станет.
А проблема ровно та же. Заполненная стойка отдаёт в комнату несколько киловатт тепла - как пара бытовых обогревателей, включённых круглосуточно. И деть это тепло некуда. Разница только в том, что инструменты у вас другие - дешевле, проще и почти все внутри самой стойки.
Дальше - про них. Что реально даёт эффект, что даёт его меньше, чем принято думать, и как понять, что стало лучше.
Два самых частых совета из статей про ЦОД в вашем случае просто не выполняются.
Горячие и холодные коридоры требуют минимум двух рядов стоек, поставленных лицом к лицу. Смысл в том, чтобы разделить потоки: серверы забирают воздух из одного коридора и выбрасывают в другой. С одной стойкой разделять нечего - у неё есть перед и зад, и весь «коридор» это комната вокруг. Если стоек у вас уже несколько рядов, тема ваша, и разобрана она отдельно: горячие и холодные коридоры в серверной.
Фальшпол - способ подать холодный воздух снизу через перфорированные плитки. Хорошая инженерия для машинного зала, где под полом идёт подготовленный воздух под давлением. Под одну стойку его не строят: это капитальные работы в помещении, и окупаться там нечему. Если встретите совет «сделайте фальшпол минимум 30 сантиметров» - он адресован не вам.
Что остаётся: работа с самой стойкой и с комнатой, в которой она стоит. Расчёт теплопритоков и подбор кондиционера по мощности - отдельная задача, она разобрана в материале про расчёт TDP и схемы воздушных потоков. Здесь - про то, что делается руками и почти без бюджета.
Сервер не «расходует» электричество - он превращает его в тепло. Практически всё, что пришло по питанию, уходит в нагрев: считать отдельно «полезную часть» не нужно, её в тепловом балансе нет. Значит, стойка с потреблением 4 кВт отдаёт в комнату 4 кВт тепла, и никакой другой цифры там не будет.
Воздух проходит сквозь сервер спереди назад и нагревается на пути примерно на 10-20 градусов, в зависимости от загрузки и от того, сколько воздуха прогоняют вентиляторы. То есть при 22 °C на входе сзади будет 32-42 °C. Это нормально и так задумано.
Ненормально другое - когда этот нагретый воздух возвращается ко входу. Называется рециркуляция, и для одной стойки это главная беда. Пути у горячего воздуха обратно вперёд ровно два: сквозь саму стойку через пустые юниты и щели, и вокруг неё по комнате. Первый закрывается заглушками и стоит копейки. Второй решается расстановкой в помещении.
Пустой юнит в стойке - это открытая дверь между задней частью и передней. Горячий воздух из-за серверов идёт по пути наименьшего сопротивления, попадает в проём и выходит прямо перед воздухозаборниками соседних машин. Дальше по цепочке: следующий сервер получает подогретый воздух, греет его ещё сильнее, отдаёт назад.
Эффект от заглушек измеряли. По расчётам Upsite, аккуратно закрытые проёмы снижают среднюю температуру на входе серверов примерно на 4 градуса. В запущенных стойках до 60% подаваемого холодного воздуха вообще не доходит до оборудования и уходит мимо. Четыре градуса за пластиковую панель по цене обеда - лучшее соотношение затрат и результата во всей теме.
Закрывать нужно не только фронтальные проёмы. Щели по бокам монтажных направляющих, дыры под стойкой в основании, проёмы вокруг кабельных вводов - через всё это воздух ходит так же охотно.
Иногда советуют ровно наоборот: «не забивайте стойку полностью, оставьте свободное место для циркуляции». Это неверно. Свободный юнит не улучшает циркуляцию, а создаёт рециркуляцию, и его надо закрыть заглушкой. Не забивать стойку под завязку действительно стоит, но по другим причинам - лимит мощности и теплоотвода на стойку, вес конструкции, доступ к оборудованию при обслуживании.
Дверь с маленькими отверстиями или, того хуже, стеклянная - это сопротивление на пути воздуха. Вентиляторы серверов начинают работать на повышенных оборотах, шумят и потребляют больше, а воздуха всё равно не хватает.
Ориентиры по площади открытых отверстий:
| Элемент стойки | Сколько нужно | Зачем |
|---|---|---|
| Передняя дверь | не меньше 63% открытой площади | вход холодного воздуха; по ANSI/BICSI 002 это минимум для стоек мощнее 5 кВт |
| Задняя дверь | столько же | выход горячего воздуха без подпора |
| Боковые панели | глухие, без отверстий | иначе горячий воздух уходит вбок и возвращается ко входу |
| Пустые юниты | глухие заглушки | блокировка рециркуляции |
У серьёзных производителей перфорация дверей давно за 70% - у Vertiv, например, штатные 77%. Если стойке лет пятнадцать и дверь у неё стеклянная или с узкими прорезями, замена двери даст больше, чем любой вентилятор.
Кабельный жгут вредит только там, где перекрывает поток. Мест таких немного, и они предсказуемы.
Опаснее всего задняя часть стойки на уровне блоков питания и вентиляторов: связка проводов толщиной с руку прямо за сервером создаёт подпор, вентиляторы раскручиваются, а воздух всё равно идёт хуже. Второе место - зона воздухозабора спереди у сетевого оборудования, где патч-корды часто висят прямо перед решёткой.
Практика простая: питание по одной стороне стойки, слаботочка по другой, вертикальные органайзеры обязательны, горизонтальные протяжки - выше или ниже оборудования, но не поперёк решёток. Длину кабелей брать с запасом: короткий провод придётся тянуть напрямую через всю стойку, и он ляжет ровно там, где мешает.
Под стойкой тоже стоит навести порядок, если кабели заходят снизу. Свалявшийся клубок в основании перекрывает нижние юниты, а это как раз то место, куда обычно ставят самое тяжёлое и горячее.
Это соображение стоит проверять до монтажа. Потом переделывать дороже.
Серверы почти без исключений тянут воздух спереди и выбрасывают назад. А вот коммутаторы - как повезёт. Многие модели, включая часть линейки Cisco Nexus, продувают корпус вбок, из стороны в сторону. Некоторые дуют от портов внутрь, некоторые наоборот. У ряда моделей направление зависит от того, какие вентиляторные модули заказаны: бывают исполнения front-to-rear и rear-to-front.
В одной стойке это выливается в конкретную неприятность: коммутатор с боковой продувкой, зажатый между двумя серверами, забирает воздух из бокового зазора, куда как раз стекает тёплый. Дальше он греется сам и подогревает соседей.
Что с этим делают: смотрят в документацию до покупки, ставят такие устройства с зазором по юниту сверху и снизу, разворачивают, если исполнение позволяет, или выносят в отдельную секцию. Общий порядок монтажа - тяжёлое вниз, горячее по возможности вверх - разобран в пошаговом руководстве по установке сервера в стойку.
Модуль вентиляторов в крышу стойки продают как универсальное решение, и это тот случай, когда стоит подумать.
Помогает он в понятной ситуации: стойка стоит в помещении с приличной температурой, но внутри застаивается воздух, наверху заметно горячее, чем внизу, и активной подачи в стойку нет. Тогда вытяжка сверху разгоняет застой.
Делает хуже он тоже в понятной ситуации: когда в стойке налажена нормальная фронтально-тыловая продувка и особенно когда коридоры изолированы. Вентилятор в крыше тянет воздух отовсюду, включая холодный из передней части, и часть подачи уходит мимо серверов. Получается больше расхода и хуже охлаждение.
Отдельно про мощность: слишком сильный модуль в маленькой стойке создаёт турбулентность и разнонаправленные потоки. Один правильно подобранный вентилятор работает лучше трёх конфликтующих. Модели с регулировкой оборотов по температуре предпочтительнее - ночью при низкой нагрузке гонять их на полную незачем.
Самая частая реальность малого бизнеса: стойка в кабинете, кладовой или выделенной комнатушке, из климата - обычная бытовая сплит-система. Тут работает несколько вещей, о которых в статьях про ЦОД не пишут.
Куда дует кондиционер. Направлять поток прямо в переднюю дверь стойки - плохая идея. Струя холодного воздуха под давлением сбивает работу вентиляторов сервера и создаёт локальные перепады, а часть воздуха просто отскакивает. Лучше, когда кондиционер подаёт воздух в объём комнаты, а стойка забирает его сама.
Где стоит стойка. Задняя часть должна отдавать тепло в свободный объём. Стена в двадцати сантиметрах позади стойки запирает горячий воздух там же, откуда он вышел. Отступ нужен и для обслуживания, и для воздуха. Ставить стойку задом к входу в комнату тоже не стоит - будете входить в горячий поток.
Круглосуточный режим. Бытовые сплиты рассчитаны на работу с перерывами, а серверная греет всегда. Нужна модель, допускающая непрерывную работу, и желательно зимний комплект: зимой на улице минус, а охлаждать комнату всё равно надо. Резерв тоже стоит обдумать - один кондиционер означает, что его поломка это авария.
Влажность и конденсат. Переохлаждать помещение вредно: при слишком низкой температуре и высокой влажности возможна конденсация, а вода и электроника несовместимы. Гнаться за 16-18 градусами не нужно, это лишние деньги на счёт за электричество и риск сверху.
Нормы по температуре, влажности и воздухообмену для помещения - в отдельных материалах: нормы температуры в серверной и кратность воздухообмена и вентиляция.
Мерить надо не температуру в комнате, а температуру на входе серверов. Это разные числа, и разница между ними иногда доходит до десяти градусов.
Ориентир - рекомендации ASHRAE, на них опираются производители серверов. Рекомендованный диапазон на входе: 18-27 °C. Допустимый шире и зависит от класса оборудования: до 32 °C для класса A1, до 35 °C для A2. Допустимый диапазон означает только одно: техника не выключится и гарантия в силе. Жить в нём постоянно никто не предлагает.
Отсюда и разумные пороги алертов: предупреждение, когда вход переваливает за 27 °C, тревога ближе к 32-35 °C в зависимости от того, что стоит в стойке. Ставить уведомление на каждый лишний градус смысла нет - через неделю вы перестанете их читать.
Минимальный набор точек замера: датчик на входе внизу стойки, датчик на входе вверху и датчик сзади. Разница между низом и верхом спереди покажет, есть ли рециркуляция: в здоровой стойке она невелика, а если наверху ощутимо теплее, воздух возвращается. Где именно ставить датчики и что с них снимать - в материале про датчики температуры в серверной.
Заодно смотрите обороты вентиляторов через IPMI или iLO. Если после наведения порядка в стойке они снизились сами, вы всё сделали правильно: техника перестала бороться с сопротивлением.
Больше вентиляторов - лучше охлаждение. Вентиляторы, дующие навстречу друг другу, создают завихрения и мёртвые зоны. Сначала убирают препятствия и рециркуляцию, и только потом добавляют мощность.
Холоднее - значит надёжнее. Отсюда попытки держать 16-18 градусов. Это лишние деньги, а на нижней границе ещё и риск конденсата.
«Каждые 5 градусов сверху сокращают ресурс диска вдвое». Такое правило гуляет по интернету, но подтверждения у него нет. Google по своему парку дисков и Backblaze по выборке в 34 тысячи штук устойчивой связи температуры с отказами в рабочем диапазоне не нашли, а Google даже зафиксировал больше отказов на холодных дисках. Исследование Университета Вирджинии связь нашло, но другую - удвоение отказов на каждые 12 градусов выше сорока. Вывод для практики: держать диски в разумном диапазоне надо, паниковать из-за пары градусов - нет. Перегрев вредит по другим, более наглядным каналам: процессоры уходят в троттлинг и теряют производительность, блоки питания работают с худшим КПД, вентиляторы изнашиваются быстрее.
Пыль. Забитый радиатор или решётка вентилятора сводят на нет всю работу с потоками. Раз в квартал стойку стоит осматривать, фильтры на дверях, если они есть, мыть или менять. Что делать, когда перегрев уже случился, разобрано отдельно: методы устранения перегрева оборудования.
Экономия на мелочах. Комплект заглушек и органайзеров на стойку стоит дешевле одного часа простоя. Это тот редкий случай, когда самая дешёвая мера даёт самый заметный результат.
Сколько тепла отдаёт стойка?
Столько же, сколько потребляет. Стойка на 4 кВт греет комнату на 4 кВт. Считать теплопритоки по паспортным мощностям блоков питания не надо - берите реальное потребление, оно обычно заметно ниже.
Какая температура должна быть на входе сервера?
По ASHRAE рекомендованный диапазон 18-27 °C. Допустимый шире (до 32 °C для класса A1, до 35 °C для A2), но это запас на нештатные ситуации. Держать такую температуру постоянно не стоит.
Нужны ли заглушки, если стойка заполнена наполовину?
Тем более нужны. Чем больше пустых юнитов, тем сильнее рециркуляция. Закрывать надо все свободные проёмы. Оставлять их «для циркуляции» - вредный совет.
Можно ли поставить стойку в обычный кабинет?
Технически можно, и так живут многие. Понадобится кондиционер, допускающий круглосуточную работу, отступ от стены сзади, закрытая дверь и хоть какой-то мониторинг температуры. Шум останется проблемой - стойка с работающими серверами громкая.
С чего начать, если бюджета почти нет?
Заглушки во все пустые юниты, порядок в кабелях сзади, отодвинуть стойку от стены и повесить датчик температуры на вход. Это несколько тысяч рублей и один вечер работы.
Подбираете оборудование в стойку и считаете, влезет ли оно по теплу?
Инженеры ITTELO помогут собрать конфигурацию под реальное энергопотребление и охлаждение вашей серверной, а не под паспортные максимумы. Соберём и протестируем под задачу перед отгрузкой, с гарантией и поддержкой после продажи. На рынке серверов 11+ лет.
