Эксперты в подборе IT-оборудования
Ротация кондиционеров - это схема, в которой два и больше кондиционера в серверной работают по очереди, а блок автоматики сам меняет рабочий и резервный и включает резерв при перегреве. Задач у неё две. Первая - подхватить охлаждение, если рабочий кондиционер встал. Вторая - регулярно гонять резервный: кондиционер, который год стоял выключенным, при аварии может просто не завестись.
Для большого зала с прецизионными машинами это давно встроенная функция. Эта статья про другую серверную - на одну-две стойки, где стоят обычные настенные или полупромышленные сплиты, а между ними поставлен отдельный блок ротации. Такая автоматика стоит недорого. Но и умеет она меньше, чем принято думать.
Один кондиционер на серверную - единая точка отказа. Это понимают почти все, поэтому вешают второй. Дальше обычно происходит одно из двух: второй включают вручную «когда первый сломается», или оба работают постоянно на одну и ту же уставку.
Ручной резерв подводит ровно тогда, когда он нужен. Кондиционер, который не включали с прошлого лета, может не стартовать, причин для этого хватает. А пульт от него к тому же лежит неизвестно где. А сломался первый, конечно, ночью в выходные.
Оба сразу - тоже так себе вариант. Моточасы копятся у обоих круглые сутки. И когда один тихо выходит из строя, второй какое-то время вытягивает комнату сам: температура почти не меняется, никто ничего не замечает. Резерва уже нет, а узнают об этом при следующем отказе.
Ротация закрывает обе проблемы: кондиционеры меняются по таймеру, наработка у них выравнивается, а каждый регулярно доказывает, что он жив.
Чего ротация не делает. Ресурс пары она не удваивает - суммарные моточасы никуда не деваются, они просто делятся поровну. И мощность она не добавляет: если один кондиционер не вытягивает нагрузку серверной в одиночку, ротация превратится в поочерёдный перегрев. Сколько холода нужно на ваши стойки, считают до покупки блока - как это делается, разобрано в статье про расчёт охлаждения серверной и тепловыделение оборудования.
Логику удобно разобрать по руководству к блоку БУРР-1 (производитель «Алекс Электроникс») - это один из распространённых в России блоков для сплитов. У других производителей названия параметров свои, набор ситуаций почти тот же.
| Ситуация | Что делает блок | Какой параметр за это отвечает |
|---|---|---|
| Истекло время работы группы | Включает следующий кондиционер, какое-то время держит оба, потом гасит предыдущий | Время ротации (у БУРР-1 от 1 до 99 часов) и время перекрытия (от 1 до 20 минут) |
| Температура выросла выше порога | Добавляет резервную группу к рабочей, выключает её после снижения температуры | Порог включения резерва, порог выключения и задержка (1-15 минут) |
| Температура держится высокой долго | Подаёт «короткую аварию» на сигнальное реле | Порог аварии и время ожидания (10-60 минут) |
| Резерв подключается снова и снова | Считает, сколько раз температура доходила до порога, и при превышении счётчика подаёт тревогу: вероятно, один из кондиционеров неисправен | Порог счётчика (от 3 до 99 срабатываний) |
| Температура дошла до «пожарного» порога | Выключает все кондиционеры и подаёт тревогу - так же, как при пожаре отключают вентиляцию | Порог «пожар» (от 30 до 95 °C) |
Два момента из того же руководства, которые обычно пропускают при монтаже.
Аварийное реле у БУРР-1 срабатывает и при пропадании питания самого блока: нормально замкнутые контакты размыкаются. Это правильное поведение. Выключенный блок ротации тоже авария, и шлейф охранной сигнализации должен об этом узнать.
Исполнительный блок на кондиционере, который 5 минут не слышит базовый блок по радио, сам включает свой кондиционер и повторяет команду каждые 65 секунд. Сломалась автоматика - кондиционеры продолжают охлаждать.
Порог резерва ставьте по температуре у фасада стоек. Датчик блока, прикрученный рядом с внутренним блоком сплита, видит холодный поток и спокойно показывает 19 градусов, пока серверы в дальнем углу забирают воздух под 30.
Документация на это не отвечает, так что ориентир такой: от суток до нескольких суток. На интервале в пару часов компрессоры чаще стартуют, а пуск для компрессора - тяжёлый режим. На интервале в месяц резерв опять простаивает неделями, и смысл схемы теряется.
Перекрытие ставят на несколько минут: новому кондиционеру нужно время, чтобы выйти на режим, прежде чем гасить старый. Между включениями двух блоков полезна пауза в несколько секунд (у БУРР-1 для этого есть отдельный параметр, 1-30 секунд), чтобы пусковые токи двух компрессоров не легли на один автомат одновременно.
Конкретную схему подключения даёт производитель блока, и монтирует её климатическая компания. Но админу полезно понимать, из чего она состоит, - хотя бы чтобы знать, что отключать на тесте. На примере того же БУРР-1 система выглядит так:
| Узел | Где стоит | Что к нему подводят |
|---|---|---|
| Базовый блок | В электрощите, на стандартной DIN-рейке 35 мм | Питание 220 В, датчик температуры, выход аварийного реле в шлейф охранной или пожарной сигнализации |
| Исполнительный блок | На корпусе внутреннего блока каждого кондиционера, по одному на кондиционер (до 15 штук) | Питание 220 В; зонд ИК-излучателя направлен в окно фотоприёмника кондиционера с расстояния до 10 см |
| Связь между ними | По радио, проводов нет | Дальность до 50 метров при прямой видимости |
Кондиционеры объединяются в группы, у БУРР-1 их до трёх. Группы в цикле ротации работают по очереди, а вспомогательная включается, только когда рабочей не хватает мощности.
Радиосвязь удобна при монтаже, но через стены и металл дальность падает. Если базовый блок в щите за углом коридора, проверьте, что каждая команда доходит: базовый блок показывает на экране, пришло ли подтверждение от исполнительного.
Здесь проходит главная граница между дешёвой и надёжной схемой. Способов четыре, и у каждого своя цена ошибки.
| Способ | Как устроено | Знает ли блок, что команда выполнена | Где уместно |
|---|---|---|---|
| ИК-излучатель | На внутренний блок клеится излучатель, блок воспроизводит записанные команды пульта | Нет. Только косвенно, по температуре | Бытовые сплиты любой марки, минимальный бюджет |
| Коммутация питания | Блок включает и выключает кондиционер контактором | Нет | Только кондиционеры с автоматическим перезапуском после подачи питания |
| Сухой контакт | Проводной вход дистанционного включения на кондиционере или адаптер производителя (например, у Daikin это серия KRP4A) | Частично: часть адаптеров отдаёт сигнал «работа» и «авария» | Полупромышленные серии |
| Modbus по RS-485 | Шлюз подключает внутренний блок к шине (для Mitsubishi Electric, например, ME-AC-MBS-1) | Да: состояние, режим, коды ошибок | Модели, для которых есть шлюз; интеграция с мониторингом |
ИК-управление встречается чаще других, потому что работает с чем угодно, у чего есть пульт. Слабое место одно, зато серьёзное: блок отправил «включись» и не знает, включился ли кондиционер. Кондиционер мог уйти в ошибку. Излучатель держится на двухсторонней клеящей прокладке и со временем может съехать с фотоприёмника, а кто-то из сотрудников мог просто выключить сплит своим пультом. Блок узнает об этом, только когда поднимется температура.
Производители это обходят по-разному. У БУРР-1 исполнительный блок постоянно передаёт сигнал глушения, чтобы кондиционер не принял чужую команду, а неисправность вычисляется счётчиком подключений резерва (см. таблицу выше). У контроллера Cityron SBR02 на каждый кондиционер ставится модуль с ИК-передатчиком и двумя датчиками - на входе и выходе воздуха внутреннего блока. По перепаду между ними видно, дует ли кондиционер холодом или просто крутит вентилятор. У исправного сплита в режиме охлаждения этот перепад обычно порядка 8-12 градусов (в источниках разброс от 7 до 15, во влажном воздухе меньше). Если он упал до пары градусов, кондиционер включён, но не охлаждает.
Коммутация питания выглядит проще всего и опаснее всего. Кондиционер без функции перезапуска после такого отключения просто не включится снова. И резкое снятие питания с работающего компрессора кондиционеры не любят.
Блок ротации управляет тем, что ему дали. Если кондиционеры сами по себе не готовы к круглосуточной работе без человека, автоматика этого не исправит.
Это и есть резервирование по схеме N+1. Два сплита по 3,5 кВт на серверную с нагрузкой 5 кВт резервом не считаются: при первом отказе остаётся 3,5 кВт на 5 кВт тепла. Помните и о том, что паспортная холодопроизводительность бытовой машины включает осушение воздуха и измеряется при 27 °C. Под ИТ-нагрузку из неё реально получают меньше: климатические подрядчики закладывают 60-80 % паспортных киловатт.
У части бытовых моделей автоматический перезапуск выключен по умолчанию или отсутствует. После моргания света такой кондиционер ждёт кнопку на пульте. ИК-блок ротации частично это компенсирует: у БУРР-1 для каждого кондиционера отдельно включается функция рестарта, и после восстановления питания блок сам отправит команду «включить». Проверьте это на своей паре кондиционеров: описание модели здесь не аргумент.
После подачи питания включать кондиционер сразу тоже нельзя - компрессору нужна пауза. У БУРР-1 для этого есть задержка от 0 до 10 минут, общая для всех исполнительных блоков.
Серверная греется круглый год, а бытовой сплит по паспорту охлаждает до примерно -5 °C на улице, инверторные модели до -15. Ниже он либо отключится защитой, либо начнёт работать с риском для компрессора. Зимний комплект - подогрев картера, регулятор давления конденсации, обогрев дренажа - опускает предел до -25…-30 °C. Ставить его нужно на каждый кондиционер в ротации. Резервный без зимнего комплекта в январе - это тот же неработающий резерв, только с опозданием на полгода.
Два кондиционера на одном автомате отключаются одновременно. Разведите их по разным линиям, а если есть возможность - по разным фазам. Блок ротации после провала питания должен сам вернуться к работе с прежними настройками - это проверяется тем же тестом, что и кондиционеры (о нём ниже). Кондиционеры на ИБП серверов не сажают: сплит на 5 кВт холода берёт из сети 1,5-2 кВт, и батарей на это не хватит.
Где проходит потолок такой схемы и что ставят, когда два сплита уже не справляются, - в разборе про предел воздушного охлаждения стойки.
Блок ротации знает температуру в одной-двух точках комнаты. Что в этот момент происходит внутри стойки, он не знает. Серверы знают.
Каждый сервер с BMC (iDRAC, iLO, IPMI) уже измеряет температуру воздуха на входе - датчик обычно называется Inlet Temp. Её можно забирать по SNMP или командой ipmitool sdr type Temperature в систему мониторинга, которая у вас уже есть. Это бесплатный второй контур поверх блока ротации.
Второй контур нужен по простой причине. Реле аварии блока ротации обычно заведено в шлейф сигнализации, и его сигнал первой получает охрана. Дежурный админ узнает о нём по звонку, если повезёт. Мониторинг по BMC присылает оповещение туда, где его прочитают, и показывает то, что блок не видит: одна стойка перегревается, а в комнате всё в норме. Поэтому если вы выбираете стоечный сервер под серверную без дежурных, наличие BMC с температурными датчиками - не опция.
Куда ставить отдельные датчики и сколько их нужно на стойку, разобрано в статье про датчики температуры в серверной. Какую температуру считать нормой, а какую уже поводом звонить, - в материале про нормы температуры в серверной. Коротко: рекомендованный ASHRAE диапазон на входе оборудования 18-27 °C, и порог аварии блока ротации логично ставить так, чтобы сработать раньше, чем серверы выйдут за 27.
Внутри самого сервера роль такой автоматики играет BMC: он следит за оборотами каждого вентилятора по тахометру и поднимает скорость соседних, если один модуль встал. Как устроено резервирование вентиляторов внутри сервера - разобрано отдельно.
Смонтированная схема ротации ничего не гарантирует, пока её не проверили отказом. Климатическая компания после монтажа покажет, что кондиционеры меняются по таймеру. Имитировать аварию она не станет, если об этом не попросить. Сделайте это сами: в рабочее время, при нормальной температуре в комнате и не отходя от серверной, чтобы при неудачном тесте вернуть всё руками:
Повторяйте проверку раз в сезон и отдельно перед зимой, когда включается зимний комплект. Результат запишите: время до срабатывания резерва и максимальная температура - это ваш реальный запас по времени на случай аварии.
Сколько у вас этого запаса, лучше узнать на тесте. По данным Uptime Institute, машинный зал из 250 стоек по 6 кВт после потери холода нагрелся с 22 до 32 °C за 75 секунд. Комната с одной стойкой греется медленнее, но счёт всё равно идёт на минуты и десятки минут. Часов в запасе не будет.
Схема «два сплита плюс блок ротации» закрывает серверную примерно на одну-две стойки умеренной плотности. Дальше упирается в сам кондиционер.
Прецизионные кондиционеры ротацию и резервирование умеют сами: блоки одной линейки объединяются в группу по шине, видят состояние друг друга и передают нагрузку без внешнего блока и ИК-излучателей. Влажность они тоже держат, а мониторинг подключается штатно. Стоит это заметно дороже, и для одной стойки такая машина избыточна.
Следующая ступень после второго сплита для небольшой серверной - внутрирядный кондиционер: такие начинаются примерно с 7 кВт и ставятся прямо в ряд стоек. Как устроено резервирование N+1, N+2 и 2N в больших залах, где автоматика управляет десятками машин, - в статье про кондиционирование ЦОД.
Ротация сплитов не нужна в одном случае: если серверная охлаждается центральной системой здания, которой управляет служба эксплуатации. Тогда резервирование - их зона ответственности, и разговаривать об этом нужно с ними, с цифрами нагрузки на руках.
Да. ИК-блоки записывают команды пульта для каждого кондиционера отдельно, так что марка может быть любой. Условие одно: каждый должен в одиночку вытягивать нагрузку серверной.
Работает. Блок только включает и выключает кондиционер, а мощность внутри своего цикла инвертор регулирует сам.
Запас мощности не спасёт, если встанет компрессор. Один кондиционер остаётся единой точкой отказа, какой бы мощности он ни был.
Для небольшой серверной обычно два, каждый на полную расчётную нагрузку с запасом. Три по половине нагрузки дают резерв N+1 гибче, но дороже в монтаже и сложнее в настройке групп.
Планируете серверную на одну-две стойки или меняете в ней серверы?
Инженеры ITTELO подберут конфигурацию под вашу нагрузку и подскажут, сколько тепла она даст, - от этой цифры считают мощность кондиционеров. Соберём и протестируем сервер перед отгрузкой, дадим гарантию и поддержку после продажи. На рынке серверов 11+ лет.
Сервер для работы в офисе · +7 (800) 551-80-12 · info@ittelo.ru
