Эксперты в подборе IT-оборудования
Счёт за электричество в серверной складывается из двух частей: сколько потребляет само оборудование и сколько уходит на то, чтобы его охладить и запитать. Вторая часть в маленькой серверной обычно сопоставима с первой, и именно с ней проще всего что-то сделать. Но начинать надо не с покупки нового кондиционера, а с измерения: без цифры на входе любая оптимизация превращается в угадывание.
Разберём по порядку: куда уходит электричество, как посчитать собственную эффективность, какие рычаги реально работают в серверной на две-пять стоек и на чём экономить не стоит.
Структура потребления в небольшой серверной выглядит примерно так.
| Потребитель | Что это | Насколько поддаётся оптимизации |
|---|---|---|
| IT-оборудование | Серверы, СХД, коммутаторы | Хорошо: консолидация, замена поколения, настройка энергосбережения |
| Охлаждение | Кондиционеры, вентиляция | Хорошо: температура подачи, разделение потоков, обслуживание |
| Потери в питании | ИБП, блоки питания серверов, распределение | Средне: КПД оборудования и режим его загрузки |
| Инженерные системы | Пожаротушение, контроль доступа, видеонаблюдение, датчики | Не трогаем - экономия тут опаснее любой выгоды |
| Освещение | Свет в помещении | Практически никак: в серверной на пару стоек это доли процента |
Освещение в списках экономии обычно стоит высоко, и это наследие текстов про большие залы. В серверной комнате свет горит, когда туда кто-то зашёл, то есть несколько часов в месяц. Считать его отдельной статьёй расходов смысла нет.
PUE (Power Usage Effectiveness) - отношение всей мощности, потребляемой серверной, к мощности, которая досталась собственно IT-оборудованию.
PUE = вся потреблённая мощность ÷ мощность IT-оборудования
Смысл простой. PUE = 1,0 означал бы, что всё электричество ушло в серверы и ничего не потрачено на охлаждение и потери. Это недостижимый идеал. PUE = 2,0 значит, что на каждый киловатт, доставшийся серверам, ещё киловатт ушёл на кондиционер, ИБП и провода.
| PUE | Что это означает |
|---|---|
| 1,0 | Теоретический предел, в природе не встречается |
| около 1,1 | Уровень гиперскейлеров. У Google по флоту около 1,10 |
| до 1,2 | Хороший показатель для нового объекта |
| 1,5-1,6 | Мировой средний уровень по дата-центрам |
| 2,0 и выше | Обычная картина для серверной комнаты, которую никто не проектировал под энергоэффективность |
Оговорка, без которой цифра вводит в заблуждение. PUE придуман для дата-центров, где инженерная инфраструктура выделена и её потребление можно померить отдельно. В офисной серверной кондиционер часто висит на общем щите с половиной этажа, и честно вычленить его потребление нельзя. Считайте PUE ориентиром для себя и точкой отсчёта «стало лучше или хуже», а не показателем, который можно сравнивать с чужими цифрами или писать в отчёт.
Самая частая ошибка - начать с замены оборудования, не зная текущих цифр. Потом невозможно понять, дала замена эффект или нет.
Померить потребление можно тремя способами, от простого к точному:
ipmitool -I lanplus -H <адрес BMC> -U <логин> -P <пароль> dcmi power reading. Способ бесплатный и доступен прямо сейчас. Если контроллер отвечает ошибкой на dcmi, посмотрите датчик потребления в общем списке: ipmitool ... sensor list и ищите строку вида Pwr Consumption.Третий пункт закрывает и типичный вопрос «сколько ест конкретно мой сервер». Паспортная мощность блока питания к реальному потреблению отношения почти не имеет: сервер с двумя блоками по 750 Вт в обычной работе может потреблять 200-250 Вт. Смотреть надо показания, а не наклейку.
Каждый ватт, потерянный в блоке питания, оплачивается дважды: сначала как электричество, потом как тепло, которое надо вынести кондиционером. Поэтому КПД блоков питания - место, где экономия видна сразу.
Сертификация 80 PLUS показывает КПД при разной загрузке. Для серверных блоков с резервированием (те самые два блока горячей замены) при половинной загрузке и питании 230 В уровни такие:
| Уровень 80 PLUS | КПД при 50% загрузки | Сколько теряется |
|---|---|---|
| Bronze | 85% | 15% в тепло |
| Silver | 89% | 11% |
| Gold | 92% | 8% |
| Platinum | 94% | 6% |
| Titanium | 96% | 4% |
Разница между Bronze и Titanium - примерно 11 процентных пунктов. На стойке, которая тянет из сети 5 кВт, это порядка 0,5-0,7 кВт: они круглосуточно уходят в тепло, и это же тепло потом надо вынести кондиционером. То есть переплата идёт дважды.
Ловушка, о которой редко пишут. КПД блока питания зависит от того, насколько он нагружен, и максимума достигает примерно при половинной загрузке. При загрузке в 10-20% он заметно ниже. Поэтому блок питания, взятый «с тройным запасом на будущее», работает в самом невыгодном для себя режиме и всё время подъедает лишнее. Запас нужен, но разумный: ориентируйтесь на реальное потребление около половины номинала, а не на четверть.
То же касается ИБП: у него есть свой КПД и своя зависимость от загрузки. Дешёвый ИБП, купленный по принципу «лишь бы держал», в режиме постоянной работы обходится дороже, чем кажется при покупке.
Если в серверной стоит восемь физических машин, каждая из которых загружена на 10%, никакая настройка кондиционера этого не исправит. Выключенный сервер потребляет ноль, и это единственный способ снизить потребление сразу в разы, а не на проценты.
Что здесь работает:
Про выбор оборудования стоит сказать отдельно, потому что совет «покупайте энергоэффективные серверы» без критериев бесполезен. Смотреть надо на потребление в простое (не только под нагрузкой), на уровень 80 PLUS блоков питания, на поколение процессора и на то, поддерживает ли платформа управление питанием - ограничение мощности и энергосберегающие состояния процессора. Сколько мощности закладывать на стойку при планировании, разбирали в статье про расчёт мощности стойки.
Самая дешёвая мера в охлаждении не стоит ничего: поднять температуру подаваемого воздуха.
ASHRAE рекомендует для оборудования диапазон температуры на входе 18-27 °C. Многие серверные до сих пор держат 18-20 °C по привычке из девяностых, хотя оборудование последних поколений спокойно работает при 24-25 °C. Каждый градус повышения даёт порядка 2-4% экономии на холодоснабжении.
Важная граница: поднимать температуру имеет смысл в пределах рекомендованного диапазона. Выше него серверы начинают активнее крутить собственные вентиляторы, и потребление IT-оборудования растёт быстрее, чем падает потребление кондиционера. Экономия превращается в перерасход, а заодно растёт износ вентиляторов.
Вторая мера - не смешивать холодный и горячий воздух. Холодный подаётся к передним панелям, горячий уходит назад и сразу отводится. Если стойки стоят так, что выхлоп одной попадает на вход другой, кондиционер работает на охлаждение собственного выхлопа. В маленькой серверной хватает заглушек на пустые юниты и правильной ориентации стоек, в помещениях побольше делают горячие и холодные коридоры. Какие вообще пределы по температуре и чем грозит их нарушение - в отдельном разборе норм температуры в серверной.
Тепловую нагрузку под конкретный набор оборудования и подбор кондиционера по ней разбирали в статье про расчёт охлаждения серверной.
Грязный фильтр - самая недооценённая статья перерасхода. Забитый фильтр душит поток воздуха, кондиционер дольше выходит на заданную температуру и работает больше. По данным Министерства энергетики США замена грязного фильтра на чистый снижает потребление кондиционера примерно на 5-15% в зависимости от степени загрязнения.
Цифра приличная, а стоит замена фильтра копейки. При этом в серверных фильтры меняют по остаточному принципу, потому что оборудование продолжает работать и ничего не сигнализирует.
Помимо фильтров, на потребление климатической системы влияет состояние теплообменников (пыль на них ухудшает теплопередачу), уровень хладагента и корректность настройки. Всё это входит в обычное регламентное обслуживание, и его пропуск заметен именно в счетах, а не в поведении техники.
Есть системы, потребление которых считать не надо вообще, потому что цена отказа несопоставима с экономией.
Все они вместе потребляют доли процента от серверной, а отключение любой из них однажды обойдётся дороже, чем всё сэкономленное электричество за годы.
| Шаг | Что сделать | Чего ждать |
|---|---|---|
| 1 | Снять текущее потребление: счётчик, PDU, показания BMC | Точка отсчёта. Без неё дальше не имеет смысла |
| 2 | Найти недогруженные и забытые серверы | Самая крупная разовая экономия |
| 3 | Поднять температуру подачи в пределах 18-27 °C | Порядка 2-4% на градус, стоит ноль |
| 4 | Поставить заглушки, развести горячий и холодный воздух | Кондиционер перестаёт охлаждать сам себя |
| 5 | Ввести регламент обслуживания климата | 5-15% на замене фильтров |
| 6 | При замене железа смотреть 80 PLUS и потребление в простое | Эффект накопительный, на горизонте закупки |
Порядок здесь не случайный: первые четыре шага не требуют закупок вообще. Менять оборудование ради экономии на электричестве стоит тогда, когда бесплатные меры уже сделаны, - иначе новое железо просто встанет в ту же неэффективную среду.
Отношение всей потреблённой серверной мощности к мощности IT-оборудования. Идеал 1,0 недостижим, хороший показатель для нового объекта - до 1,2, мировой средний уровень по дата-центрам около 1,5-1,6. Для офисной серверной точное значение посчитать обычно нельзя, используйте его как собственную точку отсчёта.
Через контроллер управления: iLO, iDRAC, IMM или XCC показывают текущую потребляемую мощность, эти же данные достаются по IPMI. Второй вариант - розеточный блок с порозеточным измерением. По мощности блока питания судить нельзя: сервер с блоками на 750 Вт в работе часто потребляет 200-250 Вт.
Для оборудования, которое работает круглосуточно, разница между Bronze и Titanium окупается за счёт электричества и меньшего тепловыделения. Titanium имеет смысл при высокой плотности и постоянной нагрузке, Gold или Platinum - разумный выбор для обычной серверной.
В пределах рекомендованного ASHRAE диапазона 18-27 °C. Выше подниматься не стоит: серверы начнут активнее крутить свои вентиляторы, и суммарное потребление вырастет вместо того, чтобы упасть.
Обычно ни то и ни другое на первом шаге. Наибольший эффект в небольшой инфраструктуре даёт консолидация: выключенный сервер потребляет ноль и не греет помещение. Замена оборудования считается по сроку окупаемости уже после того, как сделаны бесплатные меры.
Считаете, во что обходится содержание серверной?
Инженеры ITTELO помогут прикинуть, что даст консолидация в вашем случае, и подберут конфигурацию, которая закроет нагрузку меньшим числом машин. Соберём и протестируем под задачу перед отгрузкой, с гарантией и поддержкой после продажи. На рынке серверов 11+ лет.
