Эксперты в подборе IT-оборудования
Серверное оборудование работает в узком диапазоне температур. ASHRAE рекомендует держать на входе в оборудование 18-27 °C, и вопрос обычно не в том, чтобы выставить эту цифру на кондиционере, а в том, чтобы узнать, какая температура на самом деле у железа.
Потому что распределяется тепло неравномерно. В одном углу серверной комфортные 22 °C, а на входе верхнего сервера в дальней стойке - 35 °C, и об этом никто не знает, пока оборудование не начнёт уходить в защиту. Один датчик на стене такой ситуации не покажет. Разберём, какие датчики бывают, куда их ставить по стандартам и что можно сделать вообще без закупки.
Если коротко
Типов датчиков на рынке несколько, и для серверной подходят далеко не все - большинство характеристик, которыми меряются производители, в диапазоне 15-35 °C не имеют значения.
| Тип датчика | Диапазон | Точность | Стоимость | Где уместен |
|---|---|---|---|---|
| Термопары | -200…+1350 °C | ±1-2 °C | Низкая | Экстремальные температуры. Для серверной избыточны по диапазону и недостаточны по точности |
| Термисторы | -50…+150 °C | ±0,1-0,5 °C | Средняя | Рабочая лошадка серверной: точность там, где она нужна |
| RTD (термосопротивления) | -200…+850 °C | ±0,1-0,3 °C | Высокая | Эталонные точки, приёмка, спорные измерения |
| Цифровые | -55…+125 °C | ±0,5 °C | Средняя | Массовое оснащение: сразу отдают значение по шине, не нужен АЦП |
Для серверной в подавляющем большинстве случаев берут термисторы или цифровые датчики. Точности ±0,5 °C достаточно: решения принимаются по разнице в градусы, а не в десятые доли. Термопары имеют смысл, только если вы меряете что-то специфическое - например, температуру выхлопа мощного блока питания.
Это главный вопрос, и ответ на него в стандартах есть - причём куда конкретнее, чем «повесить в холодном коридоре».
Норматив 18-27 °C относится к воздуху, который сервер засасывает. Не к воздуху в помещении, не к выходу из кондиционера и не к тому, что показывает термометр у двери. Все остальные точки - вспомогательные.
ASHRAE рекомендует ставить в стойке не менее шести датчиков: три спереди и три сзади, каждый раз на трёх высотах - низ, середина, верх. Замер делается по центру воздухозаборника оборудования, примерно в 5 см от фронта. Разговорное название этих высот - «колено, пояс, голова».
| Точка | Где именно | Что показывает | Когда бить тревогу |
|---|---|---|---|
| Фронт, низ | Воздухозаборник нижнего оборудования | Температуру подаваемого воздуха в лучшей точке | Выше 27 °C - не справляется охлаждение в целом |
| Фронт, середина | Воздухозаборник среднего оборудования | Типичные условия для стойки | Выше 27 °C |
| Фронт, верх | Воздухозаборник верхнего оборудования | Самую горячую точку стойки: сюда подмешивается воздух сверху | Разница с низом больше 5-6 °C - есть рециркуляция |
| Тыл, три высоты | За стойкой, напротив выхлопа | Нагрев воздуха при проходе сквозь оборудование | Разница фронт/тыл меньше 10 °C - воздух идёт мимо; больше 20 °C - его не хватает |
Разница между фронтом и тылом - самая полезная цифра из всех. Нормальный сервер нагревает воздух на 10-20 °C. Если разница маленькая, воздух проходит мимо оборудования и возвращается в кондиционер, не сделав работы: обычно это значит, что в стойке не хватает заглушек или потоки организованы неудачно. Оговорка: та же картина будет у полупустой или слабо загруженной стойки, где холода просто подаётся с запасом. Сначала смотрим на загрузку, потом на заглушки. Как это чинится - разобрано отдельно в материале про воздушные потоки в серверной стойке.
Для помещения действует стандарт телекоммуникационных трасс и пространств. Его требование к точкам замера: на высоте 1,5 м над полом, через каждые 3-9 метров, по осевой линии проходов перед фронтом стоек.
Шаг важен. Небольшая серверная на 10 метров прохода - это две-три точки замера, а не одна на всё помещение. Сетка реже 9 метров пропускает локальные перегревы, ради которых мониторинг и ставят.
Открытая стойка в помещении с общей вентиляцией и закрытый шкаф с дверьми - две разные задачи, и мерить их надо по-разному.
У закрытого шкафа свой микроклимат. Температура в помещении может быть идеальной, а внутри шкафа - на 10-15 °C выше, если перфорация дверей недостаточна или воздух внутри циркулирует по кругу. Замер снаружи про это не скажет ничего.
Ориентир по перфорации: для стоек мощнее 5 кВт стандарт ANSI/BICSI 002 требует не менее 63 % открытой площади дверей, у хороших шкафов бывает под 77 %. Глухая дверь или дверь со стеклом для нагруженного шкафа не подходит, никакие датчики этого не исправят.
Если стойка одна и бюджет ограничен, разумный минимум выглядит так:
Два температурных датчика вместо шести дают неполную картину, но закрывают основной сценарий отказа. Расширять до полной схемы имеет смысл, когда стоек становится несколько или растёт мощность.
Статьи про мониторинг серверной обычно начинаются с закупки. А начать стоит с того, что уже стоит в стойке.
Каждый серверный контроллер управления - iDRAC у Dell, iLO у HPE, обычный IPMI у Supermicro и Lenovo - отдаёт температуру на входе в шасси (Inlet Temp), температуру процессоров и обороты вентиляторов. Это те самые показания «на входе в оборудование», ради которых и ставят внешние датчики, только измеренные самим сервером и уже доступные по сети.
Забрать их можно тем же SNMP, которым собирается остальная телеметрия, или запросом к IPMI - ipmitool sdr type Temperature выведет список температурных сенсоров с текущими значениями. Как устроен сбор по SNMP и что настраивать на стороне системы мониторинга - в материале про SNMP-мониторинг серверного оборудования. Про сам контроллер и его возможности - в разборе, что такое iLO в сервере.
Ограничение у способа одно, но существенное: сервер меряет там, где стоит сам. Пустой юнит, в котором перегрев только зарождается, и воздух перед фронтом стойки останутся без контроля. Поэтому встроенные датчики - хорошая отправная точка и плохая замена внешним, когда стоек становится больше одной.
Второй источник, который обычно уже есть: блок распределения питания. Управляемые PDU часто имеют порты под внешние щупы температуры и влажности и отдают их по SNMP вместе с током и напряжением. Есть это не у всех: у простых моделей с измерением тока портов под датчики может не быть, смотреть надо в спецификации. Если вы меняете PDU или только планируете закупку, вариант с портами под датчики закрывает мониторинг стойки без отдельной коробки.
Когда нужен климат всего помещения, а не отдельных машин, ставят специализированное устройство: небольшой контроллер с сетевым портом, к которому подключаются шлейфы датчиков.
Что бывает в этом классе:
Выбирать их стоит по тому, куда данные пойдут дальше. Если в компании уже есть система мониторинга, решающими становятся поддержка SNMP и внятная MIB; собственный веб-интерфейс устройства в этом случае почти не имеет значения.
Поставить датчики - половина дела. Дальше показания надо собрать, сохранить и превратить в действие.
Остаются основным вариантом для всего, что нельзя терять. Не зависят от радиоэфира и батареек, работают по Modbus, SNMP или протоколу производителя. Многие решения поддерживают питание по Ethernet (PoE), и тогда к датчику идёт один кабель вместо двух.
Беспроводные датчики на Zigbee, Wi-Fi или LoRaWAN выручают там, где кабель тянуть некуда: серверная в готовом помещении, арендованные стойки, временная площадка. Но у них есть особенности, о которых стоит знать до закупки.
Разумный компромисс: проводные датчики на постоянные точки, беспроводные - на временные и труднодоступные.
Порог сработал - что дальше? Минимум: уведомление по почте, SMS или в мессенджер, причём не одному человеку. Дальше начинается автоматика: поднять обороты вентиляторов, включить резервный кондиционер, а в крайнем случае корректно погасить некритичное оборудование, чтобы снизить тепловыделение.
Здесь есть смысл настроить два порога вместо одного. Первый - предупреждение, по которому есть время приехать. Второй - аварийный, по которому система действует сама. Один порог всегда оказывается или слишком чувствительным, и его перестают читать, или слишком поздним.
Облачный сервис удобен: график доступен с телефона, ничего не надо администрировать. Плата за это - зависимость от интернета и от чужой инфраструктуры. Для критичной серверной разумнее локальная система с удалённым доступом через VPN, а облако оставить как дублирующий канал уведомлений.
Датчики температуры редко ставят в одиночку - контроллер обычно тот же, а дополнительный щуп стоит недорого.
Стандартная пара к температуре. Здесь важно не опираться на устаревшие цифры: раньше по всем инструкциям ходило требование 40-60 % относительной влажности, и оно заставляло многие серверные без нужды увлажнять воздух. Действующая редакция ASHRAE TC 9.9 нормирует влажность по точке росы: от -9 до +15 °C при максимуме 60 % относительной влажности.
Практический смысл: нижняя граница по сухости стала мягче, а верхняя осталась - выше 60 % растёт риск конденсата и коррозии. Сама по себе сухость опасна статикой, но в серверной, где никто не ходит по ковру в шерстяном свитере, это меньшая из проблем.
Набор граблей в этой теме довольно устойчивый - вот те, что встречаются чаще всего.
Классика. Прибор показывает идеальные 18 °C, оборудование при этом задыхается. Датчик должен мерить там, где стоит железо, а не там, где дует. Если единственный датчик в серверной висит рядом с внутренним блоком, считайте, что мониторинга нет.
Разница между полом и потолком доходит до 10-15 °C. Ряд датчиков на 1,5 метра покажет ровную и совершенно неинформативную картину, а перегреваться будет верх стоек.
Показания дрейфуют, особенно у аналоговых. Раз в год стоит пройтись по точкам поверенным термометром и сравнить. Расхождение в пару градусов у датчика, по которому настроены пороги, означает, что пороги давно не те, что вы задавали.
Проверка, которая занимает десять минут
Сравните показания вашего датчика с тем, что показывает Inlet Temp ближайшего сервера через BMC. Это два независимых прибора в одной точке. Если они расходятся больше чем на 2-3 °C, разбираться нужно до того, как вы начнёте принимать решения по этим цифрам.
Единственный датчик в единственной точке - это единственная точка отказа. Там, где по показаниям работает автоматика, датчики дублируют, желательно разных типов или производителей: одинаковые приборы имеют привычку врать одинаково.
Рост температуры - следствие. Засорился фильтр, деградировала термопаста, встал вентилятор, забилась пылью решётка. Если мерить только воздух, вы узнаете о проблеме в момент, когда она уже развилась. Поэтому температуру собирают вместе с оборотами вентиляторов и данными по питанию, а регулярную чистку от пыли ставят в регламент, не дожидаясь сигнала от датчика.
Мониторинг окупается двумя путями: предотвращёнными авариями и возможностью не переохлаждать помещение.
По отрасли давно ходит правило: каждый градус повышения уставки даёт 4-5 % экономии на охлаждении. Цифра верная, но её обычно приводят неточно. Правило пришло от ENERGY STAR, относится к градусу Фаренгейта (то есть примерно 7-9 % на градус Цельсия) и выведено в начале двухтысячных, когда серверные держали на 20-22 °C. При нынешних уставках 24-25 °C прибавка заметно скромнее, а после определённого порога начинает расти энергопотребление самих серверов: их вентиляторы раскручиваются и съедают сэкономленное.
Практический вывод остаётся: поднимать уставку выгодно, но ровно до того предела, который вы видите по датчикам. Без мониторинга поднимать её страшно, и именно поэтому серверные годами работают на 18 °C «с запасом». Нормы и допустимые границы разобраны отдельно - какая температура должна быть в серверной по нормам.
Второе популярное правило: каждые 10 °C сокращают срок службы электроники вдвое. Это правило Аррениуса, инженерная оценка для повышенных температур, а не измеренный факт для диапазона 18-27 °C.
Реальные данные скромнее. Google по собственному парку и Backblaze по 34 тысячам дисков связи между температурой и отказами не нашли - у Google на холодных дисках отказов было даже больше. Важная оговорка: обе выборки жили в узком диапазоне (у Backblaze это примерно 22-30 °C при паспортном пределе 55-60 °C), так что корректный вывод звучит как «внутри рабочего диапазона разница не видна», а не «температура на ресурс не влияет». Исследования, захватывающие более высокие температуры, рост отказов находят. Практический ориентир: паниковать из-за 26 °C вместо 22 °C не нужно, а вот 45 °C на входе верхнего сервера - это уже про ресурс всерьёз.
Главная отдача - предсказуемость: постепенный рост температуры в одной зоне становится виден заранее. Это признак засорившегося фильтра, умирающего вентилятора или сместившегося потока. Плановое обслуживание по такому сигналу стоит несопоставимо дешевле, чем ночной выезд к остановившейся стойке. Что делать, если перегрев уже случился, разобрано в материале про устранение перегрева серверного оборудования.
Порядок, который работает для небольшой серверной:
Если по датчикам обнаружились горячие точки, а причина неочевидна, следующий шаг - инфракрасное сканирование серверной: тепловизор за один проход покажет профиль целой стойки, чего точечные датчики не умеют. А если греется вся серверная, а не отдельные места, вопрос уже к расчёту теплопритоков и схеме охлаждения.
И начать всё это можно с одной проверки: посмотреть, не стоит ли ваш единственный датчик прямо под кондиционером.
По теме: вентиляция в серверной: нормы кратности воздухообмена · горячие и холодные коридоры
Подбираете сервер для небольшой серверной?
Половина мониторинга закрывается самим железом: нормальный контроллер управления отдаёт температуру на входе, обороты вентиляторов и состояние питания по SNMP, без отдельных датчиков и монтажа. Инженеры ITTELO подберут конфигурацию под ваши задачи и помещение, настроят контроллер управления и покажут, какие датчики он отдаёт, соберут и протестируют сервер под нагрузкой перед отгрузкой. С гарантией и поддержкой после продажи, на рынке серверов 11+ лет.
Сервер купить для офиса · +7 (800) 551-80-12 · info@ittelo.ru
