Эксперты в подборе IT-оборудования
+35 °C в серверной - прямой путь к троттлингу, аварийному отключению и простою. Первым жару заметит админ, зашедший проверить кабель, а расплачиваться будет вся компания: цену часа простоя почти всегда недооценивают.
Если коротко, температура в серверной по ГОСТ Р 58242-2018 - 18-24 °C при относительной влажности 30-55 %. Отраслевые рекомендации ASHRAE мягче - 18-27 °C, но это температура не в комнате, а на входе в сервер. Советская СН 512-78, на которую до сих пор ссылаются, отменена с декабря 2020 года.
Многие компании относятся к климату в серверной по остаточному принципу: поставили обычный кондиционер, повесили один датчик (а то и вообще забыли) и считают, что этого достаточно. Спойлер: недостаточно. Разбираемся, какие нормы действуют в России сейчас и что из них обязательно, почему перегрев сервера бьёт и по железу, и по бюджету, и как настроить контроль температуры так, чтобы спать спокойно.
В разговорах о климате серверной всплывают три документа: ГОСТ Р 58242-2018, старая СН 512-78 и рекомендации американского отраслевого общества ASHRAE. Они меряют разное и обязательны по-разному, поэтому сначала сводка, потом подробности.
| ГОСТ Р 58242-2018 | СН 512-78 | ASHRAE (редакция 2021) | |
|---|---|---|---|
| Статус | действует с 01.03.2019, применяется добровольно | отменена с 02.12.2020 | отраслевые рекомендации, не закон |
| Что нормирует | воздух в серверной | воздух в рабочей зоне залов ЭВМ | воздух на входе в оборудование |
| Где мерить | 1,5 м от пола, в центре прохода | рабочая зона | перед фасадом сервера |
| Температура | 18-24 °C | оптимально 21±2 °C зимой и 22±2 °C летом | рекомендуется 18-27 °C |
| Влажность | 30-55 % | оптимально 52±7 % | точка росы от -9 до +15 °C, не выше 70 % |
ГОСТ с цифрами по климату серверной есть, просто название у него неочевидное: ГОСТ Р 58242-2018 «Слаботочные системы. Кабельные системы. Телекоммуникационные пространства и помещения. Общие положения». Действует он с 1 марта 2019 года. В пункте 6.4 сказано прямо: температура в серверной - от 18 до 24 °C, относительная влажность - от 30 до 55 %. Мерить их нужно на высоте 1,5 м над полом в центре прохода, при работающем оборудовании.
Второй документ из той же серии - ГОСТ Р 59316-2021 про аппаратную (серверную) комнату, действует с 1 сентября 2021 года. Своих цифр по климату в нём нет: оснащать серверную он велит по ГОСТ Р 58242. Зато там есть пара практичных требований. Трубы водопровода и дренажа, которые не обслуживают саму серверную, через неё прокладывать запрещено, а фальшпотолки ставить не рекомендуется. Остальное - от площади и отделки до пожарной защиты - собрано в разборе требований к серверным помещениям.
Теперь про обязательность. Национальные стандарты в России по закону применяются добровольно (статья 26 закона 162-ФЗ «О стандартизации»). Обязательным ГОСТ становится, если на него сослались в договоре, проекте или техзадании: например, когда серверную сдают по госконтракту или она проходит аудит по требованиям заказчика. Без такого документа 18-24 °C - ориентир, а не требование, за которое кто-то оштрафует.
Советская «Инструкция по проектированию зданий и помещений для электронно-вычислительных машин» 1978 года признана утратившей силу с 2 декабря 2020 года, постановлением правительства № 1850 от 16 ноября 2020 года. В проектах на неё ссылаться уже нельзя, но в статьях и техзаданиях она кочует до сих пор, причём часто с чужими цифрами.
В самой СН нормы такие: оптимально 21±2 °C в холодный период и 22±2 °C в тёплый при влажности 52±7 %, допустимо 18-25 °C зимой. Считались они для рабочей зоны, то есть для людей, которые сидели в зале с ЭВМ. Для воздуха, который подают прямо в устройства, СН задавала отдельный минимум: не ниже 14 °C при влажности не выше 80 %. А диапазон 18-27 °C, который часто приписывают СН 512-78, взят из рекомендаций ASHRAE и появился на тридцать лет позже.
Прямой замены у СН 512-78 нет. Климат серверной сейчас задаёт ГОСТ Р 58242-2018, требования к самой комнате - ГОСТ Р 59316-2021.
Американское общество инженеров по отоплению, охлаждению и кондиционированию (ASHRAE) выпускает рекомендации, на которые ориентируются производители серверов и ЦОДы по всему миру. Главная цифра - рекомендованный диапазон 18-27 °C. Число тут вторично, главное - место замера: это температура воздуха перед фасадом сервера, а не в центре комнаты.
Выходит, ГОСТ и ASHRAE не спорят, а меряют разное. Пока воздух в комнате перемешан, температура в проходе и на входе серверов близки. Когда потоки разделяют - ставят заглушки, закрывают холодный коридор, - на входе серверов всё остаётся в пределах рекомендаций ASHRAE, а в остальной комнате становится жарче 24 °C. Серверам это не вредит, а вот если серверную принимали по ГОСТ, это стоит держать в голове.
Кроме рекомендованного, у ASHRAE есть допустимые диапазоны. Они зависят от класса оборудования, а класс - свойство сервера из его паспорта, а не характеристика комнаты:
| Класс | Допустимо на входе, °C | Влажность | Какое оборудование |
|---|---|---|---|
| Рекомендуется для всех | 18-27 | точка росы от -9 до +15 °C, не выше 70 % | любое |
| A1 | 15-32 | 8-80 %, точка росы до 17 °C | корпоративные серверы и СХД, которым нужен жёсткий климат |
| A2 | 10-35 | 8-80 %, точка росы до 21 °C | большинство стоечных серверов: стандартный рабочий диапазон 10-35 °C, как у Dell PowerEdge, соответствует именно ему |
| A3 | 5-40 | 8-85 %, точка росы до 24 °C | серверы с расширенным температурным режимом |
| A4 | 5-45 | 8-90 %, точка росы до 24 °C | то же, допуск ещё шире |
Допустимый диапазон - запас на время аварии, жить в нём постоянно не нужно. Сервер переживёт 32 °C на входе, но вентиляторы уйдут на максимум, а часть моделей начнёт писать предупреждения в журнал. Для офисной серверной разумно держать 22-24 °C: это внутри ГОСТа и с запасом внутри рекомендаций ASHRAE. Точность ±1 °C для этого не нужна.
По ГОСТ Р 58242-2018 - 30-55 %. ASHRAE задаёт влажность через точку росы: от -9 до +15 °C при относительной влажности не выше 70 %. При 22-24 °C в комнате это примерно от 10 до 60 % относительной влажности, так что ASHRAE и здесь мягче ГОСТа.
Обе границы защищают от конкретных вещей. Слишком сухо - растёт риск статического разряда, особенно когда люди в обычной обуви меняют диски и планки памяти. Слишком влажно или резкие перепады температуры - конденсат на холодных поверхностях и коррозия контактов.
Зимой при центральном отоплении влажность в офисе часто падает ниже 30 %, то есть ниже ГОСТа. Для серверов по ASHRAE это ещё допустимо, а для людей, которые работают внутри корпуса, - повод надеть антистатический браслет. Увлажнитель в серверную ради ГОСТа стоит ставить, только если соответствие ему прописано в договоре: вода рядом с оборудованием - отдельный риск.
Когда температура в серверной выходит за допустимые значения, одними из первых страдают жёсткие диски. Паспортный предел у большинства серверных HDD - 55-60 °C, причём это температура самого диска, а не воздуха в комнате: в плотной стойке с плохим обдувом диск заметно горячее воздуха перед фасадом. У границы паспорта растёт число переназначенных секторов и ошибок чтения. SSD к температуре терпимее, но при перегреве контроллер сбрасывает скорость, чтобы остыть.
Популярная фраза «каждые 5 °C сокращают ресурс диска вдвое» в рабочем диапазоне не подтверждается: Google по своему парку и Backblaze по десяткам тысяч дисков такой связи не нашли. Держать серверную при 18 °C ради дисков смысла нет.
Процессоры и видеокарты при перегреве включают троттлинг - принудительно снижают частоту, чтобы остыть. Сервер вроде работает, но медленнее: запросы обрабатываются дольше, пользователи жалуются на тормоза. Если температура растёт дальше, срабатывает защита, и сервер выключается сам. Аварийное отключение - это простой плюс риск потерять данные, которые не успели записаться на диск.
Коварнее всего рециркуляция. Горячий воздух из тыла серверов не уходит, а снова затягивается в передние воздухозаборники, через пустые юниты или поверх стойки. Оборудование греет само себя, и даже мощный кондиционер не помогает: холод до фасадов просто не доходит. Именно рециркуляция чаще всего устраивает локальный перегрев в стойке при нормальной температуре в комнате. Лечится она заглушками и разделением потоков, про это у нас есть отдельный разбор: горячие и холодные коридоры в серверной.
Ремонт или замена железа - меньшая часть цены. Простой считают из выручки, которую компания не получила, зарплаты сотрудников, которые сидят без дела, и штрафов по договорам. Прикиньте эту сумму для своей компании хотя бы грубо, она пригодится ниже. Восстановление после аварийного отключения занимает от пары часов до суток - в зависимости от того, насколько свежие резервные копии и как быстро реагирует команда.
Есть и долгосрочные эффекты. В жаркой комнате серверу приходится крутить вентиляторы быстрее: растут шум, потребление и износ самих вентиляторов. Электроника, которая годами работает у верхней границы допуска, отказывает чаще, чем в прохладе, хотя точных процентов тут никто честно не даст.
Мониторинг температуры обязателен. Для комнаты до 20 м² хватает трёх-шести датчиков: на фасадах стоек внизу, посередине и вверху, плюс один-два за стойками. Ориентир ASHRAE для машинных залов строже - шесть датчиков на стойку, три спереди и три сзади. Где именно их вешать и как не ошибиться с высотой, подробно описано в материале про расположение датчиков температуры в серверной.
Первый датчик у вас уже есть, и он бесплатный. Каждый сервер меряет температуру воздуха на входе и отдаёт её через BMC - iDRAC у Dell, iLO у HPE, IPMI у остальных. Её видно в веб-интерфейсе, а в систему мониторинга она забирается по SNMP или IPMI. Для первой проверки ничего покупать не нужно: сравните входную температуру у верхнего и нижнего сервера в стойке.
Отдельные датчики нужны, чтобы видеть комнату целиком и получать тревогу, даже когда сервер мониторинга сам лежит. UniPing server solution v3/SMS от российской NetPing - контроллер с датчиками температуры и влажности и встроенным GSM-модемом: при пропаже сети он пришлёт SMS сам. Стоит он порядка 10-20 тысяч рублей в зависимости от продавца и комплекта датчиков. testo Saveris 2 устроен иначе: это Wi-Fi-логгеры с облаком testo, SMS-оповещения идут через облако по платной лицензии, так что без интернета они не сработают.
Динамику показывают платформы мониторинга: Zabbix, PRTG, Nagios. Они собирают показания с датчиков и BMC и строят графики, на которых видно тренд. Если температура неделями ползёт вверх, это повод проверить кондиционер, пока он не сдал окончательно.
Где мерить и какие цифры считать нормой:
Частая ошибка - регулировать климат по датчику на стене у двери или по встроенному датчику кондиционера. Он показывает смесь воздуха в комнате, а сервер дышит тем, что перед его фасадом. Разница легко набегает в несколько градусов.
Автоматизация - следующий уровень. В мониторинге настраивают сценарии: при 27 °C на входе - тревога дежурному, при дальнейшем росте - включение резервного кондиционера через контроллер и корректное выключение неприоритетных машин. А вот миграцию виртуальных машин «по температуре» гипервизоры сами не делают: балансировщики vSphere DRS, Hyper-V и Proxmox раскладывают машины по загрузке хостов, а не по температуре. Увести нагрузку с горячего хоста можно, но только своим скриптом по триггеру из мониторинга.
Бытовой кондиционер в серверной ругают за дело, но не всегда справедливо. Он рассчитан на сезонную работу с паузами, держит температуру с разбросом в несколько градусов, не управляет влажностью, а без зимнего комплекта в мороз охлаждать не может или работает на пределе паспорта. Прецизионный кондиционер держит ±1 °C, работает круглый год без остановки и управляет влажностью.
Разница в цене - в разы, а прецизионнику ещё нужны трасса, наружный блок и обслуживание по регламенту. Для зала с рядом стоек это оправданные деньги. Для серверной на одну-две стойки рабочий вариант - два инверторных сплита с ротацией, резервом и зимним комплектом, о нём в следующем разделе. Сколько холода нужно именно вам, считают от тепловыделения оборудования, людей и теплопритоков через стены: методика и примеры - в статье про расчёт тепловыделения и подбор кондиционера для серверной.
Жидкостное охлаждение нужно там, где воздух уже не справляется: в плотных стойках с GPU и топовыми процессорами. Вода отводит тепло эффективнее воздуха, и стойку можно набить плотнее. Взамен нужны профессиональный монтаж и регулярное обслуживание. Для офисной серверной это пока экзотика. Где проходит граница, мы посчитали в разборе о том, где заканчивается воздушное охлаждение стойки.
Организация воздушных потоков важна не меньше, чем сам кондиционер. Холодные и горячие коридоры создают расстановкой: фасады стоек смотрят в один проход (холодный), тыл - в другой (горячий), а коридор закрывают дверями, крышей или шторами, чтобы потоки не смешивались. Это работает, когда стоек хватает хотя бы на ряд. При одной-двух стойках роль коридора выполняют заглушки в пустые юниты, перфорированная дверь и правильный разворот стойки.
Если у вас не ЦОД на 500 стоек, а серверная на 10-20 м² с парой стоек, подход должен быть рациональным. Прецизионный кондиционер почти наверняка избыточен, дорогая система мониторинга - тоже. Но и пускать на самотёк нельзя.
Минимальный набор для контроля климата в небольшой серверной:
Второй кондиционер кажется лишним ровно до того летнего вечера пятницы, когда основной остановится, а сервисная служба приедет только в понедельник.
Отдельно про питание. Серверы обычно стоят на ИБП, а кондиционер - в обычной розетке. При отключении света серверы продолжают греть комнату, а холода уже нет, и в маленьком помещении температура растёт быстро. Настройте корректное выключение серверов по сигналу ИБП, а если в здании есть второй ввод или генератор, подключите кондиционер к нему.
Регламент обслуживания тоже важен: чистка фильтров кондиционеров раз в квартал (в пыльном помещении чаще), проверка датчиков раз в полгода, контроль уплотнителей на дверях и окнах, чтобы тёплый воздух из коридора не просачивался в серверную. Это дешевле, чем устранять последствия аварии.
И не переохлаждайте. Держать серверную при 16-18 °C «на всякий случай» - значит платить за холод, который никому не нужен.
Возврат вложений в контроль температуры считается просто. Возьмите цену часа простоя, которую прикинули выше, и сравните с ценой второго кондиционера и датчиков. Если серверная обслуживает 1С, почту и файлы всей компании, один предотвращённый простой на рабочий день обычно перекрывает эти расходы. Тут хватает арифметики: оборудование покупают один раз, а авария случается тогда, когда её не ждут.
Энергосбережение - аргумент поскромнее, чем обычно пишут. Прикинем на примере. Серверы потребляют 5 кВт. Сплит-системе, чтобы снять это тепло, нужно около 1,5-2 кВт электричества, это 13-17,5 тысяч кВт·ч в год, или примерно 105-140 тысяч рублей при тарифе 8 ₽ за кВт·ч. Заглушки, правильная расстановка и уставка 24 °C вместо 18 °C срезают из этой суммы заметную часть, но в масштабе одной-двух стоек это десятки тысяч рублей в год, а не сотни. Приятно, но главная экономия - всё-таки простой, которого не случилось.
И последнее: спокойствие. Знать, что температура под контролем, что при превышении порога придёт SMS, а резервный кондиционер включится сам, - это стоит своих денег. Особенно когда вы в отпуске, а не в серверной с градусником в руке.
Напрямую ничем. СН 512-78 отменена с 2 декабря 2020 года. Климат серверной сейчас задаёт ГОСТ Р 58242-2018 (18-24 °C, влажность 30-55 %), требования к самой серверной комнате - ГОСТ Р 59316-2021. Для воздуха на входе серверов ориентир - рекомендации ASHRAE, 18-27 °C.
Нет, если на него не сослались в договоре, проекте или техзадании: национальные стандарты применяются добровольно. Но это единственный действующий российский документ с цифрами по климату серверной, поэтому на него ссылаются проектировщики и аудиторы.
Для серверов - да, если это температура на входе: 27 °C - верхняя граница рекомендаций ASHRAE. Формально воздух в помещении теплее 24 °C уже выходит за ГОСТ Р 58242-2018. Если серверную принимали по ГОСТу, держите комнату до 24 °C, если нет - ориентируйтесь на вход серверов.
Можно, оборудование от этого не пострадает: большинство стоечных серверов по паспорту работают от 10 °C. Но ниже 18 °C - это уже вне ГОСТа и рекомендаций ASHRAE, и вы платите за лишний холод. А уставка 16 °C на пульте кондиционера не означает 16 °C в комнате: сплит просто будет работать без остановки.
По ГОСТу - 18 °C в воздухе помещения. По ASHRAE допустимый минимум на входе - 15 °C для класса A1 и 10 °C для класса A2, к которому относится большинство стоечных серверов. На морозе серверы работать не рассчитаны. Если оборудование привезли с холода, дайте ему несколько часов согреться в упаковке, прежде чем включать, иначе на платах выпадет конденсат.
Собираете серверную с нуля или переезжаете в новое помещение?
Подберём серверы под вашу нагрузку, заранее посчитаем, сколько тепла они дадут, и соберём конфигурацию с тестом перед отгрузкой. Посмотрите сервер для офиса в каталоге или напишите нам: +7 (800) 551-80-12, info@ittelo.ru. Серверами мы занимаемся больше 11 лет и за это время накопили серьёзную экспертизу. Даём гарантию до 5 лет, берём сервер на постпродажное обслуживание и не пропадаем после отгрузки.
