Эксперты в подборе IT-оборудования
Инженерная инфраструктура ЦОД - это всё, что обеспечивает работу серверов, но само вычислениями не занимается: электропитание с резервированием, охлаждение, вентиляция, пожаротушение, контроль доступа, мониторинг. Серверы в этой конструкции - полезная нагрузка, а инженерка определяет, сколько этой нагрузки зал вытянет и как долго проработает без остановки.
Разговор о ней обычно начинают со стандартов и уровней Tier. Начнём с более практичного вопроса: что именно входит в инженерную инфраструктуру, что произойдёт при отказе каждой части и что из этого касается компании, у которой не дата-центр, а комната с тремя стойками.
Коротко. В России инженерную инфраструктуру ЦОД регулируют ГОСТ Р 58811-2020 и ГОСТ Р 58812-2020, действующие с 1 августа 2020 года; международный ориентир - TIA-942 и уровни Tier от Uptime Institute. Состав систем стандартный: питание, охлаждение, вентиляция, пожаротушение, контроль доступа, мониторинг. Главное, что изменилось за последние годы, - плотность стоек: то, что проектировалось под 5-10 кВт, сегодня не тянет нагрузки, которые дают серверы с видеокартами.
Стандартов три группы, и путать их не стоит - они отвечают на разные вопросы.
Российские ГОСТы. С 1 августа 2020 года действуют два национальных стандарта, названия которых дословно совпадают с темой этой статьи:
Для российского заказчика это не формальность. Если ЦОД строится по госконтракту, для компании с госучастием или под объект критической информационной инфраструктуры, ссылка на национальный стандарт в техническом задании оказывается обязательной, а не желательной.
Международные стандарты. Основной - американский TIA-942, описывающий требования к телекоммуникационной инфраструктуре дата-центров: планировка, кабельные системы, электропитание, охлаждение, физическая защита. Европейский ориентир - серия EN 50600, где объект разобран по частям: площадка, здание, электропитание, климат, безопасность. Кабельную часть отдельно закрывает EN 50173-5.
Классификация надёжности. Уровни Tier от Uptime Institute - это не стандарт проектирования, а система оценки того, что получилось. Про них ниже.
Частая путаница в техзаданиях: TIA-942 и Tier смешивают в одну строку вида «ЦОД уровня Tier III по TIA-942». Это разные документы разных организаций. TIA-942 описывает, как строить; уровни Tier принадлежат Uptime Institute и присваиваются по результатам сертификации. В TIA-942 есть собственные ранги надёжности, но обозначаются они иначе, и подменять одно другим в договоре - способ получить спор при приёмке.
Набор систем одинаков и для большого ЦОД, и для серверной комнаты - отличается глубина резервирования. Полезнее смотреть на них не списком, а вместе с ответом на вопрос «что будет, если это откажет».
| Система | Что делает | Что происходит при отказе |
|---|---|---|
| Электропитание и ввод | Подводит мощность, распределяет по стойкам | Остановка всего зала. Самая частая причина крупных простоев |
| ИБП | Держит нагрузку в момент пропадания сети | Оборудование выключается мгновенно, без корректного завершения работы. Риск потери данных и повреждения массивов |
| Дизель-генератор (в крупных ЦОД) | Питание на длительное отключение | Работа ограничена временем автономии ИБП - минуты, а не часы |
| Охлаждение (кондиционирование) | Отводит тепло от оборудования | Температура растёт за минуты. Сначала троттлинг и падение производительности, затем аварийное отключение по перегреву |
| Вентиляция | Воздухообмен в помещении, приток свежего воздуха | Нарушается работа людей в зале и удаление продуктов горения; на само охлаждение стоек влияет косвенно |
| Организация воздушных потоков | Разделение горячей и холодной зон, заглушки в стойках | Горячий воздух возвращается на вход серверам, кондиционер работает вхолостую |
| Газовое пожаротушение | Тушение без ущерба для электроники | Остаётся только водяное или порошковое - то есть потеря оборудования вместе с пожаром |
| Охранно-пожарная сигнализация | Раннее обнаружение задымления и проникновения | Проблему замечают поздно |
| Контроль доступа | Ограничение физического доступа к стойкам | Физический доступ к серверу обходит любую программную защиту |
| Мониторинг и диспетчеризация | Датчики температуры, влажности, питания, протечек | Об аварии узнаёте от пользователей, а не от системы |
| СКС (кабельная система) | Связность оборудования, маркировка, трассы | Каждое изменение превращается в расследование |
Отдельная строка - контур жидкостного охлаждения, если в зале стоят серверы с водоблоками. Тогда добавляются насосно-теплообменная станция, трубопроводы и датчики протечек, а требования к полу и к порядку обслуживания меняются.
Логика простая: серверы потребляют электричество и целиком превращают его в тепло. Стойка на 10 кВт - это 10 кВт тепла, которые нужно откуда-то забрать. Инженерная инфраструктура существует, чтобы подвести мощность и вынести тепло, а всё остальное - защита от того, что этот процесс прервётся.
Сроки, о которых стоит помнить, короткие. При отказе охлаждения в плотно заполненном зале температура выходит за допустимый диапазон за считаные минуты, а не часы: воздуха в помещении мало, а тепловыделение большое. Автономия типового ИБП без генератора - тоже минуты. Именно поэтому мониторинг и оповещение относятся к инженерке, а не к «приятным дополнениям»: у администратора должно быть время доехать или хотя бы корректно погасить нагрузку.
Второй пласт - физическая безопасность. Доступ к стойке обходит любую программную защиту: диск можно вынуть, консоль подключить, оборудование унести. Поэтому контроль доступа стоит в одном ряду с питанием и охлаждением, а не в разделе «по возможности» в конце сметы.
Слово «ЦОД» одинаково применяют к машинному залу на тысячу стоек и к комнате с двумя шкафами, и от этого возникает путаница в требованиях. Встречаются три сценария, и инженерка у них разная.
Серверная комната в офисе. Три-пять стоек, суммарно 15-35 кВт. Отдельного ввода и генератора обычно нет, резервирование - на уровне ИБП и второго кондиционера. Соответствие Tier здесь волнует мало, важнее базовые вещи: выделенная линия питания с заземлением, отдельный щит, кондиционер с запасом и контролем, датчики температуры внутри стоек, газовое пожаротушение и замок с журналом доступа. Требования к самому помещению разбирали отдельно - что должно быть в серверной комнате и как определить класс помещения.
Аренда стойки в коммерческом ЦОД. Инженерка становится чужой зоной ответственности, а ваша задача - правильно прочитать договор: какая мощность на стойку выделена, какое резервирование питания заявлено, кто отвечает за охлаждение при превышении. Разбор этой развилки - в материале про колокейшн вместо своей серверной.
Собственный ЦОД. Отдельное здание или выделенный этаж, два независимых ввода, дизель-генераторы, полноценная система холодоснабжения. Это уровень крупных компаний и провайдеров: подход и бюджет здесь принципиально другие. Что входит в такой проект - в разборе, как собрать дата-центр.
Ошибка, которая дорого обходится среднему бизнесу, - проектировать серверную комнату по требованиям большого ЦОД. Дизель-генератор и второй ввод для комнаты на три стойки почти никогда не окупаются; деньги в этом масштабе лучше работают в кондиционировании с резервом, в мониторинге и в нормальном ИБП.
Уровни Tier от Uptime Institute описывают, насколько инфраструктура устойчива к обслуживанию и отказам. Различают их по двум свойствам: можно ли обслуживать элементы без остановки нагрузки и переживает ли объект отказ элемента. Перечень оборудования тут вторичен.
| Уровень | Суть | Ориентир по простою в год |
|---|---|---|
| Tier I | Базовая инфраструктура без резервирования. Любое обслуживание - остановка | около 28-29 часов |
| Tier II | Резервируются отдельные компоненты, но пути подачи по-прежнему одиночные | около 22 часов |
| Tier III | Любой элемент можно обслужить или заменить без остановки нагрузки | около 1,6 часа |
| Tier IV | Объект переживает отказ любого одного элемента без влияния на нагрузку | около 0,4 часа |
Цифры простоя - широко цитируемые ориентиры, а не гарантия из договора: реальная доступность зависит от эксплуатации не меньше, чем от проекта. И вопреки распространённому мнению, Tier I не «устарел»: для некритичных задач он остаётся осмысленным выбором, просто заказчик должен понимать, что плановое обслуживание означает остановку.
Подробный разбор уровней, включая то, как проходит сертификация и чем отличается сертификат на проект от сертификата на построенный объект, - в отдельной статье про уровни Tier для дата-центров.
Главное изменение в инженерке ЦОД за последние годы принесли не стандарты. Его принёс рост тепловыделения.
В 2010 году типовая стойка потребляла порядка 5 кВт, к 2020-му - 10-20 кВт, и под эти цифры спроектировано большинство существующих залов. Стойки под задачи искусственного интеллекта сегодня выходят на 120-130 кВт и поставляются только в жидкостном исполнении: воздушного варианта для них не существует, потому что прогнать через стойку нужный объём воздуха физически невозможно.
Для владельца обычной серверной это значит вот что. Пока в стойках стоят стандартные серверы, воздушного охлаждения хватает - и правильнее вложиться в организацию потоков, чем в экзотику. Но как только в одну стойку ставят пару серверов с видеокартами, она перестаёт вписываться в проект: соседи по пять киловатт, а эта на двадцать. Дальше либо изоляция коридора и доводочный кондиционер, либо теплообменник на задней двери стойки.
До любого решения полезно посчитать, сколько тепла реально выделяет ваше оборудование, - расчёт тепловыделения серверной часто показывает, что до потолка воздуха ещё далеко. А если речь про аренду в ЦОД, отдельно стоит проверить, какую мощность на стойку вам реально выделили: договор на 5 кВт и сервер с двумя видеокартами - несовместимая пара.
Проект начинается с двух цифр: тепловая нагрузка и требуемая доступность. Оборудование выбирается уже под них. Из них выводится всё остальное: мощность ввода, тип и запас охлаждения, глубина резервирования, площадь.
Что фиксируется на входе:
Про охлаждение стоит сказать отдельно, потому что здесь чаще всего ошибаются. Естественная вентиляция в машинном зале решает другую задачу - воздухообмен для людей и удаление продуктов горения. Стойки она не охлаждает. Тепло от оборудования выносит система охлаждения: кондиционеры точного климата, фрикулинг там, где позволяет климат, жидкостный контур при высокой плотности. Проектировать зал в расчёте на то, что «продует», нельзя. Как устроены системы для больших залов, разбирали в материале про кондиционирование ЦОД.
И про питание: ИБП в серверной комнате нужен, чтобы корректно завершить работу или дождаться генератора, а вовсе не пережить долгое отключение. Подбирать его по времени автономии без ответа на вопрос «что мы успеем сделать за это время» - распространённая ошибка.
Электропитание с резервированием и ИБП, охлаждение и организация воздушных потоков, вентиляция, газовое пожаротушение, охранно-пожарная сигнализация, контроль доступа, мониторинг и диспетчеризация, структурированная кабельная система. При жидкостном охлаждении добавляется контур теплоносителя с насосной станцией и контролем протечек.
ГОСТ Р 58811-2020 «Центры обработки данных. Инженерная инфраструктура. Стадии создания» и ГОСТ Р 58812-2020 «Центры обработки данных. Инженерная инфраструктура. Операционная модель эксплуатации. Спецификация». Оба действуют с 1 августа 2020 года: первый про создание объекта, второй про его эксплуатацию.
TIA-942 - стандарт проектирования телекоммуникационной инфраструктуры дата-центра. Уровни Tier - система классификации надёжности от Uptime Institute, которая присваивается по результатам сертификации. Это документы разных организаций, и формулировка «Tier III по TIA-942» некорректна.
Считать надо от конкретного оборудования - нормативной цифры тут нет. Ориентиры такие: стандартные серверы - 5-10 кВт на стойку, плотная виртуализация - до 15-20, стойка с серверами под видеокарты легко выходит за 20-30, а специализированные ИИ-стойки - за 100. Последние воздухом не охлаждаются в принципе.
Почти никогда. На этом масштабе деньги эффективнее работают в резервировании кондиционирования, нормальном ИБП и мониторинге. Генератор имеет смысл, когда простой стоит дороже его обслуживания, - и такой расчёт стоит сделать до покупки, а не после.
Рекомендованный диапазон - 18-27 °C на входе в оборудование. Мерить нужно именно там, измерение в углу у двери ничего не даёт: разница между входом в стойку и «средней температурой по комнате» бывает существенной.
По теме: как работают серверы в дата-центрах · горячие и холодные коридоры в серверной · нормы температуры в серверной по ГОСТ
Считаете мощность и охлаждение под новую серверную?
Инженеры ITTELO подберут оборудование под ваши ограничения по питанию и теплу, посчитают нагрузку на стойку с запасом на рост, соберут и протестируют конфигурацию перед отгрузкой, с гарантией и поддержкой после продажи. На рынке серверов 11+ лет.
