ЦОД и Colocation: как рассчитать мощность стойки и избежать ошибок

Вы подписали договор на аренду стойки в ЦОД, разместили серверы, а через месяц получили счёт на 40% больше ожидаемого. Знакомая история? Проблема почти всегда одна — неправильный расчёт электропитания. Кто-то считает мощность по шильдикам блоков питания, кто-то забывает про PUE, а кто-то вообще не знает, как дата-центр измеряет потребление. Разберёмся, как считать правильно и на чём реально можно сэкономить.

Почему счёт за электричество удивляет

Корень проблемы — в разнице между тем, что написано в спецификациях, и тем, что происходит в реальности. ЦОД-ы измеряют мощность по-разному: одни фиксируют пиковое потребление при полной нагрузке, другие считают среднее в устоявшемся режиме, третьи — и вовсе в состоянии простоя. Вы закладываете бюджет по одной методике, а площадка тарифицирует по другой — и вот она, «неожиданная» доплата.

Среднее потребление на стойку в российских ЦОД — около 6,8 кВт с учётом PUE 1,5. Но если Вы запускаете ML-инференс или тренируете модели — стоит отдельно разобраться, как выбрать сервер для ИИ-задач: такие конфигурации требуют 20–40 кВт на стойку, а это совсем другая история с охлаждением, PDU и кабельной инфраструктурой. И тариф, разумеется, тоже другой.

Расчёт электропитания сервера: от шильдика к реальности

Допустим, у Вас стоит сервер с двумя блоками питания по 1 кВт каждый. Номинал — 2 кВт, верно? Нет. Один блок — резервный (схема N+1). Реальное потребление — до 1 кВт. Если посчитать всю стойку по номиналам, Вы завысите мощность вдвое и либо переплатите за зарезервированную ёмкость, либо арендуете лишние стойки.

Формула расчёта рабочей мощности стойки выглядит так:

P_стойки = Σ (P_реальное_сервера) × K_загрузки

где P_реальное_сервера — потребление одного БП (не суммы всех установленных), а K_загрузки — коэффициент средней утилизации (обычно 0,6–0,8 для типовых задач).

Измерять потребление лучше инструментально — токовыми клещами на вводе PDU или ваттметрами на каждом сервере. Если оборудование ещё не смонтировано, воспользуйтесь калькуляторами энергопотребления от производителей (Dell EMC, HPE и Lenovo предлагают такие утилиты). Они дают точность в пределах 10–15%, что уже гораздо лучше, чем «номинал с шильдика».

PUE: цифра, которая меняет всё

Power Usage Effectiveness — отношение полной потребляемой мощности ЦОД к мощности IT-оборудования. PUE 1,5 означает, что на каждый киловатт серверов приходится ещё 500 Вт на охлаждение, освещение, потери в ИБП и прочую инфраструктуру. Звучит терпимо, но давайте посчитаем.

Кондиционирование съедает 35–45% от IT-нагрузки. В старых площадках, где стоят прецизионные кондиционеры с фальшполом без горячих/холодных коридоров, эта цифра доходит до 55% полной мощности объекта. Добавьте 8–10% потерь на ИБП (двойное преобразование — не бесплатное удовольствие) и коэффициент 1,4 на дизель-генераторные установки. Итог: общая мощность ЦОД может оказаться в 1,8 раза выше, чем суммарное потребление IT-оборудования.

Как это выглядит в цифрах? Допустим, Ваши серверы реально потребляют 5 кВт. При PUE 1,5 площадка расходует 7,5 кВт «на Вас» — и именно за 7,5 кВт выставит счёт, если тариф привязан к полной мощности. При PUE 1,8 (что характерно для залов постройки 2010–2015 годов) расход вырастет до 9 кВт. Разница в 1,5 кВт на одной стойке за год — это ощутимые деньги.

Тип охлаждения напрямую определяет PUE. Классический фальшпол с прецизионными кондиционерами даёт PUE 1,6–2,0. Межрядные кондиционеры (in-row cooling) снижают его до 1,3–1,5 за счёт короткого пути воздуха. Жидкостное охлаждение (direct-to-chip или иммерсионное) — это уже 1,05–1,2, но оно доступно далеко не на каждой площадке и требует специальной инфраструктуры.

Для Вас как арендатора PUE влияет на стоимость киловатта. Если площадка декларирует PUE 1,5, а реально работает на 1,8 — разницу кто-то заплатит. И этот кто-то — Вы.

Физика стойки: глубина, вес и площадь

Электричество — не единственный ресурс, который нужно считать. Удельная нагрузка на пол дата-центра составляет 540–1080 Вт/м². Но «квадратные метры» — понятие обманчивое. С учётом проходов обслуживания, кабельных трасс и PDU реальная площадь на одну стойку — около 6 м². Это влияет на выбор зала и, соответственно, на colocation тарифы.

Глубина стойки — ещё одна ловушка. Стандартная серверная стойка — 1000 или 1070 мм. Но некоторые GPU-серверы (тот же NVIDIA DGX) требуют глубину 1200 мм. Если зал спроектирован под 1000 мм, Ваш сервер физически не встанет — либо выступит в горячий коридор, нарушив воздушный поток, либо не поместится вовсе. Уточняйте габариты стоек до подписания договора, а не после доставки оборудования.

Вес — отдельная тема. Стандартная стойка выдерживает 800–1500 кг статической нагрузки. Полностью забитая 42U стойка с дисковыми полками легко набирает тонну. А если Вы ставите серверы с жидкостным охлаждением или тяжёлые storage-системы, стоит заранее изучить требования к серверным помещениям, в том числе допустимую нагрузку на пол в конкретном зале. Провалиться сквозь перекрытие — сценарий из фильма ужасов, но превышение весовых лимитов вполне реально приводит к отказу площадки принять оборудование.

Оптимизация PDU: где прячутся потери

PDU (Power Distribution Unit) — это не просто «удлинитель в стойке». От его конфигурации зависит, насколько эффективно Вы используете выделенную мощность.

Базовая ошибка — ставить однофазный PDU на трёхфазный ввод и получать перекос фаз. Это снижает КПД всей цепи питания и может вызвать срабатывание защиты. Трёхфазные PDU с мониторингом (smart PDU или switched PDU) позволяют отслеживать потребление поэлементно и балансировать нагрузку между фазами.

Оптимизация PDU — это ещё и грамотная разводка. Подключайте серверы с двумя БП к разным PDU (лента A / лента B), чтобы при отказе одного PDU оборудование продолжало работать от второго. Это стандартная схема 2N, и она же даёт возможность проводить обслуживание PDU без даунтайма.

Если Вы арендуете несколько стоек — switched PDU окупается быстро. Возможность удалённо перезагрузить зависший сервер по питанию экономит и время, и деньги на выезд «рук» в дата-центр.

Colocation тарифы: фикс или счётчик

Тарификация в colocation делится на два подхода. Малые арендаторы (1–3 стойки) обычно платят фиксированную ставку за выделенную мощность — например, 3, 5 или 10 кВт на стойку. Независимо от того, сколько Вы реально потребляете, счёт одинаковый. Это удобно для прогнозирования бюджета, но неэффективно, если средняя загрузка — 40% от пика.

Крупные арендаторы (от 10 стоек и выше) чаще договариваются на оплату по счётчику. При низкой и средней нагрузке экономия достигает 30%. Но есть нюанс — нужно точно понимать профиль своего потребления. Если у Вас ночью крутятся бэкапы и пиковая нагрузка приходится на 2:00, а ЦОД тарифицирует по пику — экономия испарится.

Отдельная история — аренда не целой стойки, а юнитов. Если Вам нужно разместить 2–4 сервера, нет смысла брать стойку на 42U. Многие площадки предлагают аренду от 1U с фиксированным лимитом мощности. Цена за юнит выше в пересчёте на ватт, но абсолютные затраты ниже. Этот вариант подходит для небольших проектов, edge-нод или оборудования мониторинга.

Что стоит проверить в договоре:

• Как определяется «потреблённая мощность» — по пику, по 95-му перцентилю или по среднему за период
• Включён ли PUE в тариф или оплачивается отдельной строкой
• Есть ли штрафы за превышение выделенной мощности и каков их размер
• Условия масштабирования — можно ли добавить 2 кВт к стойке без перезаключения договора

TCO: считаем полную стоимость размещения

Аренда стойки в ЦОД — нечто большее, чем «столько-то рублей за киловатт в месяц». Полная стоимость владения (TCO) включает ещё несколько строк, которые любят забывать при планировании.

Структурированная кабельная система (СКС) — кроссировка, патч-корды, оптические линки до оператора связи. Cross-connect к провайдеру может стоить от 3 000 до 15 000 рублей в месяц за порт. Если Вам нужны два независимых аплинка от разных операторов — умножайте. А если площадка работает по модели «единственный оператор» — готовьтесь к менее гибким условиям по трафику и каналам.

Физическая безопасность — в большинстве дата-центров доступ к стойке включён в тариф, но расширенный доступ (круглосуточный без предварительной заявки, доступ для подрядчиков) может оплачиваться отдельно. «Remote hands» — услуга, когда инженер площадки выполняет физические операции по Вашей заявке, — тарифицируется поминутно или по часовой ставке. Типичная стоимость — от 1 500 до 5 000 рублей в час, причём минимум списывается за 30 минут, даже если задача заняла пять.

SLA — уровень доступности площадки. Tier III гарантирует 99,982% аптайма (примерно 1,6 часа простоя в год). Но дьявол — в деталях: что именно покрывает SLA? Только электропитание? Или ещё и сетевую связность? Каковы штрафные санкции при нарушении? Иногда компенсация за час простоя — это возврат стоимости услуг за тот же час. Не за убытки бизнеса, а за стоимость аренды. Внимательно читайте приложение к договору.

Масштабирование — Вы арендуете 2 стойки, через полгода нужны 4. Есть ли свободные места рядом? Можно ли «дорастить» мощность в текущем зале? Или придётся переезжать в другой модуль — с даунтаймом и расходами на монтаж?

Все эти позиции складываются в реальный TCO, который может отличаться от «базового тарифа» на 25–40%.

Как не переплатить: чеклист перед арендой

Перед тем как подписывать договор на colocation, пройдитесь по этому списку:

• Измерьте (или рассчитайте через калькулятор вендора) реальное потребление каждого сервера. Считайте по одному БП, а не по сумме всех установленных
• Узнайте PUE площадки — не декларируемый, а фактический. Попросите данные мониторинга за последние 6 месяцев
• Проверьте глубину стоек и допустимый вес на юнит. Для GPU-серверов это критично
• Запросите методику измерения потребляемой мощности и образец счёта
• Сравните colocation тарифы минимум трёх площадок с учётом всех дополнительных расходов (cross-connect, remote hands, SLA)
• Заложите резерв 15–20% на рост нагрузки. Не 50% — иначе переплатите. Не 5% — иначе упрётесь через квартал

Расчёт электропитания сервера — это не разовое упражнение на этапе выбора площадки. Нагрузки меняются, оборудование обновляется, бизнес масштабируется. Через полгода после размещения профиль потребления Вашей стойки может выглядеть совсем иначе: добавились GPU-ускорители, выросли объёмы данных, появились новые сервисы. Регулярный мониторинг потребления (хотя бы раз в квартал — снимайте показания с PDU и сверяйте со счетами) и пересмотр договорных условий раз в год — нормальная инженерная практика, которая позволяет держать расходы под контролем.

И последнее. Colocation — это партнёрство. Вы доверяете площадке электропитание, охлаждение и физическую безопасность своего оборудования. Чем лучше Вы понимаете, как устроена тарификация и где прячутся скрытые расходы, тем проще вести диалог с дата-центром на равных. А это — лучшая страховка от неприятных сюрпризов в счетах.