Серверы в дата-центрах: как они работают?

Дата-центр (ЦОД, центр обработки данных) - это оборудованное здание или зал, где стоят сотни и тысячи серверов, а рядом с ними работают системы питания, охлаждения, сети и безопасности, которые держат всё это в строю круглосуточно. Если совсем просто: когда вы открываете почту, смотрите видео или платите картой, запрос уходит на сервер в каком-то дата-центре и возвращается ответом за доли секунды.

Серверы - сердце дата-центра, но в одиночку они не работают: их обслуживает целый набор инженерных систем. Разберём, как устроен дата-центр изнутри и какую роль в нём играет серверное оборудование. А как работает сам сервер внутри, от процессора до отклика на запрос, разбираем отдельно.

Что такое дата-центр и зачем он нужен

Дата-центр решает три задачи: хранить данные, обрабатывать запросы и отдавать результат пользователям без перерывов. Чтобы тысячи серверов работали стабильно, вокруг них выстроена инфраструктура - бесперебойное питание, охлаждение, резервные каналы связи и физическая защита. Формальные требования к надёжности описывает классификация Tier - о ней подробно в материале про уровни Tier для дата-центров.

Масштаб у ЦОД очень разный - от небольшого зала на пару стоек до гигантских площадок. Ориентиры по крупным объектам:

Одна из крупнейших площадок в мире - China Telecom во Внутренней Монголии (Китай), её площадь оценивают почти в 1 млн м². Но даже небольшой корпоративный ЦОД на десяток стоек - это сложный инженерный объект, где у каждого сервера своя задача: одни хранят данные в нескольких копиях, другие обрабатывают запросы, третьи отвечают за безопасность и координацию. Перебой в работе крупного дата-центра моментально чувствуют миллионы пользователей - поэтому надёжность здесь на первом месте.

Какие серверы стоят в дата-центрах

Выбор оборудования зависит от задач: где-то важна плотность размещения, где-то - вычислительная мощность или объём дисков.

Стоечные серверы (rack-mount)

Базовый формат дата-центра. Корпус стандартизирован по высоте и измеряется в юнитах: 1U = 4,445 см. Благодаря стандарту оборудование разных вендоров совместимо и собирается в стойку как единый комплекс.

• 1U - самые компактные. Подходят для веб-хостинга и нетяжёлых задач; в стандартную стойку помещается до 42 таких серверов.
• 2U - универсальный формат: больше места под диски и резервные блоки питания.
• 4U - под базы данных и тяжёлые вычисления, вмещают много процессоров и накопителей.
• 5U и выше - специализированные платформы, например под ИИ-задачи с 8-16 видеокартами.

Высокоплотные серверы (dense)

Когда нужно упаковать максимум мощности в минимум места:

• Twin-серверы - два независимых сервера в одном корпусе, делят только шасси и питание.
• Multi-node - до 8 независимых узлов в корпусе высотой 2U.
• GPU-системы - платформы для ИИ и машинного обучения, до 8 видеокарт в одном корпусе.

Блейд-системы

Блейд-сервер («лезвие») - тонкий сервер, который вставляется в общее шасси. В одно шасси помещается до 16 блейдов, каждый можно заменить за минуту, не отключая остальные. Общими остаются блоки питания с резервированием, охлаждение, модули управления и встроенные коммутаторы (внутренняя сеть до 100 Гбит/с). Подробнее о компромиссах формата - в разборе блейд-системы в современном ЦОД.

Модульные серверы

Гибрид стоечных и блейд-систем: общая инфраструктура питания и охлаждения, но независимые вычислительные модули, которые меняются под задачу. За счёт общих систем модульные платформы экономят электроэнергию по сравнению с набором отдельных серверов и поддерживают горячую замену компонентов.

Сравнение форматов в одной таблице:

Идеального формата под все задачи нет - выбор всегда баланс между производительностью, стоимостью и удобством обслуживания.

Сетевая инфраструктура

Если серверы - вычислительная часть дата-центра, то сеть связывает их между собой и с внешним миром. Через неё каждую секунду проходят огромные объёмы данных, поэтому сеть строят многоуровневой.

За проводами и коммутаторами в современных сетях стоят и более умные механизмы:

• SDN (Software-Defined Networking) - управление всей сетью через единый программный интерфейс.
• Балансировка нагрузки - если маршрут перегружен, трафик автоматически идёт по резервному.
• Защита от петель и сбоев и мониторинг состояния в реальном времени.

Виртуализация и облачные технологии

Раньше под каждую задачу брали отдельный сервер: бухгалтерия на одном, почта на другом, сайт на третьем - и большую часть времени железо простаивало. Виртуализация это изменила.

Как работает виртуализация

На одном физическом сервере запускается несколько виртуальных машин (VM). Каждая VM работает как отдельный компьютер, хотя делит ресурсы с соседями. Что это даёт:

• один мощный сервер заменяет 5-10 слабых;
• новую VM разворачивают за минуты, а не за дни на закупку железа;
• мощность масштабируется добавлением ресурсов;
• VM целиком копируется на другой сервер - это удобно для резервирования.

Сколько ресурсов закладывать под виртуальные машины, мы разбираем в материале про системные требования Proxmox.

Контейнеры

Следующий шаг - контейнеры. Они легче VM, потому что используют общую операционную систему. Docker упаковывает приложение со всеми зависимостями в один контейнер, а Kubernetes распределяет контейнеры по серверам, следит за ними и перезапускает при сбоях. При всплеске нагрузки (например, на новостном сайте во время крупного события) Kubernetes автоматически добавляет контейнеры, а когда нагрузка спадает - убирает лишние.

Облачные модели

Дата-центры лежат в основе облачных сервисов. Их делят на четыре модели по уровню готовности:

Безопасность дата-центра

Защита ЦОД складывается из двух частей.

Физическая безопасность: биометрический контроль доступа, круглосуточная охрана, видеонаблюдение, датчики движения и вторжения.

Кибербезопасность: межсетевые экраны нового поколения, системы обнаружения и предотвращения вторжений (IDS/IPS), антивирусная защита, шифрование данных и защита от DDoS-атак.

Энергоэффективность и экология

Дата-центры - заметный потребитель электроэнергии: по данным IEA, в 2024 году на них пришлось около 1,5% мирового потребления электричества, и доля быстро растёт - к 2030 году прогнозируют до 3% на фоне спроса на ИИ-вычисления. Поэтому индустрия вкладывается в снижение расхода энергии:

• возобновляемые источники питания;
• оптимизация охлаждения (эффективность оценивают коэффициентом PUE);
• рекуперация тепла - отведённое от серверов тепло используют повторно;
• умное управление питанием и модернизация оборудования.

Грамотно спроектированное охлаждение и питание - отдельная инженерная задача; как она решается, разбираем в статье про инженерную инфраструктуру ЦОД.

Куда движется индустрия

Главный тренд - всё больше управления берёт на себя автоматика и искусственный интеллект: предиктивное обслуживание (система предсказывает отказ железа до сбоя), оптимизация энергопотребления и автоматическое масштабирование под нагрузку. Параллельно растёт плотность - под ИИ-нагрузки строят стойки с жидкостным охлаждением и потреблением в десятки киловатт.

Дата-центры - технологическая основа цифрового мира: каждое приложение, видео или платёж где-то проходит через их серверы. И собрать собственный ЦОД с нуля - тоже выполнимая задача; по шагам это разобрано в гайде как собрать дата-центр.

Короткие ответы на частые вопросы

Что такое дата-центр простыми словами?
Это здание или зал, где стоят сотни и тысячи серверов вместе с системами питания, охлаждения и связи. Здесь хранятся и обрабатываются данные сайтов, приложений и сервисов, которыми мы пользуемся каждый день.

Чем дата-центр отличается от сервера?
Сервер - это одна вычислительная машина. Дата-центр - площадка, где таких серверов сотни или тысячи, плюс вся инженерная обвязка, чтобы они работали без перерывов.

Сколько серверов в дата-центре?
Зависит от размера: от нескольких десятков в небольшом корпоративном ЦОД до десятков тысяч в крупном. В одной стандартной стойке размещается до 42 серверов формата 1U.

Что такое стойка и юнит?
Стойка - это шкаф, в который вертикально устанавливают серверы. Юнит (U) - единица высоты оборудования, 1U = 4,445 см. Стандартная стойка рассчитана на 42U.

Чем ЦОД отличается от облака?
ЦОД - это физическая площадка с оборудованием. Облако - сервис аренды вычислительных ресурсов, который работает поверх дата-центров. Когда вы арендуете облачный сервер, физически он стоит в чьём-то ЦОД.