Балансировка нагрузки - это распределение запросов между несколькими серверами, чтобы ни один не перегружался, а сервис оставался доступным, даже когда один из серверов вышел из строя. Перед группой серверов ставят балансировщик: он принимает входящие запросы и раздаёт их по выбранному правилу. В итоге сайт или приложение держит больше пользователей и не падает целиком из-за одного сбоя.
Ниже - какие бывают методы, чем отличаются L4 и L7, как балансировщик узнаёт об упавшем сервере, как выглядит рабочий конфиг nginx и HAProxy и сколько железа нужно под саму пару балансировщиков.
Один сервер - это и потолок по нагрузке, и единая точка отказа. Когда запросов больше, чем он тянет, пользователи получают тормоза и ошибки. А если он падает, сервис недоступен целиком. Балансировка решает обе задачи сразу:
Главное деление - по уровню модели OSI, на котором балансировщик принимает решение, куда отправить запрос.
Балансировка L4 (транспортный уровень). Балансировщик смотрит только на IP-адреса и порты, не вникая в содержимое. Он быстрый и нетребовательный: просто перебрасывает TCP- или UDP-соединение на один из серверов. Минус - не знает, что внутри запроса, поэтому не умеет маршрутизировать по URL или типу контента. Так балансируют базы данных, почтовые протоколы, RDP и всё, что не HTTP.
Балансировка L7 (прикладной уровень). Балансировщик разбирает сам запрос: видит HTTP-заголовки, URL, cookie. Можно слать запросы к /api на одни серверы, а статику на другие, держать пользователя на одном сервере, завершать на балансировщике шифрование HTTPS. По сути L7-балансировщик - это обратный прокси-сервер, который умеет раздавать запросы на несколько серверов. Платой за гибкость идёт нагрузка на сам балансировщик: ему приходится расшифровывать и разбирать каждый запрос.
| L4 | L7 | |
|---|---|---|
| На что смотрит | IP-адрес и порт | URL, заголовки, cookie, имя сайта |
| Что балансирует | Любой TCP/UDP-трафик: базы, почта, RDP, DNS | HTTP и HTTPS, gRPC, WebSocket |
| HTTPS | Пропускает зашифрованным, сертификат на серверах | Может расшифровать на себе и снять эту работу с серверов |
| Нагрузка на балансировщик | Низкая | Выше, особенно с шифрованием |
| Чем делают | HAProxy в режиме TCP, nginx stream, LVS | nginx, Angie, HAProxy в режиме HTTP |
Коротко: L4 - быстро и просто, по адресам и портам. L7 - гибко, по содержимому запроса. Для веб-приложений почти всегда нужен L7.
Иногда упоминают ещё балансировку на уровне L3 и схему DSR (прямой ответ сервера). Балансировщик пропускает через себя только входящие пакеты, а сервер отвечает клиенту напрямую, минуя его. Это экономит пропускную способность балансировщика, когда ответы намного тяжелее запросов, например при раздаче видео. Для офисных задач и обычных сайтов такая схема избыточна: настраивать её сложнее, а выигрыш виден только на больших потоках.
Внутри балансировщика работает алгоритм, по которому он выбирает сервер для очередного запроса.
| Метод | Как работает | Когда подходит |
|---|---|---|
| Round-robin (по кругу) | Запросы раздаются серверам по очереди | Серверы примерно одинаковые, запросы однотипные |
| Weighted (с весами) | Мощным серверам - больше запросов | Серверы разной мощности, например новый и старый |
| Least connections | Запрос идёт на сервер с наименьшим числом активных соединений | Запросы разной длительности: отчёты, выгрузки, долгие API-вызовы |
| IP hash | Сервер выбирается по адресу клиента - один клиент всегда на одном сервере | Нужна привязка сессии без cookie |
| Consistent hashing | Сервер выбирается по ключу (например, URL). При добавлении или выходе сервера перераспределяется только часть ключей | Кэширующие серверы: кэш не обнуляется целиком при изменении группы |
| Random two choices | Берутся два случайных сервера, запрос уходит на менее загруженный из них | Несколько балансировщиков работают параллельно и не знают о нагрузке друг друга |
Отдельно стоит привязка сессии (sticky session): балансировщик запоминает, на каком сервере «живёт» пользователь, и держит его там. Это нужно, когда сессия хранится на самом сервере, а не в общей базе. Правильнее выносить сессии в общее хранилище, например Redis или базу данных. Тогда привязка не нужна, и любой сервер обслужит любого клиента.
Если не знаете, с чего начать, берите least connections. Он ведёт себя как round-robin, пока запросы одинаковые, и сам подстраивается, когда какой-то сервер начинает отвечать медленнее. Round-robin стоит оставить для случая, когда серверы и запросы действительно одинаковые.
Балансировщик полезен ровно настолько, насколько быстро он замечает упавший сервер. Проверки бывают двух видов, и от того, какие есть в вашем ПО, зависит, увидят ли пользователи ошибку.
Балансировщик следит за реальными запросами пользователей. Если сервер несколько раз подряд не ответил или вернул ошибку, его на время исключают из группы. Минус очевиден: о сбое узнают по запросам живых людей, и часть из них получит ошибку. Так работает бесплатный nginx: параметры max_fails и fail_timeout задают, сколько неудач за какое время выключают сервер.
Балансировщик сам раз в несколько секунд обращается к каждому серверу, например запрашивает страницу /health, и выключает сервер раньше, чем на него попадёт пользователь. В HAProxy активные проверки есть в бесплатной версии. В nginx они доступны только в платном NGINX Plus, в Angie - в коммерческой Angie PRO.
Хорошая страница проверки заодно смотрит, достучалось ли приложение до базы данных. Если она отчитывается только за веб-сервер, балансировщик будет честно слать людей на сервер, который отвечает «200 OK» и всё равно ничего не может.
Минимальный рабочий вариант на nginx: три сервера приложения, распределение по наименьшему числу соединений, третий сервер - резервный, получает запросы только если первые два недоступны. HTTPS заканчивается на балансировщике.
upstream app {
least_conn;
server 10.0.0.11:8080 max_fails=3 fail_timeout=30s;
server 10.0.0.12:8080 max_fails=3 fail_timeout=30s;
server 10.0.0.13:8080 backup;
}
server {
listen 443 ssl;
server_name app.example.ru;
ssl_certificate /etc/nginx/ssl/app.crt;
ssl_certificate_key /etc/nginx/ssl/app.key;
location / {
proxy_pass http://app;
proxy_set_header Host $host;
proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
proxy_next_upstream error timeout http_502 http_503;
}
}
Строка proxy_next_upstream отправляет запрос на следующий сервер, если первый не ответил или вернул 502/503. Это и есть пассивная проверка в действии: пользователь ошибку не увидит, увидит только небольшую задержку. Заголовок X-Forwarded-For передаёт приложению настоящий адрес клиента, иначе в логах серверов будет только адрес балансировщика.
То же на HAProxy, но с активной проверкой: каждые 2 секунды балансировщик запрашивает /health, после трёх неудач подряд сервер выключается, после двух удачных возвращается. HTTPS здесь для краткости опущен, в рабочей схеме он настраивается в секции frontend так же, как в nginx.
defaults
mode http
timeout connect 5s
timeout client 30s
timeout server 30s
frontend web
bind *:80
default_backend app
backend app
balance leastconn
option httpchk GET /health
http-check expect status 200
server app1 10.0.0.11:8080 check inter 2s fall 3 rise 2
server app2 10.0.0.12:8080 check inter 2s fall 3 rise 2
Балансировку делают двумя путями.
Программный балансировщик - это ПО на обычном сервере или виртуальной машине: nginx, HAProxy, Angie. Гибко, дёшево (open-source), легко масштабируется. Для большинства задач бизнеса этого хватает с запасом. Angie - российский форк nginx от бывших разработчиков nginx, конфиги nginx в нём работают почти без правок, а коммерческая Angie PRO подходит компаниям, которым нужно отечественное ПО. Чем nginx отличается от Apache как веб-сервер, разобрано в статье Apache или nginx.
Аппаратный балансировщик - отдельное устройство, часто со специализированными микросхемами для обработки трафика. Высокая производительность, встроенная защита от атак, поддержка вендора, но дорого и менее гибко. Оправдан в крупных нагруженных инфраструктурах, где счёт идёт на десятки тысяч запросов в секунду.
Есть и третий путь - облачный балансировщик у провайдера. Он удобен, когда серверы уже стоят в том же облаке. Для своих серверов в офисе или в стойке в ЦОД он не подходит.
Для малого и среднего бизнеса почти всегда выбирают программный вариант: nginx или HAProxy на паре серверов закрывают потребности и стоят только времени на настройку.
Тонкий момент: если балансировщик один, то при его падении не работает вообще ничего, как бы вы ни резервировали серверы за ним. Поэтому сам балансировщик тоже резервируют.
Классическая схема - два балансировщика в режиме «активный - резервный» с общим виртуальным IP-адресом. На Linux это обычно делает keepalived по протоколу VRRP. Активный узел раз в секунду сообщает резервному, что жив. Если сообщения пропали, резервный забирает виртуальный адрес себе, и через несколько секунд сервис снова отвечает. Минимальный конфиг на активном узле:
vrrp_instance VI_1 {
state MASTER
interface eth0
virtual_router_id 51
priority 100
advert_int 1
virtual_ipaddress {
10.0.0.10/24
}
}
На резервном узле всё то же, но state BACKUP и приоритет ниже, например 90. В реальной схеме добавляют проверку, жив ли сам nginx или HAProxy: иначе keepalived будет держать адрес на узле, где сервер работает, а балансировщик упал.
Ещё проще, но грубее - балансировка через DNS (round-robin DNS): одному имени соответствует несколько IP, и клиенты расходятся по серверам. Дёшево, но DNS не знает, какой сервер упал, и может слать клиентов на мёртвый адрес, пока не истечёт кэш у них и у провайдера. Как самостоятельное решение для бизнеса слабовато, как дополнение - годится.
Сам балансировщик нетребователен: он не хранит данные и почти не считает. Под офисный портал, сайт компании или внутренние веб-сервисы обычно хватает двух небольших узлов по 2-4 ядра и 4-8 ГБ памяти. Ресурсы начинают расти в трёх случаях:
Главное требование к паре балансировщиков - они не должны жить на одном физическом сервере. Две виртуальные машины на одном хосте падают вместе с ним, и резервирование превращается в видимость. Подойдут две виртуальные машины на разных хостах или два компактных сервера 1U с питанием от разных линий.
Балансировка ассоциируется с веб-сайтами, но в офисной инфраструктуре её задачи выглядят иначе, и часть из них решается вовсе не nginx.
1С. Отдельный балансировщик перед кластером серверов 1С не ставят: клиент подключается к агенту сервера, а дальше кластер сам распределяет сеансы по рабочим процессам и серверам. Как именно он это делает и что настраивается, разобрано в статье про балансировку нагрузки кластера 1С. Внешний балансировщик уместен только перед несколькими веб-серверами, через которые опубликован веб-клиент 1С.
Терминальные серверы. В ферме Windows RDS новые сессии между серверами распределяет посредник подключений (Connection Broker). Он же возвращает пользователя в его отключённую сессию. Обычный балансировщик этого не умеет и открыл бы новую сессию на соседнем сервере.
Базы данных. Запись почти всегда идёт в один основной сервер, а на реплики можно раздать только чтение: отчёты, аналитику, выгрузки. Балансировщик, который не знает, где основной сервер, а где реплика, может отправить запись не туда. Поэтому для PostgreSQL и MySQL используют решения, которые понимают репликацию, или делят чтение и запись на уровне приложения.
Два интернет-канала. Балансировка между двумя провайдерами - другая задача, её решает роутер или межсетевой экран, балансировщик серверов тут ни при чём.
Нет, хотя их часто путают. Балансировка распределяет нагрузку. Кластер - понятие шире: серверы объединены для совместной работы и могут как балансировать нагрузку, так и подхватывать задачи друг друга при отказе. Балансировка нагрузки - один из механизмов, на которых строится отказоустойчивый кластер. Чем схема «активный - активный» отличается от «активный - пассивный» и что стоит за обещанием 99,99% доступности, разобрано в статье про кластеризацию и высокую доступность. Как балансировка вписывается в архитектуру больших нагруженных систем - в материале про высоконагруженные системы и highload.
Не каждому сервису она требуется. Если приложением пользуются несколько человек, а простой на полчаса не критичен, балансировщик - лишнее усложнение. Сначала убеждаются, что нагрузка действительно упирается в один сервер, и только потом масштабируются вширь: для этого проводят нагрузочное тестирование. Часто узкое место оказывается в базе данных или в медленном диске, и второй сервер приложения ничего не даёт. Преждевременная балансировка добавляет точек отказа и работы администратору на ровном месте.
Балансировка нагрузки распределяет запросы между серверами ради масштабирования и отказоустойчивости. L4 работает по адресам и портам (быстро), L7 - по содержимому запроса (гибко, нужно для веба). По умолчанию разумно брать least connections, привязку сессии - только когда сессии нельзя вынести в общее хранилище. Без активных проверок здоровья о сбое узнают пользователи, поэтому их стоит включить. Для бизнеса обычно хватает nginx, Angie или HAProxy, а сам балансировщик резервируют парой «активный - резервный» на keepalived и держат узлы на разных физических серверах.
L4 распределяет соединения по IP-адресам и портам, не заглядывая внутрь запроса - это быстро и просто. L7 разбирает сам запрос (URL, заголовки, cookie) и маршрутизирует по содержимому - это гибче и нужно для веб-приложений, но сильнее нагружает балансировщик.
Для большинства задач - программный: nginx, Angie или HAProxy на обычном сервере или виртуальной машине. Они бесплатны, гибки и закрывают потребности малого и среднего бизнеса. Аппаратные устройства нужны только в сильно нагруженных инфраструктурах.
Если nginx уже стоит как веб-сервер и балансировать нужно HTTP, проще остаться на нём. HAProxy выбирают, когда нужны активные проверки здоровья в бесплатной версии, подробная статистика по серверам или балансировка не-HTTP трафика (базы данных, почтовые протоколы).
Обратный прокси принимает запросы вместо сервера и передаёт их дальше. Балансировщик L7 - это обратный прокси, который раздаёт запросы на несколько серверов и следит за их здоровьем. Один и тот же nginx обычно работает в обеих ролях сразу.
Нет. Балансировка распределяет запросы, а кластер объединяет серверы для совместной работы и отказоустойчивости. Балансировка - один из механизмов кластера, а не синоним.
Это режим, когда балансировщик держит одного пользователя на одном сервере, чтобы не терялась сессия, хранящаяся локально. Если сессии вынесены в общее хранилище, привязка не нужна.
Собираете отказоустойчивую схему для сайта, портала или внутренних сервисов?
Подберём серверы под приложения и под пару балансировщиков, разнесём их по разным машинам и соберём конфигурацию с тестом перед отгрузкой. Для узлов балансировки обычно хватает компактного сервера 1U, а если удобнее обсудить задачу, напишите нам: +7 (800) 551-80-12, info@ittelo.ru. Серверами мы занимаемся больше 11 лет и за это время накопили серьёзную экспертизу. Даём гарантию до 5 лет, берём сервер на постпродажное обслуживание и не пропадаем после отгрузки.