Алертинг - это автоматическая отправка оповещений, когда система мониторинга замечает проблему: сервер не отвечает, диск почти заполнен, резервная копия не создалась. Хороший алертинг будит человека только тогда, когда нужно что-то сделать прямо сейчас, а всё остальное отправляет в чат, на почту или в журнал. Лишние срабатывания убирают пятью приёмами: задержкой перед срабатыванием, отдельными порогами для тревоги и отбоя, зависимостями между проверками, группировкой и тишиной на время плановых работ.
Кто хоть раз просыпался в три часа ночи от пятидесяти сообщений «CPU выше 75%» и утром видел, что всё работает, знает, к чему приводит обратное. Через неделю таких ночей оповещения перестают читать, и настоящий отказ тонет в шуме. Ниже - как устроен алертинг и как настроить его в Zabbix и Prometheus, чтобы этого не случилось.
В алертинге три понятия, которые часто смешивают. Событие - любой факт, который зафиксировал мониторинг: метрика пересекла порог, служба перезапустилась, бэкап завершился. Алерт - событие, на которое кто-то должен отреагировать. Уведомление - способ доставки алерта человеку: сообщение в Telegram, письмо, SMS, звонок.
Отсюда и разница между алертом и уведомлением. Алерт отвечает на вопрос «что случилось и насколько это срочно», уведомление - «кому и как об этом сказать». Один и тот же алерт днём может уйти письмом, а ночью - звонком дежурному. А событие «бэкап завершился» вообще не должно никого тревожить: алертом лучше сделать обратное - «бэкап не завершился к 6 утра».
Система алертинга - это правила, которые превращают события в алерты, и маршруты, которые доставляют алерты нужным людям. В Zabbix за первое отвечают триггеры, за второе - действия. В связке Prometheus и Alertmanager правила живут в Prometheus, а группировкой и доставкой занимается Alertmanager.
Главный принцип: каждое оповещение, которое приходит человеку, должно требовать действия. Если с сообщением ничего нельзя сделать прямо сейчас, это не алерт, а запись в журнале или строка на дашборде.
Хороший алерт отвечает на три вопроса: что произошло, где и что делать. «Диск / на web01 заполнится через 2 дня, сейчас занято 91%» - хороший алерт. «Disk usage high» - плохой: админу придётся заходить на сервер и выяснять подробности самому.
| Уровень | Примеры | Как доставлять | Будить ночью |
|---|---|---|---|
| Критический | Сервис недоступен, RAID деградировал, диск заполнится меньше чем за сутки, не прошёл ночной бэкап базы | Звонок или SMS дежурному плюс сообщение в рабочий чат | Да |
| Предупреждение | Диск занят на 85%, растёт число ошибок, сертификат истекает через 14 дней | Рабочий чат, почта | Нет, разбор в рабочее время |
| Информация | Плановая задача отработала, конфигурация изменена | Журнал и дашборд, без уведомлений | Нет |
Критических алертов в стабильной инфраструктуре немного: единицы в месяц. Если их десятки в неделю, либо пороги выставлены неверно, либо в критические попало то, что на деле - предупреждения.
Пороги «на глаз» - главный источник шума. Загрузка процессора 80% днём нормальна для сервера 1С, а ночью может означать зависший процесс. Поэтому сам порог - только половина дела, вторая половина - сколько времени условие должно держаться и когда считать проблему решённой.
Секундный скачок процессора до 100% - обычное дело: запустилась плановая задача, пришёл пакет запросов. Алерт должен срабатывать, только если условие держится какое-то время. В Prometheus для этого есть параметр for: правило переходит в состояние тревоги, только если условие выполняется заданное время подряд.
groups:
- name: server
rules:
- alert: HighCPU
expr: 100 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100 > 90
for: 15m
keep_firing_for: 10m
labels:
severity: warning
annotations:
summary: "CPU выше 90% уже 15 минут на {{ $labels.instance }}"
Здесь средняя загрузка за 5 минут должна держаться выше 90% ещё 15 минут подряд. keep_firing_for держит алерт активным 10 минут после того, как условие перестало выполняться, - так короткий провал нагрузки не превращается в пару «отбой - снова тревога». Если ваш Prometheus старый и не принимает keep_firing_for, уберите эту строку: остальное правило работает и без неё. В Zabbix тот же эффект дают функции за период: avg(/web01/system.cpu.util,10m)>90 срабатывает по средней за 10 минут, min(...,10m)>90 - только если загрузка не опускалась ниже порога ни разу за окно.
Если метрика колеблется около порога - 89%, 91%, 88%, 92%, - алерт срабатывает и снимается каждые несколько минут. Это называется «флаппинг», и лечится он вторым порогом: тревога при 90%, а отбой только при падении ниже 70%. В Zabbix для этого у триггера есть выражение восстановления:
Выражение проблемы: avg(/web01/system.cpu.util,10m)>90
Выражение восстановления: avg(/web01/system.cpu.util,10m)<70
Чтобы второе выражение заработало, в настройках триггера в поле «Генерация ОК событий» выберите «Выражение восстановления» - по умолчанию Zabbix его не учитывает. Тогда проблема закроется, только когда загрузка опустится ниже 70%.
Для дисков фиксированный порог особенно неудобен: 90% на диске в 100 ГБ и на диске в 20 ТБ - несравнимые ситуации. Правильнее спрашивать, когда диск заполнится при текущей скорости роста. В Prometheus это функция predict_linear, в Zabbix - timeleft. Следующий шаг после таких правил - предупреждение по тренду для всех основных метрик: прогноз на основе истории метрик даёт запас в дни, а не в минуты.
Ещё один вариант - пороги от собственной истории: «CPU выше 95-го процентиля за последние 30 дней» вместо «CPU выше 80%». Такое правило само подстраивается под нормальную нагрузку конкретного сервера, но его сложнее объяснить и отладить. Для небольшой инфраструктуры обычно хватает окна, гистерезиса и тренда.
Отказ одного компонента вызывает лавину алертов от зависимых. Упал коммутатор в серверной - и мониторинг сообщает о недоступности каждого сервера за ним, каждой службы на каждом сервере и каждого сайта. Двадцать сообщений описывают симптомы, а причина одна.
Карта зависимостей - основа корреляции: сайт зависит от веб-сервера, веб-сервер - от базы данных и сети, сеть - от коммутатора. В Zabbix зависимость задаётся у триггера: если триггер «коммутатор недоступен» в состоянии проблемы, зависимые триггеры серверов за ним не запускают действий, и уведомление приходит одно - про коммутатор.
В Alertmanager ту же задачу решает подавление (inhibition): пока горит алерт-причина, алерты-следствия с тем же значением метки не отправляются.
inhibit_rules:
- source_matchers:
- alertname = "HostDown"
target_matchers:
- alertname != "HostDown"
equal: ["instance"]
HostDown здесь - ваше же правило недоступности хоста, обычно на выражении up == 0; без него подавлять нечем. Пока сервер не отвечает целиком, алерты о его диске, памяти и службах молчат: важно только то, что сервер недоступен.
События, которые случились в одну минуту, обычно связаны. Alertmanager собирает алерты в группы по меткам (group_by) и ждёт перед первым уведомлением group_wait - по умолчанию 30 секунд, чтобы успели прийти родственные алерты. Новые алерты в той же группе досылаются не чаще раза в group_interval (по умолчанию 5 минут), а напоминание о всё ещё активной проблеме - раз в repeat_interval (4 часа). Базовая настройка Alertmanager и каналов разобрана в нашей статье про сбор метрик в Prometheus и Grafana.
В небольшой компании админов один-три, и дежурной смены нет. Поэтому маршрутизация простая: днём всё идёт в рабочий чат, ночью человека будят только критичные алерты, а если на них никто не отреагировал, подключается второй человек.
Маршрут определяют уровень срочности, время суток и тип системы. Алерты от сети и от 1С могут уходить тому админу, который за них отвечает. В Alertmanager это дерево маршрутов:
route:
receiver: admins-chat
group_by: ["alertname", "instance"]
routes:
- matchers: ['severity = "critical"']
receiver: oncall-phone
repeat_interval: 30m
Всё попадает в чат админов, а критичное дополнительно уходит на телефон дежурного и напоминает о себе каждые полчаса, пока проблема не закрыта. Получатели (admins-chat, oncall-phone) описываются в том же файле: Telegram, почта, webhook в сервис звонков. В Zabbix аналог - действие с условием по важности триггера и типом оповещения для каждого пользователя; Telegram там подключается готовым типом оповещений.
Если на критичный алерт никто не отреагировал, он должен подниматься выше. Для небольшой команды хватает трёх шагов:
В Zabbix это шаги эскалации в одном действии с условием «событие не подтверждено»: как только кто-то подтвердил проблему, следующие шаги не выполняются. Для предупреждений эскалация обычно не нужна: их разбирают в рабочее время.
Даже с хорошими порогами часть алертов окажется лишней. Задача - быстро понять, какие именно, и не дать им повторяться.
Если проблема известна и ей уже занимаются, повторные уведомления только мешают. В Zabbix проблему подтверждают (acknowledge) с комментарием «занимаюсь, перезапуск после 19:00»: эскалация останавливается, а коллеги видят, кто взял задачу. В Alertmanager на время работ создают тишину (silence) по нужным меткам, с автором, комментарием и сроком окончания.
Перезагрузка сервера для обновлений не должна будить никого. В Zabbix для этого есть периоды обслуживания: на хост или группу хостов на заданное время, с продолжением сбора данных или без него. Проблемы в этот период считаются подавленными, и действия по ним приостанавливаются - за это отвечает флажок «Приостановить операции для подавленных проблем», который в действиях включён по умолчанию. Главная ошибка - забыть про обслуживание и узнать о плановой перезагрузке от руководителя, которому пришло SMS.
Некоторые всплески ожидаемы: дисковая нагрузка во время ночного бэкапа, процессор во время закрытия месяца в 1С. Такие окна лучше учесть в правилах: отдельный порог для ночного окна или исключение по времени. Отключать из-за них алерт целиком не нужно.
Самая неприятная поломка - когда сломался сам алертинг. Сервер Zabbix упал, Alertmanager не может достучаться до Telegram, закончились деньги на SMS-шлюзе, а проблем вроде бы нет. Тишина выглядит как стабильность.
Настройте сторожевой алерт, который горит всегда, и внешний сервис, который ждёт его каждые несколько минут. Если сигнал перестал приходить, тревогу поднимает внешний сервис: ваша система мониторинга в этот момент как раз сломана.
В Prometheus для этого используют правило Watchdog с выражением vector(1): оно срабатывает всегда, а Alertmanager отправляет его во внешний сервис проверки пульса с коротким интервалом повтора. Для Zabbix хватит внешнего пинга самого сервера мониторинга из другой площадки или облака. И раз в месяц устраивайте тестовую тревогу: искусственно сработавший триггер должен дойти до телефона за минуту-две.
Три цифры показывают, работает ли настройка:
Что именно должно попадать в мониторинг сервера, мы собрали в статье про комплексный мониторинг серверов.
Настройка алертинга - не разовая задача: появляются новые серверы и службы, меняется нагрузка. Самая полезная привычка - раз в месяц открыть отчёт по алертам и разобрать десять алертов, которые приходят чаще всего. По каждому решить одно из трёх: поднять порог или окно, перевести в предупреждения без уведомлений или удалить совсем. За два-три таких разбора шум обычно сокращается в разы.
Второй источник - сами админы. Они лучше всех знают, какие оповещения полезны, а какие сразу отправляют в «прочитано». Если алерт раз за разом закрывают без действий, это повод его переделать.
Не надо стремиться к идеальной настройке с первого раза. Начните с базового набора: доступность, диски, RAID, бэкапы, сертификаты, а для железа - оповещения от контроллера управления сервером или SNMP-трапы от серверного оборудования. Типовые триггеры по процессору и памяти разобраны в статье про мониторинг серверов в Zabbix. Дальше улучшайте по опыту: одно важное уведомление полезнее сотни лишних.
Это система, которая сама сообщает админу о проблеме: сервер недоступен, диск заполняется, бэкап не создался. Мониторинг собирает данные, а алертинг решает, когда и кого об этом предупредить.
Алерт - сама проблема, которая требует реакции. Уведомление - способ сообщить о ней: письмо, сообщение в Telegram, SMS, звонок. Один алерт может дать несколько уведомлений - в чат и на телефон - или ни одного, если идут плановые работы.
В Zabbix Telegram подключается готовым типом оповещений: нужен бот, его токен и идентификатор чата. В Alertmanager есть отдельный приёмник для Telegram с теми же параметрами. Для критичных ночных алертов одного мессенджера мало: сообщение легко пропустить, поэтому добавьте звонок или SMS.
Универсальной цифры нет, но ориентир простой: уведомления, которые приходят человеку, должны почти всегда заканчиваться действием. Если админ получает десятки сообщений в день и большинство закрывает не читая, пора разбирать правила.
Ставите мониторинг на новые серверы?
Часть алертов лучше получать прямо от железа: серверы с контроллерами iDRAC и iLO сами сообщают о сбое диска, блока питания или вентилятора, даже если операционная система уже не отвечает. Подберём серверы под ваши задачи, настроим удалённое управление и протестируем всё перед отгрузкой. Посмотрите серверы Dell и HPE с iDRAC и iLO в каталоге или напишите нам: +7 (800) 551-80-12, info@ittelo.ru. Серверами мы занимаемся больше 11 лет и за это время накопили серьёзную экспертизу. Даём гарантию до 5 лет, берём сервер на постпродажное обслуживание и не пропадаем после отгрузки.