Top.Mail.Ru
КОНФИГУРАТОР Серверы ▶
Сетевое оборудование ▶
СХД ▶
IP-телефоны IP-камеры Источники бесперебойного питания (ИБП) Комплектующие Готовые решения Серверы под задачу
О компании Купить в лизинг Блог Отзывы Доставка Гарантия Контакты Работа у нас Реквизиты Спецпредложения Игровые ПК на ISKRAPC Заявка в тех поддержку
Эксперты в подборе IT-оборудования

Алертинг и оповещения: настройка без лишних срабатываний

2 ноября 2026
Алертинг и оповещения: настройка без лишних срабатываний

Алертинг - это автоматическая отправка оповещений, когда система мониторинга замечает проблему: сервер не отвечает, диск почти заполнен, резервная копия не создалась. Хороший алертинг будит человека только тогда, когда нужно что-то сделать прямо сейчас, а всё остальное отправляет в чат, на почту или в журнал. Лишние срабатывания убирают пятью приёмами: задержкой перед срабатыванием, отдельными порогами для тревоги и отбоя, зависимостями между проверками, группировкой и тишиной на время плановых работ.

Кто хоть раз просыпался в три часа ночи от пятидесяти сообщений «CPU выше 75%» и утром видел, что всё работает, знает, к чему приводит обратное. Через неделю таких ночей оповещения перестают читать, и настоящий отказ тонет в шуме. Ниже - как устроен алертинг и как настроить его в Zabbix и Prometheus, чтобы этого не случилось.

Что такое алертинг

В алертинге три понятия, которые часто смешивают. Событие - любой факт, который зафиксировал мониторинг: метрика пересекла порог, служба перезапустилась, бэкап завершился. Алерт - событие, на которое кто-то должен отреагировать. Уведомление - способ доставки алерта человеку: сообщение в Telegram, письмо, SMS, звонок.

Отсюда и разница между алертом и уведомлением. Алерт отвечает на вопрос «что случилось и насколько это срочно», уведомление - «кому и как об этом сказать». Один и тот же алерт днём может уйти письмом, а ночью - звонком дежурному. А событие «бэкап завершился» вообще не должно никого тревожить: алертом лучше сделать обратное - «бэкап не завершился к 6 утра».

Система алертинга - это правила, которые превращают события в алерты, и маршруты, которые доставляют алерты нужным людям. В Zabbix за первое отвечают триггеры, за второе - действия. В связке Prometheus и Alertmanager правила живут в Prometheus, а группировкой и доставкой занимается Alertmanager.

Философия разумного алертинга

Главный принцип: каждое оповещение, которое приходит человеку, должно требовать действия. Если с сообщением ничего нельзя сделать прямо сейчас, это не алерт, а запись в журнале или строка на дашборде.

Хороший алерт отвечает на три вопроса: что произошло, где и что делать. «Диск / на web01 заполнится через 2 дня, сейчас занято 91%» - хороший алерт. «Disk usage high» - плохой: админу придётся заходить на сервер и выяснять подробности самому.

Классификация по степени срочности

УровеньПримерыКак доставлятьБудить ночью
КритическийСервис недоступен, RAID деградировал, диск заполнится меньше чем за сутки, не прошёл ночной бэкап базыЗвонок или SMS дежурному плюс сообщение в рабочий чатДа
ПредупреждениеДиск занят на 85%, растёт число ошибок, сертификат истекает через 14 днейРабочий чат, почтаНет, разбор в рабочее время
ИнформацияПлановая задача отработала, конфигурация измененаЖурнал и дашборд, без уведомленийНет

Критических алертов в стабильной инфраструктуре немного: единицы в месяц. Если их десятки в неделю, либо пороги выставлены неверно, либо в критические попало то, что на деле - предупреждения.

Настройка порогов: наука и искусство

Пороги «на глаз» - главный источник шума. Загрузка процессора 80% днём нормальна для сервера 1С, а ночью может означать зависший процесс. Поэтому сам порог - только половина дела, вторая половина - сколько времени условие должно держаться и когда считать проблему решённой.

Временные окна: срабатывание не с первой секунды

Секундный скачок процессора до 100% - обычное дело: запустилась плановая задача, пришёл пакет запросов. Алерт должен срабатывать, только если условие держится какое-то время. В Prometheus для этого есть параметр for: правило переходит в состояние тревоги, только если условие выполняется заданное время подряд.

groups:

  - name: server

    rules:

      - alert: HighCPU

        expr: 100 - avg by (instance) (rate(node_cpu_seconds_total{mode="idle"}[5m])) * 100 > 90

        for: 15m

        keep_firing_for: 10m

        labels:

          severity: warning

        annotations:

          summary: "CPU выше 90% уже 15 минут на {{ $labels.instance }}"

Здесь средняя загрузка за 5 минут должна держаться выше 90% ещё 15 минут подряд. keep_firing_for держит алерт активным 10 минут после того, как условие перестало выполняться, - так короткий провал нагрузки не превращается в пару «отбой - снова тревога». Если ваш Prometheus старый и не принимает keep_firing_for, уберите эту строку: остальное правило работает и без неё. В Zabbix тот же эффект дают функции за период: avg(/web01/system.cpu.util,10m)>90 срабатывает по средней за 10 минут, min(...,10m)>90 - только если загрузка не опускалась ниже порога ни разу за окно.

Гистерезис: отдельный порог для отбоя

Если метрика колеблется около порога - 89%, 91%, 88%, 92%, - алерт срабатывает и снимается каждые несколько минут. Это называется «флаппинг», и лечится он вторым порогом: тревога при 90%, а отбой только при падении ниже 70%. В Zabbix для этого у триггера есть выражение восстановления:

Выражение проблемы:    avg(/web01/system.cpu.util,10m)>90

Выражение восстановления:  avg(/web01/system.cpu.util,10m)<70

Чтобы второе выражение заработало, в настройках триггера в поле «Генерация ОК событий» выберите «Выражение восстановления» - по умолчанию Zabbix его не учитывает. Тогда проблема закроется, только когда загрузка опустится ниже 70%.

Тренд вместо порога

Для дисков фиксированный порог особенно неудобен: 90% на диске в 100 ГБ и на диске в 20 ТБ - несравнимые ситуации. Правильнее спрашивать, когда диск заполнится при текущей скорости роста. В Prometheus это функция predict_linear, в Zabbix - timeleft. Следующий шаг после таких правил - предупреждение по тренду для всех основных метрик: прогноз на основе истории метрик даёт запас в дни, а не в минуты.

Ещё один вариант - пороги от собственной истории: «CPU выше 95-го процентиля за последние 30 дней» вместо «CPU выше 80%». Такое правило само подстраивается под нормальную нагрузку конкретного сервера, но его сложнее объяснить и отладить. Для небольшой инфраструктуры обычно хватает окна, гистерезиса и тренда.

Корреляция событий и группировка

Отказ одного компонента вызывает лавину алертов от зависимых. Упал коммутатор в серверной - и мониторинг сообщает о недоступности каждого сервера за ним, каждой службы на каждом сервере и каждого сайта. Двадцать сообщений описывают симптомы, а причина одна.

Зависимости между проверками

Карта зависимостей - основа корреляции: сайт зависит от веб-сервера, веб-сервер - от базы данных и сети, сеть - от коммутатора. В Zabbix зависимость задаётся у триггера: если триггер «коммутатор недоступен» в состоянии проблемы, зависимые триггеры серверов за ним не запускают действий, и уведомление приходит одно - про коммутатор.

В Alertmanager ту же задачу решает подавление (inhibition): пока горит алерт-причина, алерты-следствия с тем же значением метки не отправляются.

inhibit_rules:

  - source_matchers:

      - alertname = "HostDown"

    target_matchers:

      - alertname != "HostDown"

    equal: ["instance"]

HostDown здесь - ваше же правило недоступности хоста, обычно на выражении up == 0; без него подавлять нечем. Пока сервер не отвечает целиком, алерты о его диске, памяти и службах молчат: важно только то, что сервер недоступен.

Группировка по времени и меткам

События, которые случились в одну минуту, обычно связаны. Alertmanager собирает алерты в группы по меткам (group_by) и ждёт перед первым уведомлением group_wait - по умолчанию 30 секунд, чтобы успели прийти родственные алерты. Новые алерты в той же группе досылаются не чаще раза в group_interval (по умолчанию 5 минут), а напоминание о всё ещё активной проблеме - раз в repeat_interval (4 часа). Базовая настройка Alertmanager и каналов разобрана в нашей статье про сбор метрик в Prometheus и Grafana.

Эскалация и маршрутизация

В небольшой компании админов один-три, и дежурной смены нет. Поэтому маршрутизация простая: днём всё идёт в рабочий чат, ночью человека будят только критичные алерты, а если на них никто не отреагировал, подключается второй человек.

Правила маршрутизации

Маршрут определяют уровень срочности, время суток и тип системы. Алерты от сети и от 1С могут уходить тому админу, который за них отвечает. В Alertmanager это дерево маршрутов:

route:

  receiver: admins-chat

  group_by: ["alertname", "instance"]

  routes:

    - matchers: ['severity = "critical"']

      receiver: oncall-phone

      repeat_interval: 30m

Всё попадает в чат админов, а критичное дополнительно уходит на телефон дежурного и напоминает о себе каждые полчаса, пока проблема не закрыта. Получатели (admins-chat, oncall-phone) описываются в том же файле: Telegram, почта, webhook в сервис звонков. В Zabbix аналог - действие с условием по важности триггера и типом оповещения для каждого пользователя; Telegram там подключается готовым типом оповещений.

Эскалационные цепочки

Если на критичный алерт никто не отреагировал, он должен подниматься выше. Для небольшой команды хватает трёх шагов:

  1. Сразу - сообщение в чат админов и дежурному.
  2. Через 15 минут без подтверждения - звонок или SMS дежурному.
  3. Через 30 минут без подтверждения - звонок второму админу или руководителю.

В Zabbix это шаги эскалации в одном действии с условием «событие не подтверждено»: как только кто-то подтвердил проблему, следующие шаги не выполняются. Для предупреждений эскалация обычно не нужна: их разбирают в рабочее время.

Фильтрация шума и ложных срабатываний

Даже с хорошими порогами часть алертов окажется лишней. Задача - быстро понять, какие именно, и не дать им повторяться.

Подавление повторяющихся алертов

Если проблема известна и ей уже занимаются, повторные уведомления только мешают. В Zabbix проблему подтверждают (acknowledge) с комментарием «занимаюсь, перезапуск после 19:00»: эскалация останавливается, а коллеги видят, кто взял задачу. В Alertmanager на время работ создают тишину (silence) по нужным меткам, с автором, комментарием и сроком окончания.

Плановые работы

Перезагрузка сервера для обновлений не должна будить никого. В Zabbix для этого есть периоды обслуживания: на хост или группу хостов на заданное время, с продолжением сбора данных или без него. Проблемы в этот период считаются подавленными, и действия по ним приостанавливаются - за это отвечает флажок «Приостановить операции для подавленных проблем», который в действиях включён по умолчанию. Главная ошибка - забыть про обслуживание и узнать о плановой перезагрузке от руководителя, которому пришло SMS.

Контекст

Некоторые всплески ожидаемы: дисковая нагрузка во время ночного бэкапа, процессор во время закрытия месяца в 1С. Такие окна лучше учесть в правилах: отдельный порог для ночного окна или исключение по времени. Отключать из-за них алерт целиком не нужно.

Мониторинг самой системы алертинга

Самая неприятная поломка - когда сломался сам алертинг. Сервер Zabbix упал, Alertmanager не может достучаться до Telegram, закончились деньги на SMS-шлюзе, а проблем вроде бы нет. Тишина выглядит как стабильность.

Настройте сторожевой алерт, который горит всегда, и внешний сервис, который ждёт его каждые несколько минут. Если сигнал перестал приходить, тревогу поднимает внешний сервис: ваша система мониторинга в этот момент как раз сломана.

В Prometheus для этого используют правило Watchdog с выражением vector(1): оно срабатывает всегда, а Alertmanager отправляет его во внешний сервис проверки пульса с коротким интервалом повтора. Для Zabbix хватит внешнего пинга самого сервера мониторинга из другой площадки или облака. И раз в месяц устраивайте тестовую тревогу: искусственно сработавший триггер должен дойти до телефона за минуту-две.

Метрики качества алертинга

Три цифры показывают, работает ли настройка:

  • доля алертов, после которых что-то сделали: если меньше половины, система слишком чувствительна;
  • время реакции на критичные алерты: сколько проходит от уведомления до подтверждения;
  • сколько серьёзных проблем первыми заметили пользователи, а не мониторинг: если такие случаи регулярны, покрытия не хватает.

Что именно должно попадать в мониторинг сервера, мы собрали в статье про комплексный мониторинг серверов.

Непрерывная оптимизация

Настройка алертинга - не разовая задача: появляются новые серверы и службы, меняется нагрузка. Самая полезная привычка - раз в месяц открыть отчёт по алертам и разобрать десять алертов, которые приходят чаще всего. По каждому решить одно из трёх: поднять порог или окно, перевести в предупреждения без уведомлений или удалить совсем. За два-три таких разбора шум обычно сокращается в разы.

Второй источник - сами админы. Они лучше всех знают, какие оповещения полезны, а какие сразу отправляют в «прочитано». Если алерт раз за разом закрывают без действий, это повод его переделать.

Не надо стремиться к идеальной настройке с первого раза. Начните с базового набора: доступность, диски, RAID, бэкапы, сертификаты, а для железа - оповещения от контроллера управления сервером или SNMP-трапы от серверного оборудования. Типовые триггеры по процессору и памяти разобраны в статье про мониторинг серверов в Zabbix. Дальше улучшайте по опыту: одно важное уведомление полезнее сотни лишних.

Частые вопросы

Что такое алертинг простыми словами?

Это система, которая сама сообщает админу о проблеме: сервер недоступен, диск заполняется, бэкап не создался. Мониторинг собирает данные, а алертинг решает, когда и кого об этом предупредить.

Чем алерт отличается от уведомления?

Алерт - сама проблема, которая требует реакции. Уведомление - способ сообщить о ней: письмо, сообщение в Telegram, SMS, звонок. Один алерт может дать несколько уведомлений - в чат и на телефон - или ни одного, если идут плановые работы.

Как отправлять алерты в Telegram?

В Zabbix Telegram подключается готовым типом оповещений: нужен бот, его токен и идентификатор чата. В Alertmanager есть отдельный приёмник для Telegram с теми же параметрами. Для критичных ночных алертов одного мессенджера мало: сообщение легко пропустить, поэтому добавьте звонок или SMS.

Сколько алертов в день нормально?

Универсальной цифры нет, но ориентир простой: уведомления, которые приходят человеку, должны почти всегда заканчиваться действием. Если админ получает десятки сообщений в день и большинство закрывает не читая, пора разбирать правила.

Ставите мониторинг на новые серверы?

Часть алертов лучше получать прямо от железа: серверы с контроллерами iDRAC и iLO сами сообщают о сбое диска, блока питания или вентилятора, даже если операционная система уже не отвечает. Подберём серверы под ваши задачи, настроим удалённое управление и протестируем всё перед отгрузкой. Посмотрите серверы Dell и HPE с iDRAC и iLO в каталоге или напишите нам: +7 (800) 551-80-12, info@ittelo.ru. Серверами мы занимаемся больше 11 лет и за это время накопили серьёзную экспертизу. Даём гарантию до 5 лет, берём сервер на постпродажное обслуживание и не пропадаем после отгрузки.

ПОДПИСКА

НА РАССЫЛКУ
ПОЛЕЗНЫЕ СТАТЬИ, АКЦИИ
И ЗАКРЫТЫЕ РАСПРОДАЖИ
Котик подписка
Похожие статьи
Вам также может быть интересно

Текст
Товар добавлен в список сравнения
Перейти в сравнение
Продолжить просмотр
Заявка в тех поддержку
Загрузка формы…
Не удалось загрузить форму. Обновите страницу или свяжитесь с нами по телефону.
Консультация
ИТ-специалиста
Оставьте контакты — свяжемся с вами в течение нескольких минут и подготовим коммерческое предложение
IT-архитектор подберет сервер под вашу задачу
Заполните форму — наш специалист свяжется с вами в течение 15 минут, уточнит задачу и подготовит коммерческое предложение
Заказать сервер
Отправим конфигурацию вам на почту. Менеджер перезвонит в течение 15 минут
Зарегистрироваться в бонусной программе
Консультация
ИТ-специалиста
Оставьте контакты — свяжемся с вами в течение нескольких минут и подготовим коммерческое предложение