Алерт сработал. В интерфейсе появился инцидент, провайдер уведомлений принял запрос на звонок. Дежурный спит.
По записи «запрос принят» не видно, зазвонил ли телефон. Даже статус completed в Twilio Voice не доказывает, что кого-то разбудили: ответить могла голосовая почта. Кто тогда возьмёт инцидент в работу и через сколько?
В октябре 2026 года Grafana IRM сообщила, что звонки на номера России и Казахстана заблокированы, и рекомендовала мобильные push-уведомления. Это сообщение попало в выпуск weekly-incident за W42. Закрывая инцидент, Grafana уточнила, что звонки по некоторым направлениям не поддерживаются. В W45 был другой случай: звонки на бразильские номера тоже не проходили, но здесь Grafana подтвердила восстановление связи. По этим выпускам нельзя судить о связи сегодня, зато в них есть конкретный сценарий для проверки: что у нас останется, если провайдер не сможет дозвониться?
Два канала, один телефон
Допустим, дежурному сначала звонят, а если он не отвечает, отправляют SMS. При сбое голосовой связи SMS ещё может дойти. Если же у телефона села батарея, оба способа бесполезны. Без сотовой сети push ещё может дойти через Wi-Fi, но разряженный телефон он тоже не оживит.
Выпишем оба маршрута целиком: какое правило сработает, через какой сервис уйдёт сообщение, на какое устройство придёт и как дежурный подтвердит, что взял инцидент. Бывает, что маршруты расходятся на доставке и снова сходятся на подтверждении: звонок приходит на второй телефон, а для входа в систему нужен код с первого.
В книге Google SRE есть полезное различие между проверкой изнутри и снаружи. Изнутри видно, что правило сработало и запрос ушёл провайдеру. Снаружи проверка начинается там, где дежурный слышит звонок или видит сообщение.
Упражнение для команды
Для учений заводим отдельный маршрут с теми же правилами доставки и эскалации, что и у боевых алертов. Боевые уведомления не трогаем. Сверяем расписание, права дежурных и настройки доставки: если они отличаются, успешный прогон говорит только о тестовом маршруте. С участниками заранее договариваемся, когда начнём и сколько времени по требованиям сервиса может пройти от срабатывания алерта до ответа человека. Назначаем наблюдателя и решаем, кто вернёт тестовые настройки после прогона.
Сначала ничего не ломаем. Отправляем контрольный алерт и записываем три времени: когда он сработал, когда дежурный заметил сообщение и когда подтвердил в системе, что взял инцидент. Если обычный звонок уже здесь не дошёл, разбираемся с ним: сравнивать резерв пока не с чем.
Дальше меняем по одному условию. Недоступный канал и молчащий дежурный — разные проверки:
| Что проверяем | Что должно произойти |
|---|---|
| Основной канал недоступен на тестовом маршруте | Дежурный получает алерт по резервному каналу и подтверждает его без помощи основного. |
| Первый дежурный получает алерт, но по договорённости не отвечает | Когда истекает время на подтверждение, система вызывает дежурного, указанного на следующем шаге эскалации. Тот принимает инцидент в пределах оговорённого времени. |
| Основной телефон недоступен для учений | Алерт доходит до другого участника. Тот подтверждает его, не пользуясь первым телефоном. |
Наблюдатель не подсказывает в чате, что пора посмотреть на телефон. Если без подсказки не обошлось, так и записываем: человека позвал коллега. Закончив учения, возвращаем настройки и повторяем контрольный вызов.
Если никто не ответил: postmortem и повторный вызов
Неудачный прогон заслуживает короткого postmortem. Сверяем журнал с записями участников: какой отказ имитировали, кто должен был ответить и что произошло вместо этого. Например, в Twilio Messaging Service статус сообщения accepted означает, что сервис принял запрос на отправку. Даже если потом пришла квитанция о доставке SMS, из неё не узнать, прочитал ли сообщение дежурный. Если дальше квитанции ничего не известно, это и есть последняя подтверждённая точка. Причину предстоит найти.
Алерт сработал. В интерфейсе появился инцидент, провайдер уведомлений принял запрос на звонок. Дежурный спит.
По записи «запрос принят» не видно, зазвонил ли телефон. Даже статус completed в Twilio Voice не доказывает, что кого-то разбудили: ответить могла голосовая почта. Кто тогда возьмёт инцидент в работу и через сколько?
В октябре 2026 года Grafana IRM сообщила, что звонки на номера России и Казахстана заблокированы, и рекомендовала мобильные push-уведомления. Это сообщение попало в выпуск weekly-incident за W42. Закрывая инцидент, Grafana уточнила, что звонки по некоторым направлениям не поддерживаются. В W45 был другой случай: звонки на бразильские номера тоже не проходили, но здесь Grafana подтвердила восстановление связи. По этим выпускам нельзя судить о связи сегодня, зато в них есть конкретный сценарий для проверки: что у нас останется, если провайдер не сможет дозвониться?
Два канала, один телефон
Допустим, дежурному сначала звонят, а если он не отвечает, отправляют SMS. При сбое голосовой связи SMS ещё может дойти. Если же у телефона села батарея, оба способа бесполезны. Без сотовой сети push ещё может дойти через Wi-Fi, но разряженный телефон он тоже не оживит.
Выпишем оба маршрута целиком: какое правило сработает, через какой сервис уйдёт сообщение, на какое устройство придёт и как дежурный подтвердит, что взял инцидент. Бывает, что маршруты расходятся на доставке и снова сходятся на подтверждении: звонок приходит на второй телефон, а для входа в систему нужен код с первого.
В книге Google SRE есть полезное различие между проверкой изнутри и снаружи. Изнутри видно, что правило сработало и запрос ушёл провайдеру. Снаружи проверка начинается там, где дежурный слышит звонок или видит сообщение.
Упражнение для команды
Для учений заводим отдельный маршрут с теми же правилами доставки и эскалации, что и у боевых алертов. Боевые уведомления не трогаем. Сверяем расписание, права дежурных и настройки доставки: если они отличаются, успешный прогон говорит только о тестовом маршруте. С участниками заранее договариваемся, когда начнём и сколько времени по требованиям сервиса может пройти от срабатывания алерта до ответа человека. Назначаем наблюдателя и решаем, кто вернёт тестовые настройки после прогона.
Сначала ничего не ломаем. Отправляем контрольный алерт и записываем три времени: когда он сработал, когда дежурный заметил сообщение и когда подтвердил в системе, что взял инцидент. Если обычный звонок уже здесь не дошёл, разбираемся с ним: сравнивать резерв пока не с чем.
Дальше меняем по одному условию. Недоступный канал и молчащий дежурный — разные проверки:
| Что проверяем | Что должно произойти |
|---|---|
| Основной канал недоступен на тестовом маршруте | Дежурный получает алерт по резервному каналу и подтверждает его без помощи основного. |
| Первый дежурный получает алерт, но по договорённости не отвечает | Когда истекает время на подтверждение, система вызывает дежурного, указанного на следующем шаге эскалации. Тот принимает инцидент в пределах оговорённого времени. |
| Основной телефон недоступен для учений | Алерт доходит до другого участника. Тот подтверждает его, не пользуясь первым телефоном. |
Наблюдатель не подсказывает в чате, что пора посмотреть на телефон. Если без подсказки не обошлось, так и записываем: человека позвал коллега. Закончив учения, возвращаем настройки и повторяем контрольный вызов.
Если никто не ответил: postmortem и повторный вызов
Неудачный прогон заслуживает короткого postmortem. Сверяем журнал с записями участников: какой отказ имитировали, кто должен был ответить и что произошло вместо этого. Например, в Twilio Messaging Service статус сообщения accepted означает, что сервис принял запрос на отправку. Даже если потом пришла квитанция о доставке SMS, из неё не узнать, прочитал ли сообщение дежурный. Если дальше квитанции ничего не известно, это и есть последняя подтверждённая точка. Причину предстоит найти.