감시를 붙인 지 몇 주가 지나면 조용히 일어나는 일이 있습니다. 알림 채널의 소리를 끄거나, 메일에 필터를 걸어 보관함으로 보내거나, 알림을 보고 “또 그거겠지” 하고 넘기게 됩니다. 이 시점부터 그 감시는 동작하지만 아무 일도 하지 않습니다.
그리고 이 상태는 감시가 아예 없는 것보다 나쁩니다. 감시가 없으면 최소한 모른다는 사실은 알고 있습니다. 반면 무시되는 알림은 “지켜지고 있다” 는 착각을 남기고, 그 착각 위에서 백업 확인이나 수동 점검 같은 다른 안전장치가 하나씩 생략됩니다.
임계값은 “울리면 무엇을 하는가” 로 정합니다
임계값을 정할 때 흔히 하는 방식은 그럴듯한 숫자를 고르는 것입니다. 응답 시간 1초, 디스크 80%, CPU 70% 같은 값들인데, 이 숫자들에는 우리 사이트에 대한 근거가 없습니다.
기준을 바꿉니다. 그 값에 닿았을 때 지금 당장 할 일이 있는 지점을 임계값으로 잡습니다. 디스크가 80% 라는 알림을 받고 아무것도 하지 않을 것이라면 80% 는 임계값이 아닙니다. “지금 정리하지 않으면 며칠 안에 쓰기가 실패한다” 는 지점이 임계값입니다.
소음을 줄이는 세 가지 장치
임계값을 옳게 잡아도 알림은 여전히 시끄러울 수 있습니다. 세 가지 장치가 대부분의 소음을 걷어냅니다.
재확인은 1회차에서 다룬 것과 같습니다. 한 번의 실패가 아니라 연속 실패에만 알립니다. 순간적인 네트워크 끊김이나 배포 중의 짧은 재시작이 알림이 되지 않습니다.
묶기는 같은 원인에서 나온 알림을 한 건으로 만듭니다. 서버 하나가 멈추면 가동 · 응답 시간 · 인증서 확인이 동시에 실패하는데, 그것을 세 통으로 받으면 처음 받은 사람은 사고 규모를 실제보다 크게 판단합니다.
단계 나누기는 알림을 두 종류로 가릅니다. 지금 깨워야 하는 것과 다음 근무 시간에 보면 되는 것입니다. 인증서 만료가 30일 남았다는 소식은 새벽에 전화를 울릴 이유가 없습니다.
정기적으로 알림을 지웁니다
알림 목록은 늘어나기만 하고 줄어들지 않는 성질이 있습니다. 한 번 사고가 나면 그것을 잡기 위한 알림이 하나 추가되고, 그 알림은 사고가 해결된 뒤에도 남습니다.
그래서 분기에 한 번 정도 목록을 훑고 지난 기간에 울렸는데 아무 대응도 하지 않은 알림을 지웁니다. 지우는 것이 아깝게 느껴진다면, 그 알림은 이미 여러분의 주의를 소비하면서 아무것도 돌려주지 않고 있다는 뜻입니다.
마지막으로 받는 사람을 정합니다. 여러 명에게 같은 알림이 가면 각자 다른 사람이 볼 거라고 생각합니다. 알림 하나에는 대응 책임자 한 명을 붙이고, 그 사람이 부재중일 때의 대체 경로만 따로 둡니다.
운영 절차를 문서로 만드는 이야기는 개발 워크플로우 아카이브에 더 있습니다. 알림을 받을 사람이 애초에 없는 구조 — 1인 운영이거나 야간 대응이 불가능한 경우 — 라면 알림 스택 자체를 직접 소유하지 않는 선택지가 있고, InfraGuard 지속 관제가 그 자리입니다.
다음 회차
다음 회차는 디스크입니다. 앞에서 감시 항목으로 넣어 둔 여유 공간이 무엇 때문에 줄어드는지, 그리고 그 원인이 왜 몇 달간 조용히 자라다가 한 번에 사이트를 멈추는지를 다룹니다.