Technote

개발 워크플로우 실무

연재 고객보다 먼저 아는 모니터링 8부 중 3부

자주 울리는 알림은 결국 꺼집니다

알림을 무시하기 시작하면 그 감시는 이미 고장 난 것입니다. 게다가 꺼진 알림은 없는 알림보다 나쁩니다 — 지켜지고 있다는 착각을 남기기 때문입니다.

감시를 붙인 지 몇 주가 지나면 조용히 일어나는 일이 있습니다. 알림 채널의 소리를 끄거나, 메일에 필터를 걸어 보관함으로 보내거나, 알림을 보고 “또 그거겠지” 하고 넘기게 됩니다. 이 시점부터 그 감시는 동작하지만 아무 일도 하지 않습니다.

그리고 이 상태는 감시가 아예 없는 것보다 나쁩니다. 감시가 없으면 최소한 모른다는 사실은 알고 있습니다. 반면 무시되는 알림은 “지켜지고 있다” 는 착각을 남기고, 그 착각 위에서 백업 확인이나 수동 점검 같은 다른 안전장치가 하나씩 생략됩니다.

임계값은 “울리면 무엇을 하는가” 로 정합니다

임계값을 정할 때 흔히 하는 방식은 그럴듯한 숫자를 고르는 것입니다. 응답 시간 1초, 디스크 80%, CPU 70% 같은 값들인데, 이 숫자들에는 우리 사이트에 대한 근거가 없습니다.

기준을 바꿉니다. 그 값에 닿았을 때 지금 당장 할 일이 있는 지점을 임계값으로 잡습니다. 디스크가 80% 라는 알림을 받고 아무것도 하지 않을 것이라면 80% 는 임계값이 아닙니다. “지금 정리하지 않으면 며칠 안에 쓰기가 실패한다” 는 지점이 임계값입니다.

알림 하나를 남길지 지울지 판정하는 여섯 줄 — 위 셋을 만족하지 못하면 알림이 아니다

소음을 줄이는 세 가지 장치

임계값을 옳게 잡아도 알림은 여전히 시끄러울 수 있습니다. 세 가지 장치가 대부분의 소음을 걷어냅니다.

재확인은 1회차에서 다룬 것과 같습니다. 한 번의 실패가 아니라 연속 실패에만 알립니다. 순간적인 네트워크 끊김이나 배포 중의 짧은 재시작이 알림이 되지 않습니다.

묶기는 같은 원인에서 나온 알림을 한 건으로 만듭니다. 서버 하나가 멈추면 가동 · 응답 시간 · 인증서 확인이 동시에 실패하는데, 그것을 세 통으로 받으면 처음 받은 사람은 사고 규모를 실제보다 크게 판단합니다.

단계 나누기는 알림을 두 종류로 가릅니다. 지금 깨워야 하는 것과 다음 근무 시간에 보면 되는 것입니다. 인증서 만료가 30일 남았다는 소식은 새벽에 전화를 울릴 이유가 없습니다.

같은 감시라도 발송 규칙이 알림의 신뢰도를 만든다

정기적으로 알림을 지웁니다

알림 목록은 늘어나기만 하고 줄어들지 않는 성질이 있습니다. 한 번 사고가 나면 그것을 잡기 위한 알림이 하나 추가되고, 그 알림은 사고가 해결된 뒤에도 남습니다.

그래서 분기에 한 번 정도 목록을 훑고 지난 기간에 울렸는데 아무 대응도 하지 않은 알림을 지웁니다. 지우는 것이 아깝게 느껴진다면, 그 알림은 이미 여러분의 주의를 소비하면서 아무것도 돌려주지 않고 있다는 뜻입니다.

마지막으로 받는 사람을 정합니다. 여러 명에게 같은 알림이 가면 각자 다른 사람이 볼 거라고 생각합니다. 알림 하나에는 대응 책임자 한 명을 붙이고, 그 사람이 부재중일 때의 대체 경로만 따로 둡니다.

운영 절차를 문서로 만드는 이야기는 개발 워크플로우 아카이브에 더 있습니다. 알림을 받을 사람이 애초에 없는 구조 — 1인 운영이거나 야간 대응이 불가능한 경우 — 라면 알림 스택 자체를 직접 소유하지 않는 선택지가 있고, InfraGuard 지속 관제가 그 자리입니다.

다음 회차

다음 회차는 디스크입니다. 앞에서 감시 항목으로 넣어 둔 여유 공간이 무엇 때문에 줄어드는지, 그리고 그 원인이 왜 몇 달간 조용히 자라다가 한 번에 사이트를 멈추는지를 다룹니다.

이 주제의 다른 글

노하우 목록으로

개발 워크플로우 실무

스테이징에서 먼저 올려 보는 30분

스테이징은 개발자만 쓰는 장치가 아닙니다. 프로덕션에서 복구하는 데 드는 하루와 스테이징에서 확인하는 30분을 비교하면, 이것은 취향이 아니라 계산입니다.

운영 · 관리자 3분 읽기

개발 워크플로우 실무

예외는 QA 가 아니라 명세에서 다룹니다

빈 상태 · 실패 · 권한 없음 · 아주 긴 값. 구현이 의도에서 갈라지는 자리는 거의 항상 이 넷 중 하나이고, 넷 다 명세에서 한 줄이면 끝나는 것들입니다.

기획자 3분 읽기

개발 워크플로우 실무

도메인 치환 — SQL 한 줄이 설정을 지웁니다

데이터베이스 안의 옛 주소를 SQL 로 바꾸면 위젯과 테마 설정이 조용히 빈 값이 됩니다. 직렬화가 문자열 길이를 함께 저장하기 때문입니다.

운영 · 관리자 4분 읽기

₩270,000 · 신청하기