장애 대응이 오래 걸리는 흔한 이유는 엉뚱한 로그를 오래 읽는 것입니다. 로그는 세 층에 나뉘어 있고 각 층이 답할 수 있는 질문이 다릅니다. 층을 알면 5분 안에 볼 파일이 하나로 좁혀집니다.
웹서버 로그 — 요청 단위의 사실
웹서버 로그는 요청이 도착했는지, 어떤 코드로 끝났는지를 말합니다. 애플리케이션 안에서 무슨 일이 있었는지는 모릅니다. 그래서 여기서 얻는 것은 원인이 아니라 범위입니다.
상태 코드가 곧 분기입니다. 502 · 504 는 애플리케이션이 답하지 않았다는 뜻이므로 PHP-FPM 이 죽었거나 처리 시간이 한도를 넘긴 경우입니다 — 이때는 PHP 로그로 내려갑니다. 500 은 애플리케이션이 답은 했는데 오류였다는 뜻이라 역시 PHP 로그입니다. 403 · 404 는 웹서버 설정 · 권한 · 퍼머링크 문제라 이 층에서 끝나는 경우가 많습니다.
tail -n 100 /var/log/nginx/error.log
awk '$9 ~ /^5/ {print $4, $7, $9}' /var/log/nginx/access.log | tail -50
PHP 로그 — 애플리케이션의 고장
PHP 로그에는 치명 오류 · 경고 · 스택 추적이 남습니다. 여기서 볼 것은 장애 시작 시각의 첫 오류입니다. 그 뒤에 따라오는 수십 줄은 대개 첫 오류의 여파이므로, 가장 최근 줄이 아니라 가장 처음 줄을 찾습니다.
주의할 것이 하나 있습니다. 경고(Warning · Notice)는 평소에도 계속 쌓입니다. 경고가 많다는 사실 자체는 지금의 장애와 무관할 수 있으므로, 시각으로 자릅니다 — 장애 신고 시각 앞뒤 몇 분만 봅니다.
MySQL 로그 — 연결과 디스크
MySQL 쪽 로그가 답하는 질문은 좁습니다. 연결할 수 있는가, 쓸 공간이 있는가. 데이터베이스 오류 문구가 화면에 떴을 때 · 저장이 안 될 때 · 재시작 직후에 봅니다.
느린 쿼리 로그는 성격이 다릅니다. 지금 죽은 이유가 아니라 왜 서서히 느려졌는지를 말해 주므로, 복구 후에 읽습니다. 장애 한가운데에서 열 파일이 아닙니다.
시각을 맞추는 것이 절반입니다
세 로그의 시간대가 서로 다르면 상관관계를 볼 수 없습니다. UTC 로 기록하는 로그와 한국 시각으로 기록하는 로그를 섞어 읽다가 “그 시각에는 아무 일도 없었다” 는 잘못된 결론에 도달하기 쉽습니다. 서버의 시간대와 각 로그의 표기 방식을 평시에 한 번 확인해 두세요.
그리고 로그 회전(logrotate) 설정을 봅니다. 어제 장애의 로그가 이미 압축돼 사라졌다면 조사할 수 없습니다. 반대로 회전이 없으면 로그가 디스크를 채웁니다.
로그 · 캐시 · PHP 설정이 어떻게 맞물리는지는 서버 · 인프라 아카이브에서 다루고, 이런 관측 구성을 사이트에 미리 세워 두는 작업은 작업 과정에 절차로 공개돼 있습니다.
다음 회차
로그가 특정 플러그인을 가리키지 않을 때가 있습니다. 다음 회차는 그때 쓰는 방법 — 플러그인을 하나씩이 아니라 절반씩 끄는 이분 탐색입니다.