Technote

서버 · 인프라 실무

연재 장애 대응 런북 8부 중 3부

어떤 로그가 무엇을 말하나 — PHP · 웹서버 · MySQL

로그는 세 층에 따로 있고 각각 다른 질문에 답합니다. 어느 층부터 열어야 하는지는 증상이 이미 알려 주므로, 세 개를 다 읽을 필요가 없습니다.

장애 대응이 오래 걸리는 흔한 이유는 엉뚱한 로그를 오래 읽는 것입니다. 로그는 세 층에 나뉘어 있고 각 층이 답할 수 있는 질문이 다릅니다. 층을 알면 5분 안에 볼 파일이 하나로 좁혀집니다.

세 층의 로그 — 위에서 아래로 갈수록 애플리케이션 안쪽을 본다

웹서버 로그 — 요청 단위의 사실

웹서버 로그는 요청이 도착했는지, 어떤 코드로 끝났는지를 말합니다. 애플리케이션 안에서 무슨 일이 있었는지는 모릅니다. 그래서 여기서 얻는 것은 원인이 아니라 범위입니다.

상태 코드가 곧 분기입니다. 502 · 504 는 애플리케이션이 답하지 않았다는 뜻이므로 PHP-FPM 이 죽었거나 처리 시간이 한도를 넘긴 경우입니다 — 이때는 PHP 로그로 내려갑니다. 500 은 애플리케이션이 답은 했는데 오류였다는 뜻이라 역시 PHP 로그입니다. 403 · 404 는 웹서버 설정 · 권한 · 퍼머링크 문제라 이 층에서 끝나는 경우가 많습니다.

tail -n 100 /var/log/nginx/error.log
awk '$9 ~ /^5/ {print $4, $7, $9}' /var/log/nginx/access.log | tail -50

PHP 로그 — 애플리케이션의 고장

PHP 로그에는 치명 오류 · 경고 · 스택 추적이 남습니다. 여기서 볼 것은 장애 시작 시각의 첫 오류입니다. 그 뒤에 따라오는 수십 줄은 대개 첫 오류의 여파이므로, 가장 최근 줄이 아니라 가장 처음 줄을 찾습니다.

주의할 것이 하나 있습니다. 경고(Warning · Notice)는 평소에도 계속 쌓입니다. 경고가 많다는 사실 자체는 지금의 장애와 무관할 수 있으므로, 시각으로 자릅니다 — 장애 신고 시각 앞뒤 몇 분만 봅니다.

MySQL 로그 — 연결과 디스크

MySQL 쪽 로그가 답하는 질문은 좁습니다. 연결할 수 있는가, 쓸 공간이 있는가. 데이터베이스 오류 문구가 화면에 떴을 때 · 저장이 안 될 때 · 재시작 직후에 봅니다.

느린 쿼리 로그는 성격이 다릅니다. 지금 죽은 이유가 아니라 왜 서서히 느려졌는지를 말해 주므로, 복구 후에 읽습니다. 장애 한가운데에서 열 파일이 아닙니다.

증상별로 먼저 열 로그 — 세 개를 모두 읽는 것은 순서를 모를 때의 대가다

시각을 맞추는 것이 절반입니다

세 로그의 시간대가 서로 다르면 상관관계를 볼 수 없습니다. UTC 로 기록하는 로그와 한국 시각으로 기록하는 로그를 섞어 읽다가 “그 시각에는 아무 일도 없었다” 는 잘못된 결론에 도달하기 쉽습니다. 서버의 시간대와 각 로그의 표기 방식을 평시에 한 번 확인해 두세요.

그리고 로그 회전(logrotate) 설정을 봅니다. 어제 장애의 로그가 이미 압축돼 사라졌다면 조사할 수 없습니다. 반대로 회전이 없으면 로그가 디스크를 채웁니다.

로그 · 캐시 · PHP 설정이 어떻게 맞물리는지는 서버 · 인프라 아카이브에서 다루고, 이런 관측 구성을 사이트에 미리 세워 두는 작업은 작업 과정에 절차로 공개돼 있습니다.

다음 회차

로그가 특정 플러그인을 가리키지 않을 때가 있습니다. 다음 회차는 그때 쓰는 방법 — 플러그인을 하나씩이 아니라 절반씩 끄는 이분 탐색입니다.

이 주제의 다른 글

노하우 목록으로

서버 · 인프라 실무

업로드 폴더에서 PHP 를 실행하지 않게 합니다

파일이 올라가는 것과 실행되는 것은 다른 단계입니다. 그 사이를 끊는 설정 하나가 업로드 문제를 정리 작업으로 끝나게 합니다.

운영 · 관리자 4분 읽기

서버 · 인프라 실무

디스크가 차면 사이트는 이상한 방식으로 죽습니다

증상이 원인을 가리키지 않는 대표적인 고장입니다. 무엇이 공간을 먹는지 알면 찾는 데 3분이면 되고, 되찾는 순서에도 안전한 쪽과 위험한 쪽이 있습니다.

운영 · 관리자 6분 읽기

₩270,000 · 신청하기