Technote

서버 · 인프라 실무

디스크가 차면 사이트는 이상한 방식으로 죽습니다

증상이 원인을 가리키지 않는 대표적인 고장입니다. 무엇이 공간을 먹는지 알면 찾는 데 3분이면 되고, 되찾는 순서에도 안전한 쪽과 위험한 쪽이 있습니다.

이 고장은 증상만 봐서는 원인을 짐작하기 어렵습니다. 로그인이 안 되고, 이미지 업로드가 실패하고, 관리 화면이 데이터베이스 오류를 띄우고, 어떤 페이지는 멀쩡하고 어떤 페이지는 흰 화면입니다. 하나씩 보면 전부 다른 문제 같습니다.

실제로는 원인이 하나입니다. 디스크가 가득 차면 쓰기가 전부 실패합니다. 워드프레스도, PHP도, 데이터베이스도 각자 자기 방식으로 실패하고, 그 결과가 서로 무관해 보이는 증상 여러 개로 나타납니다.

왜 증상이 원인을 가리키지 않는가

쓰기가 실패하는 자리가 여러 곳이기 때문입니다. 세션 파일을 못 쓰면 로그인이 유지되지 않습니다. 업로드 임시 파일을 못 쓰면 미디어 업로드가 실패합니다. 데이터베이스가 임시 테이블이나 로그를 못 쓰면 쿼리가 오류를 냅니다 — 화면에는 “데이터베이스 연결 오류” 로 나오는데 데이터베이스는 살아 있습니다. 캐시를 못 쓰면 일부 페이지만 느려지거나 비어 보입니다.

고약한 점이 하나 더 있습니다. 읽기는 계속 됩니다. 그래서 캐시된 페이지는 정상으로 보이고, 로그인하지 않은 방문자는 아무 문제를 못 느끼기도 합니다. “나만 안 되는 것 같다” 는 상태가 여기서 나옵니다.

그리고 마지막 한 가지 — 이 상황에서는 로그도 못 씁니다. 원인을 찾으려고 로그를 열면 고장 직전에서 멈춰 있습니다. 그래서 확인은 로그가 아니라 명령으로 합니다.

df -h        # 남은 용량
df -i        # inode 소진 — 용량은 남았는데 파일을 못 만드는 경우

df -i 를 함께 보는 이유는, 용량이 남았는데도 파일을 만들 수 없는 경우가 있기 때문입니다. 아주 작은 파일이 대량으로 쌓이면(세션 파일 · 캐시 조각 · 트랜지언트 파일) inode 가 먼저 바닥납니다. 이때 df -h 만 보면 “공간이 남았는데 왜?” 로 한참 헤매게 됩니다.

무엇이 공간을 먹는가

워드프레스 서버에서 디스크를 채우는 것은 대개 네 가지입니다. 순서까지 거의 정해져 있습니다.

디스크를 채우는 네 가지 — 위쪽일수록 조용히, 그리고 빠르게 자란다

로그가 1위인 이유는 로테이션이 없거나 잘못 설정돼 있으면 끝없이 자라기 때문입니다. 특히 WP_DEBUG_LOG 를 켜 두고 잊은 debug.log, 그리고 봇 트래픽까지 전부 기록하는 액세스 로그가 흔한 범인입니다.

로컬 백업은 두 번 위험합니다. 공간을 먹는 것이 첫째이고, 백업이 원본과 같은 디스크에 있다는 사실이 둘째입니다. 디스크가 고장 나면 둘 다 사라지므로, 백업은 어차피 서버 밖으로 나가야 합니다.

업로드는 눈에 보이는 것보다 큽니다. 이미지 한 장을 올리면 워드프레스와 테마가 여러 크기의 사본을 만들기 때문에, 원본 용량의 몇 배가 됩니다. 이것은 낭비가 아니라 화면 크기별로 알맞은 이미지를 내보내기 위한 설계이지만, 쓰지 않는 사이즈까지 만들고 있다면 정리할 여지가 있습니다.

데이터베이스는 파일 하나로 보이지 않아 잊히기 쉽습니다. 리비전과 만료된 트랜지언트가 쌓이고, MySQL 바이너리 로그가 설정에 따라 계속 남습니다.

범인을 찾는 명령

큰 것부터 순서대로 좁혀 갑니다. -x 는 다른 파일시스템으로 넘어가지 않게 해 주는 옵션인데, 이것이 없으면 마운트된 볼륨까지 세어 결과가 헷갈립니다.

du -x -h -d1 / 2>/dev/null | sort -h | tail -12
du -x -h -d1 /var/log | sort -h | tail -12
du -x -h -d1 /var/www/example.com/wp-content | sort -h | tail -12

find / -xdev -type f -size +200M -printf '%10s  %pn' 2>/dev/null | sort -rn | head

여기까지 오면 대개 범인이 한두 개로 좁혀집니다. 그런데 지웠는데 공간이 안 늘어나는 경우가 있습니다 — 프로세스가 아직 그 파일을 열고 있으면 삭제해도 공간이 반환되지 않습니다. 이때는 삭제가 아니라 비우기를 해야 합니다.

lsof +L1 2>/dev/null | head          # 지워졌는데 아직 열려 있는 파일
: > /var/log/nginx/access.log         # 삭제가 아니라 내용만 비운다

되찾는 순서 — 안전한 쪽과 위험한 쪽

급한 상황일수록 순서를 지킵니다. 잘못 지운 것은 디스크가 찬 것보다 훨씬 오래 남는 문제가 됩니다.

급할 때의 순서 — 위 네 줄로 대개 숨통이 트인다

공간을 확보한 뒤에는 재발을 막는 설정을 같은 자리에서 끝냅니다. 로그 로테이션을 걸고(크기 상한과 보관 기간을 함께), 백업 목적지를 서버 밖으로 옮기고, 데이터베이스 정리를 정기 작업으로 만듭니다.

그리고 가장 중요한 한 가지 — 남은 용량을 감시 대상에 넣습니다. 디스크는 예고 없이 차는 것이 아니라 며칠에 걸쳐 천천히 찹니다. 80%에서 알림이 오면 이 글의 나머지 내용이 전부 필요 없어집니다. 새벽의 장애가 낮의 15분 작업으로 바뀌는, 비용 대비 효과가 가장 큰 감시 항목입니다.

서버 자원 전반의 점검 방법은 서버 · 인프라 아카이브에 있고, 무엇을 어떤 임계치로 감시할지는 모니터링 연재가 다룹니다. 백업을 서버 밖에 두는 구성은 백업 복구 훈련 연재에, 용량 알림을 포함한 상시 관제는 InfraGuard에 있습니다.

이 주제의 다른 글

노하우 목록으로

서버 · 인프라 실무

업로드 폴더에서 PHP 를 실행하지 않게 합니다

파일이 올라가는 것과 실행되는 것은 다른 단계입니다. 그 사이를 끊는 설정 하나가 업로드 문제를 정리 작업으로 끝나게 합니다.

운영 · 관리자 4분 읽기

서버 · 인프라 실무

PHP 버전을 올리기 전에 deprecated 를 먼저 찾습니다

deprecated 경고는 지금 고장 난 것이 아니라 다음 버전에서 고장 날 것의 목록입니다. 올린 뒤에 읽으면 사고 보고서지만, 올리기 전에 읽으면 작업 목록입니다.

개발자 5분 읽기

₩270,000 · 신청하기