Technote

AI 활용 실무

AI로 로그 분류하기 — 반복되는 경고와 진짜 신호 가르기

로그 수천 줄 중 눈여겨봐야 할 것은 대개 몇 줄입니다. 묶고 세는 일은 AI가 빠르지만, 붙여넣기 전에 무엇을 서버 밖으로 내보낼지부터 정해야 합니다.

로그를 열었을 때 마주치는 것은 정보가 아니라 양입니다. 같은 경고가 수천 줄, 같은 봇의 요청이 수만 줄 쌓여 있고, 정작 찾아야 할 것은 그 사이에 한 번 나온 낯선 한 줄입니다. 이것은 워드프레스가 시끄러워서가 아닙니다 — 로그는 원래 나중에 읽을 사람을 위해 전부 적어 두는 장치이고, 그 성실함이 읽는 쪽의 부담이 됩니다.

이 작업은 AI가 실제로 잘하는 몇 안 되는 운영 업무입니다. 다만 잘하는 범위가 정해져 있고, 그보다 먼저 지켜야 할 규칙이 하나 있습니다.

AI가 잘하는 것은 판정이 아니라 묶기입니다

AI가 안정적으로 잘하는 일은 두 가지입니다. 첫째, 같은 모양의 줄을 묶고 세는 것. 표현이 조금씩 다른데 사실상 같은 오류인 줄들을 하나로 묶어 “이 묶음이 대부분입니다” 라고 말해 줍니다. 둘째, 묶이지 않는 줄을 집어내는 것. 한두 번만 나오고 나머지와 모양이 다른 줄이 대개 우리가 찾던 것입니다.

두 가지 모두 판단이 아니라 패턴 인식이라는 공통점이 있습니다. 사람이 하면 지루하고, 지루하면 대충 보게 되며, 대충 본 로그는 안 본 것과 같습니다. 맡기기 좋은 종류의 일입니다.

반대로 “이 경고가 심각한가” 는 AI가 답할 수 없습니다. 그 답에는 우리 사이트의 맥락 — 어제 무엇을 배포했는지, 이 플러그인이 여기서 무슨 일을 하는지, 이 경로로 오는 요청이 원래 있었는지 — 이 필요하고, AI는 그것을 모릅니다. 모르는 채로 그럴듯하게 답할 수는 있으므로 더 조심해야 합니다.

붙여넣기 전에 — 로그에는 개인정보와 비밀이 들어 있습니다

이것이 이 글에서 가장 중요한 문단입니다. 로그를 외부 서비스 창에 붙여넣는 행위는 편의 기능이 아니라 우리 서버 밖으로 데이터를 내보내는 행위이고, 그 데이터에는 대개 다음이 섞여 있습니다.

액세스 로그에는 방문자 IP가 줄마다 있습니다. IP는 그 자체로 개인정보로 취급되는 정보입니다. 여기에 리퍼러와 요청 경로가 붙는데, 비밀번호 재설정 링크 · 인증 토큰 · API 키가 쿼리 문자열에 실려 그대로 기록되는 경우가 드물지 않습니다. 오류 로그에는 절대 경로와 데이터베이스 사용자명이, 메일 로그에는 수신자 이메일 주소가 통째로 남습니다.

분류에 필요한 것은 왼쪽에 하나도 없다 — 지우고 넣어도 결과는 같다

다행히 분류에 필요한 정보와 지워야 할 정보가 거의 겹치지 않습니다. 오류 문구 · 발생 횟수 · 파일명과 줄 번호만 있으면 묶는 일은 똑같이 됩니다. 그래서 이 규칙은 품질을 희생하지 않습니다.

순서는 이렇습니다. ① 무엇을 내보낼 수 있는지 먼저 정합니다 — 조직에 기준이 있으면 그것을, 없으면 개인정보처리방침에 적어 둔 처리 범위를 기준으로 삼습니다. ② 기계로 지웁니다. ③ 지운 결과를 사람 눈으로 한 번 더 훑습니다. 세 번째 단계를 건너뛰면, 예상하지 못한 자리에 남아 있던 값이 그대로 나갑니다.

sed -E 's/[0-9]{1,3}(.[0-9]{1,3}){3}/IP/g; s/[A-Za-z0-9._%+-]+@[A-Za-z0-9.-]+/EMAIL/g' 
    /var/log/nginx/error.log > /tmp/safe.log

이 한 줄로 IP와 이메일은 걷힙니다. 토큰과 세션 값은 형태가 사이트마다 달라 일반적인 규칙을 쓰기 어려우므로, 그 부분이 눈으로 보는 마지막 단계의 몫입니다.

순서 — 기계로 줄이고, 그다음에 AI에게

로그 원본을 통째로 넣는 것은 개인정보 문제이기 이전에 비효율입니다. 셸 도구는 세는 일에서 AI보다 정확하고, 공짜이고, 무엇보다 데이터가 서버 밖으로 나가지 않습니다. 수천 줄을 스무 줄로 줄이고 나서 AI를 부르면 두 문제가 함께 해결됩니다.

네 단계 — 세 번째 칸을 건너뛰면 앞의 편의가 사고가 된다

집계의 요령은 줄마다 달라지는 값을 먼저 지우는 것입니다. 시각 · 프로세스 번호 · 요청 ID가 남아 있으면 같은 오류가 전부 다른 줄로 세어집니다. 숫자를 한 글자로 바꿔 놓고 세면 묶음이 드러납니다.

cut -d']' -f3- /var/log/nginx/error.log 
    | sed -E 's/[0-9]+/N/g' | sort | uniq -c | sort -rn | head -20

여기서 나온 스무 줄이 AI에게 줄 재료입니다. 질문도 정해 두면 좋습니다 — “이 묶음들 중 원인이 서로 다른 것끼리 나눠 주세요”, “다른 줄과 형태가 다른 항목을 골라 주세요”, “각 묶음이 어떤 상황에서 나오는 메시지인지 설명해 주세요”. 마지막 질문은 특히 유용합니다. 처음 보는 오류 문구의 일반적인 의미를 아는 것은 우리 사이트의 맥락 없이도 되는 일이기 때문입니다.

AI가 준 목록을 어떻게 읽나

돌아온 답은 결론이 아니라 확인 대상 목록입니다. 이 구분을 지키는 것이 전부입니다.

특히 빈도가 높은 것이 중요한 것이 아닙니다. 반복되는 항목은 대개 이미 알려진 소음 — 캐시 워밍, 봇 크롤링, 오래된 플러그인의 알림 — 이고, 진짜 사고는 어제까지 없다가 오늘 처음 나온 낯선 줄에 있습니다. AI에게 “가장 많은 것” 이 아니라 “가장 낯선 것” 을 물어야 하는 이유입니다.

후보가 정해지면 그다음은 사람의 일입니다. 그 메시지가 언제부터 나오기 시작했는지 찾고(grep -n 으로 첫 등장 시각을 봅니다), 그 시각에 무엇이 바뀌었는지 배포 기록과 대조합니다. 이 두 가지가 맞물리면 원인은 대개 그 자리에서 드러납니다.

그리고 한 번 판정한 소음은 다음에 다시 읽지 않도록 처리합니다. 무해하다고 확인된 경고는 원인을 고쳐서 없애거나, 못 고치면 그 사실을 운영 문서에 적어 둡니다. 그렇게 하지 않으면 다음 분기에 같은 줄을 같은 노력으로 다시 분류하게 됩니다.

AI를 운영 업무에 쓰는 다른 사례는 AI 활용 아카이브에 있고, 장애 중에 어떤 로그를 어떤 순서로 여는지는 장애 대응 런북 연재가 다룹니다. 로그를 사람이 열기 전에 이상 징후를 먼저 알려 주는 상시 관제가 필요하다면 InfraGuard를 참고하세요.

이 주제의 다른 글

노하우 목록으로

AI 활용 심화

운영 자동화에 AI를 넣는 경계 — 되돌릴 수 있는가

진단 · 요약 · 초안까지는 맡겨도 됩니다. 삭제 · 재시작 · 프로덕션 변경처럼 사람 확인 없이 되돌릴 수 없는 일에서 자동화는 이득보다 비용이 커집니다.

운영 · 관리자 5분 읽기

AI 활용 실무

런북 초안은 AI가, 명령 검증은 사람이 합니다

생성된 런북은 그럴듯해 보이는 초안입니다. 폴더에 넣기 전에 모든 명령을 실험 환경에서 실행해야 합니다 — 검증되지 않은 런북은 없는 것보다 나쁩니다.

운영 · 관리자 6분 읽기

AI 활용 심화

AI가 만든 코드의 보안 검토 — 자주 나오는 취약 패턴 넷

생성된 코드는 대개 관용적으로 보입니다. 문제는 관용적으로 보이면서 이스케이프 · prepare · 권한 확인 · 경로 검증만 빠져 있는 경우가 반복된다는 점이고, 검토 순서를 정해 두면 짧게 끝납니다.

개발자 6분 읽기

₩270,000 · 신청하기