도구는 90점을 주는데 고객은 느리다고 합니다. 혹은 반대로, 리포트의 실사용자 지표는 나쁜데 우리가 직접 열어 보면 즉시 뜹니다. 이 상황에서 흔히 하는 실수는 둘 중 하나를 고장으로 취급하는 것입니다. 둘 다 정상이고, 애초에 다른 질문에 답하도록 만들어졌습니다.
두 데이터가 답하는 질문
실험실 데이터는 조건을 고정한 실험입니다. 그래서 개선 전후를 비교할 수 있고, 어떤 항목이 시간을 먹는지 짚어 줍니다. 대신 그 조건은 우리가 정한 하나의 가정입니다.
실측 데이터는 실제 방문자들의 브라우저에서 모인 값입니다. 기기도 회선도 지역도 캐시 상태도 제각각인 사람들의 분포이고, 그래서 “우리 고객이 실제로 무엇을 겪었나” 에 답합니다. 대신 원인은 말해 주지 않고, 값이 모이는 데 시간이 걸리며, 방문자가 적으면 아예 데이터가 없습니다.
둘이 어긋나는 흔한 이유
차이를 발견했다면 먼저 같은 것을 재고 있는지 확인합니다. 대부분의 불일치는 여기서 설명됩니다.
첫 줄이 가장 흔합니다. 우리는 홈을 재는데 고객은 광고 링크를 타고 랜딩 페이지로 들어옵니다. 두 화면은 무게가 완전히 다르고, 그래서 두 숫자도 다릅니다.
마지막 줄은 고장이 아니라 시차입니다. 실측 지표는 일정 기간의 누적이므로, 오늘 배포한 개선은 그 기간이 지나가는 만큼 천천히 반영됩니다. 개선 직후에 실측 값이 안 움직인다고 실패로 판단하지 않습니다.
실무에서의 결정 규칙
정리하면 이렇게 씁니다. 무엇을 먼저 고칠지는 실측으로 정하고 — 고객이 실제로 느리게 겪는 화면이 우선순위입니다 — 왜 느린지는 실험실로 찾습니다. 고친 뒤에는 같은 조건의 실험실 측정으로 즉시 확인하고, 몇 주 뒤 실측 지표가 따라오는지 다시 봅니다.
보고할 때는 두 숫자를 함께 적습니다. 하나만 적으면 반드시 “다른 도구로는 다르게 나오던데요” 라는 반문이 돌아오고, 그때 설명할 수 있는 사람은 둘의 차이를 미리 적어 둔 사람뿐입니다. 성능 주제의 다른 글은 성능 최적화 아카이브에 있고, 전후 측정을 절차로 못 박아 두는 방식은 작업 과정에서 볼 수 있습니다.
다음 회차
느려진 화면은 대개 처음부터 느리지 않았습니다. 다음 회차는 랜딩 페이지가 캠페인을 거듭하며 무거워지는 경로를 따라갑니다.