새 페이지를 올렸는데 며칠이 지나도 검색에 나오지 않습니다. 이때 대화는 대개 “SEO 가 안 되어 있나 봐요” 로 끝나는데, 그 문장으로는 아무도 무엇을 해야 할지 알 수 없습니다. 검색엔진이 페이지를 다루는 과정은 하나가 아니라 여러 단계이고, 각 단계는 서로 다른 방식으로 실패합니다. 어느 단계에서 멈췄는지를 말할 수 있으면, 그 순간 요청은 구체적인 작업 지시가 됩니다.
발견 · 크롤 · 렌더 · 색인
발견은 그런 주소가 있다는 사실을 아는 단계입니다. 사이트맵에 실려 있거나 다른 페이지가 링크로 가리키고 있으면 발견됩니다. 어디에서도 링크되지 않고 사이트맵에도 없는 페이지는 아무리 잘 써도 출발선에 서지 못합니다.
크롤은 실제로 그 주소를 요청해 HTML 을 받아 오는 단계입니다. 서버가 응답하지 않거나, 응답이 너무 느리거나, 크롤러가 오지 못하도록 막혀 있으면 여기서 끝납니다.
렌더는 받아 온 HTML 을 브라우저처럼 실행해 최종 화면을 만드는 단계입니다. 본문이 스크립트로 그려지는 화면이라면 이 단계를 거쳐야 내용이 보입니다. 워드프레스는 본문을 서버에서 완성해 내려보내므로 이 단계에서 유리한 편인데, 그렇다고 안심할 수는 없습니다 — 스타일이나 스크립트 파일이 차단돼 있으면 최종 화면이 우리가 보는 것과 달라집니다.
색인은 그 내용을 저장해 검색 대상에 넣는 단계입니다. 여기서 반드시 알아야 할 사실이 하나 있습니다 — 크롤됐다고 색인되는 것은 아닙니다. 검색엔진은 가져온 페이지를 전부 저장하지 않고, 저장할 가치가 있는지를 따로 판단합니다.
단계마다 실패의 모양이 다르다
“검색에 안 나온다” 는 같은 증상이지만 원인은 아래처럼 갈립니다. 그리고 원인마다 요청할 대상이 다릅니다 — 어떤 것은 서버 설정이고, 어떤 것은 내부 링크이며, 어떤 것은 아예 기술 문제가 아닙니다.
“크롤됨 — 현재 색인되지 않음”
서치콘솔에서 자주 보게 되는 상태입니다. 처음 보면 고장처럼 읽히지만, 이 문장은 고장이 아니라 판단입니다. 검색엔진이 페이지를 가져갔고, 읽었고, 지금은 저장하지 않기로 했다는 뜻입니다.
이 상태에서 기술 담당자에게 “색인이 안 된다” 고 요청하면 대개 고칠 것이 없습니다. 서버도 정상이고 태그도 정상이기 때문입니다. 이때 필요한 것은 대개 내용 쪽입니다 — 이 페이지에만 있는 정보가 있는지, 다른 페이지와 거의 같은 말을 하고 있지는 않은지. 다만 같은 내용의 주소가 여럿일 때도 이 상태가 되는데, 그것은 기술 문제이고 4회차에서 따로 다룹니다.
마케터가 직접 확인할 수 있는 것
개발자에게 요청하기 전에 5분이면 확인되는 것이 있습니다. 서치콘솔의 URL 검사에 문제의 주소를 넣으면 어느 단계까지 갔는지, 크롤러가 본 화면이 무엇인지, 색인 판정이 무엇인지가 한 화면에 나옵니다. 이 화면을 캡처해 요청에 첨부하는 것만으로 대화의 절반이 끝납니다.
단계별 원리를 더 깊이 보려면 SEO 아카이브의 글들이 이어지고, 사이트 전체의 색인 상태를 한 번에 진단받고 싶다면 최적화 지원 사업에 기술 SEO 점검이 포함돼 있습니다.
다음 회차
색인이 됐다면 다음 질문은 “검색 결과에 어떻게 보이는가” 입니다. 다음 회차는 제목과 설명 태그인데, 우리가 적은 문장이 그대로 나가지 않는 경우가 생각보다 많습니다.