1. 구글 검색엔진과 검색 엔진 최적화 ( SEO )
구글은 웹사이트의 세계를 가로지르며 무수한 정보를 수집, 인덱싱하고, 각 페이지의 관계를 분석하며, 그 안의 자원 정보를 축적해 둡니다.
그리고 이렇게 모아진 정보를 바탕으로 구글의 검색을 이용하는 사용자에게 가장 적절한 정보를 되돌려 주기 위해 노력합니다.
이때 사용자의 요구에 가장 적합한 정보를 보내주기 위해 사용하는 것이 그들만의 검색 알고리즘이고, 그 기준은 무수히 많으며, 정확히 공개되지도 않고, 계속 변합니다.
이런 가운데 구글로부터 일부 공개된 사실과 그동안의 무수한 실험, 테스트, 경험을 통해 축적된 사실들에 근거하여, 웹사이트 운영자들이 구글 검색 엔진 내부의 자연어 검색 순위를 높이기 위해 하는 일련의 행동들을 검색엔진 최적화(SEO :Search Engine Optimization)라 합니다.
2. 구글 검색 결과에 올라가기까지의 과정
내 웹사이트에 새로운 글(post)을 썼을 때, 이 글이 구글 검색 엔진의 자연어 검색 결과에 링크되려면( 순위가 어떻게 되는가는 다른 문제로 본다) 세 단계를 거칩니다.
- 구글 검색 엔진이 내 웹사이트에 새로운 글이 있다는 것을 알게 된다.
- 구글 검색 엔진이 내 웹사이트에 이 새로운 글을 찾아서 들어와 어떤 자료들이 있는지 조사하고 색인한다.
- 가져간 자료를 다른 컨텐츠들과 비교하여 검색결과 노출시 순위를 준다.
세 단계중에서 첫 번째 단계가 이루어지려면, 구글 검색 엔진의 크롤러( 인터넷의 웹사이트 사이를 돌아다니면서 연결된 정보를 찾아 모으는 프로그램)가 내가 새로 작성한 페이지에 들어와야 하는데 그 방법이 바로 새로 쓴 글로 연결된 링크입니다.
내 웹사이트의 내부 어딘가든, 아니면 다른 웹사이트에서든 구글 검색엔진 크롤러가 나의 새 글 안으로 들어올 수 있는 링크가 있어야 한다는 말입니다.
예를 들어 메인페이지의 최신 글 리스트를 통한 링크가 될 수도 있고, 새롭게 추가된 메뉴 버튼을 통해서 일수도 있습니다. 어떤 경로이건 크롤러가 따라서 들어올 수 있는 링크 경로면 됩니다.
이렇게 새로운 페이지에 도착한 구글 크롤러는 이 페이지 내의 텍스트, 이미지, 동영상, 음악등 각종 자원의 정보를 입수해서 정리합니다.
1,2단계를 거쳐서 최종적으로 다른 관련컨텐츠들과 비교되어 경쟁하는 것은 세 번째 단계입니다.
그런데 문제는… 세 번째 단계에 가지도 못하는 경우입니다.
3.문제 상황 설정
다음과 같은 경우를 상상해 보겠습니다. (전적으로 상상…)
- 내 웹사이트에서 새로운 글-12( 예. 12번째 블로그 포스트 )를 작성했습니다.
- 새로운 글의 제목이 메인 페이지의 최신 글 리스트에 보입니다.
- 메인페이지 최신글 리스트는 최신글을 딱 2개 보여주도록 설정되어 있습니다. 그렇다면 리스트 목록은 아래와 같을 것입니다
- 글-12
- 글-11
- 내 웹사이트는 그동안 새로운 글을 작성한 빈도가 적어서(그동안의 데이터를 구글은 가지고 있습니다.) 구글 크롤러가 내 웹사이트의 메인페이지를 방문하는 간격이 현재 7일입니다.
- 내가 글-12를 작성한지 2일만에 새로운 블로그 글-13을 작성했습니다.
- 이제 메인화면에 보이는 최신 글 목록은
- 글-13
- 글-12
- 또 새로운 글-14를 2일 만에 작성했습니다
- 메인 화면에 보이는 최신 글 목록은
- 글-14
- 글-13
- 그런데 글-12가(정확히 표현하자면 글-12 개별페이지로 갈 수 있는 링크가) 만들어 진지 4일 만에 내 웹사이트 메인에서 사라졌습니다.
- 잘 살펴보니 내 웹사이트는 그 흔한 ‘블로그’라는 메뉴조차 없습니다.
- 구글 크롤러는 지난 7일 동안 내 웹사이트를 방문하지 않았습니다.
결론 : 글-12는 영원히 인터넷에 나타날 수 없습니다. (웹사이트의 운영자가 이것을 깨닫지 못한다면…)
위의 가정은 너무나도 극단적입니다. 하지만 일어나지 말라는 법도 없습니다.
인터넷에 작성한 글은 그냥 자연적으로 검색결과에 나타나는 것이 아닙니다. 검색엔진이 자료를 가져가서, 정리하고, 평가해야만 합니다.
그런데 위의 경우를 보면 여러 가지로 잘못되었습니다.
문제는 무엇이 잘못되었는지 모를 때 발생합니다.
설령 인식하고 있다고 해도 웹사이트가 방대해져 여기저기에서 동적으로 페이지가 생성될 때(새로운 컨텐츠가 생성되고, 새로운 경로가 발생합니다.) 이 중에서 그 어떤 링크와도 연결되지 않고 떨어져 있는 외톨이가 존재할수도 있습니다.
그렇다면 이와같은 문제를 근본적으로 차단하고, 검색엔진이 정확하게 내 웹사이트에 변화가 생긴 것을 알 수 있게 하는 방법은 무엇일까요?
“바로 사이트맵을 작성하는 것입니다.”
4.사이트맵이란 무엇인가?
웹사이트의 지도라는 의미 그대로 누군가에게 현재 내 웹사이트의 구조가 어떻게 되어 있는가를 알리기 위해 표시해둔 문서를 말합니다.
이 표시는 링크나 도식으로 연결된 것이 아니라(도식을 이용한 웹사이트 방문자를 위한 html 사이트맵도 SEO 측면, 사용자 편의 측면에서 좋습니다. 그러나 이 글에서는 살짝 젖혀 놓겠습니다.) 현재 웹사이트 내에 존재하는 모든 페이지의 경로를 순서대로 적어 놓은 것입니다.
그렇다면 이 사이트맵을 이용하는 대상은 누구일까요?
바로 검색 엔진들이고, 그중에서도 구글 검색 엔진이 주 대상입니다.
구글은 이미 최고의 검색엔진으로 자리하고 있고, 웹사이트의 검색 엔진 최적화는 그 대상이 구글이 되어야 가장 효과적이기 때문입니다.
사이트맵을 검색 엔진의 크롤러가 보게 되면, 현재 웹사이트 내에 어떤 포스트, 페이지 등이 있는지 정확히 알 수 있고, 그 목록과 대조하면서 각 경로에 들어가 정보를 수집합니다. 일부러 링크가 있는지 또는 없는지 상관할 필요가 전혀 없습니다.
5.워드프레스 구글 사이트맵은 어떻게 만드는가?
내 웹사이트에 존재하는 모든 페이지(구글 검색에 랭킹되기를 희망하는 페이지, 그렇지 않은 페이지는 구글 크롤러가 정보를 수집하지 못하도록 막아야 한다)를 적어놓은 단순한 파일이기 때문에 어렵지는 않지만, 직접 만들 수도 없는 일입니다.
워드프레스는 플러그인을 사용하면 쉽게 만들 수 있습니다.
아래의 이미지는 사이트맵의 예입니다.
필수요소인 loc 필드와 그 외의 옵션 필드로 구성되어있습니다.
6.워드프레스 구글 XML 사이트맵 (Google XML Sitemaps)플러그인
워드프레스 사이트 내부에 XML 언어로 된 사이트맵을 자동으로 생성해 주는 플러그인입니다.
워드프레스 플러그인 추가에서 Google XML Sitemaps 플러그인을 설치하면 아래와 같은 화면이 나옵니다. 기본 설정은 이미 체크되어 있습니다.
만약 이런저런 신경 쓰기 귀찮다면, 플러그인 아래의 사이트맵 컨텐츠( Sitemap content ) 부분만 확인한 후 그냥 아무것도 건드리지 않아도 됩니다. 어차피 플러그인이 알아서 사이트맵을 만들어 줄 것이고, 내 웹사이트가 업데이트 될 때마다 자동으로 구글에 통지해 줄 것입니다.
아래의 화면 이미지는 참고 설명으로 생각하고, 그마저도 귀찮다면 그냥 이 플러그인이 설치되어 있다는 것을 잊고, 다음 섹션으로 넘어가도 됩니다.
가장 최근에 작성한 사이트맵을 구글에 알려준 결과
- 현재 사이트에 존재하는 사이트맵의 경로(주소)를 알려줍니다.
- 구글과 빙에 새롭게 업데이트된 사항을 전달했으며, 내 사이트의 메인 사이트맵과 서브 사이트맵을 모두 전달했다고 알려줍니다.
- 기타 등등
기본 옵션
업데이트 알림 (Update notification)
- Notify Google about updates of your Blog : 웹사이트가 업데이트되면 자동으로 구글 검색엔진에게 알린다는 옵션 (구글 웹마스터 도구에 등록하면 크롤링 통계를 알려준다는 친절한 문구가 있습니다)
- Notify Bing about updates of your Blog : 검색엔진 Bing 에도 업데이트를 알립니다.
- Add sitemap URL to the virtual robots.txt file : 워드프레스는 기본적으로 가상 robots.txt 파일을 제공합니다. (http://도메인/robots.txt 쳐보면 알수 있습니다. 실제 존재하는 파일은 아닙니다) 여기에 체크하면 가상 robots.txt 파일안에 사이트맵의 경로를 추가해 줍니다. 이것은 알림(ping) 기능을 사용하지 않는 바이두(Baidu)나 얀덱스(Yandex)같은 검색엔진에 내 웹사이트의 사이트맵을 알리는 데 도움을 줍니다.
Advanced options
- Try to increase the memory limit : 이 옵션을 실제 사용할 일이 거의 없습니다. 사이트맵을 전송하는동안 서버의 메모리 리미트 에러가 발생할 때, 리미트 허용량을 추가하는 옵션입니다
- Try to increase the execution time limit : 이 옵션도 실제 사용할 일이 거의 없습니다. 사이트맵을 전송하는 동안 서버의 실행 시간 제한(execution time limit) 초과 에러가 발생할 때, 그 허용량을 추가하는 옵션입니다.
- Try to automatically compress the sitemap if the requesting client supports it : 가능하면 사이트맵을 압축해서 전송합니다. 에러가 날경우 언체크합니다.
- Include a XSLT stylesheet : 원래 사이트맵은 사람이 읽기 힘든 형태입니다. 그런데 이것을 가독성 좋게 만들어 주는 것이 XSLT (Extensible Stylesheet Language Transformations)입니다. 이것을 기본 프로그램을 사용할 것인지. 아니면 내가 업로드한 것을 사용할 것인지 설정합니다.
- Override the base URL of the sitemap : 만약 내 웹사이트가 루트의 서브 폴더에 있고(예. example.com/site1 ) 사이트맵 파일을 루트폴더 ( example.com )에 놓고 싶다면 이 옵션을 이용할수 있다. 추가로 .htaccess 파일을 수정해야 한다.
- Include sitemap in HTML format : PHP XSL Module 이 서버에 설치되어 있을때 가능하고, 이 옵션이 활성화되면 xml파일을 읽지 못하는 검색엔진을 위해서 html 사이트맵을 만들어 제공할 수 있습니다.
- Allow anonymous statistics : 체크하면 플러그인이 익명으로된 통계를 플러그인 개발자에게 제공합니다. 플러그인 개선을 위해서 사용합니다.
추가 페이지 (Additional pages)
여기에서는 사이트맵에 들어있지 않은 페이지나 url을 추가로 입력할 수 있습니다. 예를 들어 루트폴더가 www.foo.com 이고 나의 사이트는 루트폴더의 하위인 서브폴더에(www.foo.com/blog )생성이 되었는데, 홈페이지인 www.foo.com를 추가하고 싶다면, 여기에 url을 적습니다. 단 사이트맵 파일이 루트폴더로 옮겨져야 합니다. ( 위의 Override the base URL of the sitemap 옵션이용 )
Priority (우선순위) : 다른 경로의 페이지들과 비교하여 우선순위를 적용해 줍니다. (홈페이지의 경우 가장 우선되는 1 )
Change Frequency : 얼마나 이 페이지가 자주 바뀔것 같은가… 를 검색엔진에게 힌트 주는 옵션입니다. 강제가 아닙니다. 이걸 참고로 크롤러는 이 페이지를 재방문하는 기간을 조정합니다.
Last Changed : 이 문서가 최근에 언제 업데이트되었는지 알려줍니다. (옵션)
포스트 순위 ( Post Priority )
구글 검색엔진이 내 웹사이트 재방문을 고려할 때 어떤 포스트를 더 우선할 것인가에대한 기준을 설정합니다
- Do not use automatic priority calculation : 포스트간에 우선순위 구분을 두지 않습니다.
- Comment Count : 댓글이 많이 있는 포스트의 우선순위를 높게 줍니다.
- Comment Average : 포스트당 평균 댓글의 수를 기준으로 우선순위를 둡니다.(평균보다 위인지 아래인지)
사이트맵 컨텐츠 ( Sitemap content )
사이트맵에 포함하고고 싶은 항목들을 여기서 선택합니다. 워드프레스 기본 페이지, 포스트, 커스텀 포스트 타입, 택소노미 등 모든 요소가 보이고 사이트맵에서 제외하고 싶은 것은 언체크하면 됩니다. (언체크 되었다고 구글이 크롤링 하지 않는것은 아닙니다. 크롤링이 원활하게 되도록 하기위해서 사이트맵을 만드는 것임을 다시한번 상기!)
Further options-Include the last modification time : 마지막 수정시간을 사이트맵에 포함합니다. (추천)
제외할 아이템 선택 ( Excluded items )
워드프레스 구글 사이트맵에서 제외하고 싶은 카테고리나(체크), 제외하고 싶은 포스트(id 번호입력)를 입력합니다.
변화 빈도 ( Change frequencies )
해당 페이지들이 어느 정도 자주 변경되는지를 검색엔진에 알려줍니다. 단지 힌트일 뿐이고, 얼마나 자주 해당 페이지들을 재방문하는가는 전적으로 검색엔진이 결정합니다.
우선순위 ( Priorities )
검색 엔진에게 어떤 컨텐츠가 더 중요한지 힌트를 주는 옵션입니다. 모든 컨텐츠들은 사이트 내에서 일정한 관계를 형성하기 때문에 모든 값을 최고(1)로 해도 아무 소용이 없습니다.
7.워드프레스 구글 사이트맵 플러그인 설치와 웹마스터 툴 접속
워드프레스 구글 XML 플러그인을 설치한 후에 화면에 접속해 보고, 이후에 통계를 지속해서 관리하기 위해 웹마스터 툴에 접속해야만 합니다.
이때 웹사이트를 등록하는 절차를 거치게 되는데 아래의 동영상을 참고하면 됩니다.
8.결론
공들여 만든 컨텐츠가 인터넷 세계에서 여러 사람에게 도움을 준다는 것은 행복한 일입니다.
그러나 좋은 컨텐츠를 만드는 것이 쉽지 않다는 것은 누구나 알 것입니다.
이렇듯 힘들게 만든 나의 컨텐츠가 인터넷에서 잘 살아나가게 하는 것.
그 시작은 언제나 검색엔진에 나의 새로운 글을 알리는 데서 비롯됩니다.
이 시작점을 항상 원활하게 유지할 수 있도록, 사이트맵 생성을 필수로 생각 하는 것이 좋겠습니다.
다만 사이트 맵을 생성하는 방법은 여기서 설명한 방법도 있고, 기타 Yost SEO 플러그인등 다양한 방법이 존재합니다.
드디어 제가 원하던 글을 찾았습니다. 블로그를 운영하면서 도대체 왜 구글, 네이버에 다시 검색등록을 하는건지 그 이유를 몰랐습니다. 여기 블로그는 다르네요. 정말 명료하게 설명을 해주시니 한 번에 와닿았습니다. 감사합니다.
도움이 되셨다니 저도 좋습니다. ^^