로그분석 목적중 제일 큰 것은 웹서버와 웹페이지와의 관계에서 다양한 웹페이지중 관심도와 발전성있는 컨텐츠, 서비스에 대한 접근 패턴을 찾아내는 일이라 할 수 있다.

이러한 필요한 정보를 얻는데에 딱 꼬집어 짚어주는 것이라면 좋겠지만...로그저장툴이나 분석툴은 사실상 그러한 것을 알아서 꼬집어 주지 못한다. 불필요한 항목들가지 전부 수집할때에는 웬만한 웹사이트의 경우 웹로그의 버릴수도 버리지도 못하는 로그덕에 아주 골아픈 경험을 하게 될 것이다.

이에 어떠한 로그정보가 필요하고 가장 필요한 로그정보를 가지고 효율적으로 관리할 수 있는지를 알아야 될 필요가 생긴다.

성공적인 로그 분석을 위해서는 기본 데이터인 로그데이터에 대해서 명확히 알고 있는 것이 필요하다. 단지, 운영중인 웹 서버의 로그데이터의 기본적인 지식이 아니라 그 사이트 특성에 다라 로그데이터가 어덯게 저장되는지를 명확히 알고 있어야 한다.

또한 이것을 가지고 분석을 하는 과정은 더욱 긴 시간을 요구한다. 오프라인환경에서 분석 데이터를 모으는작업이 분석 작업에서 상당 기간을 차지하겠지만 웹로그데이터는 바로바로 얻을수 있는 장점이 있다.

기업에서 두대 이상의 웹서버를 사용하여 웹서비스를 제공하는 형태의 멀티웹서버환경을 클러스터링 웹서버라 부른다. 클러스터링 웹환경에서는 웹서비스를 제공하는 서버가 각각의 스케쥴에 의해 작동하기 때문에 한개의 동일한 웹사이트를 위한 시스템인 경우, 로그분석의 통합분석은 매우 어려워 진다. 따라서 2대~백대이상의 웹서버를 운영하는 클러스터링 환경에서의 웹서비스를 이해 할 수 있어야 한다.

클러스터링 방식은 두가지로 존재한다.
1. 고정방식
    실 서비스를 제공하는 서버, 즉 실행서버의 위치가 고정되어 있어 여러대의 웹 서버가
    순차적으로 방문객에게 제공되는 형태
2. 동적방식
    매 방문때마다 실행서버의 역할이 바뀌는 방식.

고정방식의 클러스터링 웹 서버는 고정되어 있는 실행서버들의 순번을 웹 방문객이 정하면 방문객지정방식, 실행서버의 대표서버가 정하면 서버지지정방식으로 나눌 수 있고, 다시 지정하는 방법 또한 IP지정방식과 DNS변환방식의 두 가지가 많이 사용된다.

클러스터링 웹 서버가 동적으로 구성되는 경우에는 클러스터링의 대표서버인 게이트웨이 컴퓨터가 실행서버들의 순번을 정해주면 된다.
이때 방문객은 단지 게이트웨이 컴퓨터만을 의식하게됨으로 게이트웨이서버가 다운되거나 포화상태가되면 전체서비스가 마비되는 위험한 상황이 오게 된다. 이러한 이유로 게이트웨이 서버으 미러링도 고려되고 있다.

게이트웨이 서버는 자신이 관리하는 모든 실행 서버들의 부하상태를 모니터링 하며 가장 효율적으로 선택해야하는 반면, 실행서버 역시 요청 받은 서비스를 웹 방문객에게 전달하고, 동시에 자신의 부하상태를 게이트웨이 컴퓨터에 보고하도록 되어있다.

이와같은 클러스터링 웹서비스환경에서 로드벨런스, 캐시서버, 백업서버, 미러링서버등도 함께 구성이 되어야 더욱 효율적인 클러스터링 웹서비스 환경이 조성된다.

더 깊이 들어가면 네트워 어드민이 될 이야기가 될듯 하다. 기획자로서 클러스터링이 무엇이고 어떻게 구성이 되는가와 이에다른 로드벨런스, 캐시, 미러링의 사용에 대한 이해만 해두자.

이올린에 북마크하기(0) 이올린에 추천하기(0)

방문객이 홈페이지에 접속 시, 서버는 방문자가 요구하는 모든 것을 로그에 기록하고 저장해 둔다.
이 경우 로그 시스템은 일반적으로 다음의 절차를 밟게 된다.

[구글 Analytics 로그분석 리포트]

이올린에 북마크하기(0) 이올린에 추천하기(0)

Log 파일에서 측정할수 있는 방문자의 행동을 분류하려면 분류를 할 수 있는 측정단위를 알아야 한다. 로그&마케팅 측정단위는 로그분석시 단위를 조합하여 매우 쓸만한(?)정보를 만들수 있으며 현재 시중에 나와있는 로그분석 Tool도 측정단위를 기준으로 조합되어 패키지 형식으로 나와있다.

로그&마케팅 측정단위

위와 같은 측정단위를 활용하여 고객과의 커뮤니케이션데이터로서의 역할을 수행하도록 만든다.
나중에 다루겠지만  간단하게 역할을 수행 할 수 있도록 하는 프로세스를 적어둔다.

자 그럼 측정단위를 알아보자

1. 히트 (HIT)
히트는 방문자가 웹사이트를 접속했을때 웹서버에서 제공한 페이지 파일들의 숫자를 말한다.
자세히 설명을 하면, 웹서버에서 방문자의 요청에 따라 페이지를 전송시,
그 안에 포함된 이미지, HTML등의 모든 파일을 히트로 계산하여 준다는 것이다.
가령, 하나의 문서에 10개의 이미지가 포함되 있다면 총 히트수는 11이 되겠다. (HTML1개 + 이미지10개)
예전에 검색엔진 및 광고에이젼시들 이 HIT수로 장난을 치는 기업들이 많아서 현재는 거의 사용하고 있지 않는 측정단위이다.

2. 페이지뷰 (Page View)
하나의 HTML문서를 보는것을 말한다. 히트와 구별되는것은 10개의 이미지가 포함된 HTML문서를 조회시 히트는 11건 이었지만 페이지뷰는 1개이다. 정상적인 트래픽 및 로그데이타를 가져다 줄 수 있다.
현재 광고 노출의 기본으로 사용되고 있으며 광고측정단위로 이러한 페이지뷰를 임프레션이라는 단위로 기록하고 사용하고 있다. 페이지뷰는 현재 웹사이트를 평가할 수 있는 단위기준으로 가장많이 사용하고 있는 단위로 그 역할을 튼튼히 하고있다.

3. 체류시간 (Duration Time)
방문시간은 체류라는 의미를 포함하고있다. 방문자가 특정 페이지에 얼마나 오래 머물로 있었는가를 시간으로 환산하여 기록해 준다. 체류시간이 길다는 것은 그 페이지에 대하여 무엇인가 머물만한 의미가 있다는 것을 측정할 수 있기에 마케팅적 입장에서는 컨텐츠 분석 및 관리를 효율적으로 분석할 수 있으며, 쇼핑몰의 경우는 인기카테고리를 체크할 수 있다.
하지만 인터넷창을 여러 개 띄워놓고 브라우징을 하는 방문자에게는 거짓정보만 제공되는 단점으로 절대적인 기준은 제공하지 못하고 있고 인터넷 업체들의 홍보용으로 많이 쓰인다.

4. 세션 (Session)
세션은 한 방문자가 웹페이지에 접속하여 연속적으로 페이지를 둘러본 후 다른사이트로 이동하는 하나의 일련과정을 묶어 기록한 것을 말한다. 예를들자. 방문자가 plangb.co.kr의 홈페이지를 방문하여 여러강의 및 자료들을 조회 후 auction.co.kr로 이동한 경우, 이경우를 plangb로그에서는 하나의 세션으로 기록하고 있다.
당연히 Auction.co.kr측에서는 방문하면서 auction에 새로운 세션이 생기는것으로 이해하자.
이것을 측정하는 기준은 일반적으로 하나의 IP를 기준으로 측정하기에 유동IP경우에 다른 방문자이지만 동일 세션으로 인식할 우려가 있고, 같은 방문자이기는 하나 일정시간(세션시간)이 지난후 다시 접속활동을 하면 이를 도다른 세션으로 기록을 하게되는 단점이 있다.

5. 방문자 (Visitor)
방문자는 웹사이트를 한번이상 접속한 사용자들의 수를 파악하는 방법으로서 방문추이, 충성고객등을 파악할 수 있는 매우 중요한 측정단위이다.
방문자의 쿠키나 사용자 인증을 통하여 방문자의 방문경로, 웹사이트방문방법을 분석하여 이를 용이하게 전략으로 활용할 수 있으나, 공공장소인 기관이나 피씨방등의 경우 동일PC를 여러 사람이 이용하기에 정확한 측정이 어려울 수 있다.
전문적인 광고에이젼시등은 위의 방문자를 가지고 고객관리전략을 세우는데 가장많이 사용하는 방식은 고객들의 라이프타임사이클(Customer Life Time Cycle)에 기반한 분석모델을 이용하고 있다.

6. 도달 (Reach)
도달은 광고나 마케팅 캠페인에 따른 고객이 웹사이트에 접촉한 비율을 측정하는 것으로 마케팅캠페인에 다른 결과측정이나 고객으로 전환할 수 있는 잠재고객을 분석하는데에 활용된다.
예) 하루 Unique User(주어진 시간내에 유일한 방문자로 확인가능한자)가 2천만명인 네이버 메인에 광고를 집행하여 200만명에게 배너광고를 노출시켰으면 네이버 메인 1일 Reach 비율은 20%가 된다.

사이트 총 도달율 : 일정시간동안 방문한 Unique User / 전체 unique유저 수

이것은 다른말로 광고집행 효율성중에서 "게제효율"에 속한다. 그 배너광고를 보고 클릭한경우를 예를들면,
광고를 본 경우 : 도달
광고를 보고 클릭을 한 경우 : 획득
으로 설명된다.

7. 획득 (Acquisition)
배너광고나 마케팅캠페인에 의해서 고객의 행동을 얻어낸 경우이다.
배너광고를 클릭했거나, 설문조사에 참여하거나, 뉴스레터에 가입하는등의 실제적인 고객반응을 기준으로 한다.
획득은 정말 중요하다. 실제적으로 예전 인터넷업체들이 억대를 쏟아부으며 광고를 집행하고 회원가입을 유치하여 잠재고객을 확보했으나 실질적인 매출로 연결을 하지못해 이후 CRM이라는 것이 이슈로 되었고 기업들도 도입을 했으며, 이것을 이용하여 차별화된 마케팅캠페인을 전개하여 고객관리비용의 절감과 수익증대를 꾀할 수 있기 때문이다.

8. 포기 (Abandonment)
마케팅캠페인을 통해 방문자의 획득을 얻어냈으나 웹사이트 자체의 컨텐츠, 네이게이션, 인터페이스, 정보부족, 가격문제등의 여러가지 요점으로 인해 방문자가 목표된 마케팅캠페인 활동을 하지 않는 것으로 획득비율에 준한 포기행위분석을 통해 원인과 문제점을 분석하는 것이다.

9. 전환 (Conversion)
마케팅캠페인에 의해 획득한 잠재고객들이 목표인 회원가입이나, 상품구매등의 활동을 수행하여 고객으로 전환하는 비율을 말한다. 전환비율은 실제 마케팅목표의 최고점으로 많이 사용되며 이를 가지고 전환비율에 대한 지속적 재방문, 충성고객전환등의 여러 전략이 필요하다.

10. 이외의 것들
축소 : 초반 론칭에 비해 웹사이트를 일정수준에서 초반처럼 운영을 유지못하는것에서 기준이 되는것
이탈 : 고객이 웹사이트를 이탈(탈퇴) 및 회원등록 삭제를 하는 것.

이올린에 북마크하기(0) 이올린에 추천하기(0)

사용자가 처음 사이트를 방문하면 웹 서버에 자동으로 자신의 로그파일이 웹서버의 지정된 위치에 저장되어  로그파일이 생성되게 된다.

로그파일의 특징

웹 서버가 지정한 위치에 위치

웹서버관리자는 웹서버설치 및 설정시 로그파일의 위치와 기록방법을 지정할수 있다.

로그파일은 한 개 또는 여러 개로 지정 가능하다

로그파일은 기본적으로 크게 4가지 형태로 구분이 된다.

1. Access Log (엑세스로그)
1. Access Log는 Trasfer로그라고도 하며 일반적인 사이트 방문기록등을 기록하는 역할을 한다.
2. Log파일에서 파악가능한 Action(웹사이트 방문시간/웹사이트 방문경로 등)을 파악 할 수 있다.

2. Referrer Log (레퍼럴로그)
1. 레퍼럴 로그는 화살표로 표시되며 방문자가 사이트를 방문하기 위하여 어떠한 검색엔진을 활용했나, 사이트를 들어오기위해 사용한 키워드, 사이트에 들어오기까지 거친 URL경로을 알 수 있다.

-> 검색된 키워드를 통해 고객들이 원하는 컨텐츠를 구성할 수 있고, 검색엔진과 링크페이지를 통해 인터넷 광고진행시 매체선정, 키워드구성등에 마케팅 전략을 효율적으로 설정 할 수 있다.

Refferrer Log예

http://www.naver.com/aaa.nev -> /index.php

3. Agent Log (에이젼트로그)
1. 접속하는 방문자의 웹브라우져 상태(타입, 버전, OS, 언어, 해상도, 어플리케이션)를 제공해 웹사이트제작시 이를 참조하여 최적상태의 웹사이트를 제작할 수 있는 기초단서를 제공해 준다.

예를들어 초기 웹사이트기획시 넷스케이프 1024해상도를 기준으로 화면 및 인터페이스 설계를 하였는데 로그분석을 참조하니 익스플로러사용자에 맞추어야 되는 결정이 나오게 되며 해상도는 1280을 기준으로 제작하되 1024에서도 참조할 수 있는 인터페이스를 가져야 된다는 것과 맥킨토시유저들도 상당수 방문한다는 분석에 따라 범용 OS를 제공하도록 기획을 수정하여 더욱 발전된 기획안을 완성 할 수 있다.

Agent Log예

Mozilla/4.0 (compatible;MSIE 6.01; Windows XP)

4. Error Log (에러로그)
1. 웹서버의 에러에 대한 모든 정보를 제공하고있다. 이 에러로그가 발생하는 경우는 파일의 링크가 잘못되었거나, 이미지가 잘못링크되어 존재하지 않거나 PHP등의 웹프로그램이 정상적으로 작동하지 않을경우, 페이지에 부여된 퍼미션(권한)설정이 제대로 설정되지 못하여 나타나는 경우등에 Log가 생성된다.

(페이지 링크에러나 페이지권한 에러가 제일많은경우로 Status Code는 여러분들도 많이 봤겠지만 404 Error이나 505 Error이 제일 많은 경우로 생각된다.)

이올린에 북마크하기(0) 이올린에 추천하기(0)

로그파일의 종류 #1


 

1. 로그파일의 개념
1. 로그파일이란 웹서버를 통해 이루어지는 모든 작업들에 대한 기록이라고 펴현할 수 있다. 우리가 웹사이트를 방문한다는 것은 브라우저를 통해서 해당웹사이트의 웹서버에 필요한 정보를 요청하는것이고, 이때부터 방문정보, 활동내역, 활동시간등은 웹서버에 미리 저장해 놓은 위치에 데이터로 남게 된다.
2. 웹서버에 미리 저장해 놓은 데이터는 이미지파일, 이미지데이터, Include파일등에 대한정보부터 방문시간, 대기시간, 링크에러정보, 로그인정보, 로그인시간, 페이지로딩 성공/실패여부등의 모든 정보를 표시할 수 있다.


2. 서버별 로그파일의 형식
1. 윈도우 서버
1. 윈도우계열 서버는 Event Log라 불리는 로그기록 시스템을 가지고 있다. 총 3종류의 로그파일(Security Log, System Log, Application Log)을 생성하고있으며, 이는 로그분석 API를 이용하여 Log분석 및 응용분석을 할 수 있도록 되어있다. (이 Window API를 사용하면 실제분석도 가능하지만 새로운 형식의 로그파일 생성도 가능하다)
2. 표 집어넣음 (윈도우에서 생성 가능한 로그파일)
3. 또한 윈도우웹서버인 IIS(Internet Information Server)에서 제공해 주는 Web Log가 있다.

Web Log의 형식은 텍스트로 되어 있어 대부분의 로그분석툴들이 이를 분석/응용할 수 있게 되어 있다. IIS에서 로그파일은 기간별(매일, 매주, 매월, 주단위)등으로 자동화되게끔 설정도 가능하다. 이를 기반으로 리포트도 가능하며, 응용분석프로그램도 많이 나와있다.



2. 리눅스/유닉스
1. 리눅스서버군에서 OS상의 대표적인 로그시스템은 사용자접속로그, 프로세스로그, 에러로그의 3가지로 되어있다. 또한 이 외에 웹서버운영 관련하여 웹로그로도 기록이 되며 가장많이 사용되는 웹서버로는 아파치웹서버의 경우 접속로그(Access Log, Error Log 및 Agent Log)의 3가지 형태의 로그를 기록하여 제공하고있다.


3. 서버에 따른 웹로그파일의 구조
1. 웹서버는 사용자가 웹사이트에 방문시 해당 웹사이트 대한 요청과 제공에 대한 기록을 모두 로그파일에 저장 및 제공하고있다. 따라서 로그파일을 보면 누가 언제 무엇을 요청했고 가져갔는지를 알 수 있으며, 웹서버에 얼마나 많은 사람들이 왔었고, 어디에서 왔으며, 어떤 페이지를 가장 오래 머무르고, 제일많이 웹사이트에를 떠난 페이지가 무엇인지, 가장 오래보는 페이지, 가장 많이보는 페이지등을 읽어 낼 수 있다.
2. 이러한 로그파일은 웹서버가 지정하는 곳에 위치하며, 웹 서버 관리자가 웹서버를 설치시 로그파일 저장 위치와 기록방법등을 지정해 놓았으므로 그 위치와 저장형태를 확인해 두는 것이 좋다.


4. 가장 많이 사용하는 웹서버 및 로그파일
1. 웹서버 및 로그파일을 종류마다 각각 파일 형식이 틀리기에 웹로그형식이라고 하자.

가장 많이 사용되는 웹로그형식은 아파치로그, IIS로그, W3C Extended가 있다.



3. 아파치 로그파일
1. 아파치 로그파일은 원래 CLF(Common Logfile Format) 또는 Extended CLF라고 하며, 이는 웹서버의 원조라 할 수 있는 NCSA계열의 웹서버에서 사용하는 파일형식이다.

(어려운 용어 다 외울 필요 없다 걍 있다는것만 알아두자)



2. 아파치에서 사용하는 CLF로그파일의 형식은 다음과 같다.

123.141.135.10 - plan[07/Jun/2007:15:34:14-0630 *POST/iisadmin/default.html HTTP/1.0*2008401




설명: 123.141.135.10의 아이피를 가진 PC에서 plan이라는 이름으로 2007년 오후3시 34분 14초, 그리니치표준시로부터 6시간30분 떨어진 곳에서 POST방법으로 iisadmin/default.html을 요청하였으며 이는 HTTP버전 1.0프로토콜에 의해 페이지에러없이 조회가 되었고 총이동한 데이터는 8,401Byte이다



4. IIS 로그파일
1. MS윈도우군서버는 IIS(internet Information Server)로 되어있다. 사용로그파일형식은 NCSA방식이며 이 방식은 파일의 기록기간을 단위별로 지정할 수 있다. 예를들어 일별, 주월, 월별로 기록기간을 설정할 수 있는 특징이 있다.


2. IIS에서 사용하는 NCSA방식의 형식

123.141.135.10 - 07-11-05-18:32:48 W3SVC SUN 1 123.141.135.88 5654 132 3454 200 0 Get  1.gif Mozilla/3.01Gold(WinXP-1)




설명: 123.141.135.10의 IP를 가진 방문자가 2007년 11월 5일 오후6시32분48초에 SUN이라는 이름과 123.141.135.88이라는 아이피를 가진 웹서버에 웹페이지를 요청했으며, 웹서버는 5,654msec(5.654초)동안 이것을 처리했으며 그동안 132Byte의 명령어를 사용했고, 결과값(페이지전송)을 3454Byte의 데이터를 에러없이(코드 200)방문자에게 전송했다. 여기에 사용된 HTTP명령방식은 GET이며 요청파일명은 1.gif이고 마지막으로 사용된 프로토콜은 Mozilla/3.01Gold(WinXP-1)이다.

이올린에 북마크하기(0) 이올린에 추천하기(0)

1. 로그파일 / 로그분석의 필요성

고객중심형의 전방위 마케팅 전략

원어데이(http://www.oneaday.co.kr)의 쇼핑몰상품 소개페이지는 아에 로그분석한 내용을 DB와결합하여 구매자가 보고 판단할 수 있도록 오픈하여 서비스도 하고있다.

이올린에 북마크하기(0) 이올린에 추천하기(0)