사용자가 처음 사이트를 방문하면 웹 서버에 자동으로 자신의 로그파일이 웹서버의 지정된 위치에 저장되어  로그파일이 생성되게 된다.

로그파일의 특징

웹 서버가 지정한 위치에 위치

웹서버관리자는 웹서버설치 및 설정시 로그파일의 위치와 기록방법을 지정할수 있다.

로그파일은 한 개 또는 여러 개로 지정 가능하다

로그파일은 기본적으로 크게 4가지 형태로 구분이 된다.

1. Access Log (엑세스로그)
1. Access Log는 Trasfer로그라고도 하며 일반적인 사이트 방문기록등을 기록하는 역할을 한다.
2. Log파일에서 파악가능한 Action(웹사이트 방문시간/웹사이트 방문경로 등)을 파악 할 수 있다.

2. Referrer Log (레퍼럴로그)
1. 레퍼럴 로그는 화살표로 표시되며 방문자가 사이트를 방문하기 위하여 어떠한 검색엔진을 활용했나, 사이트를 들어오기위해 사용한 키워드, 사이트에 들어오기까지 거친 URL경로을 알 수 있다.

-> 검색된 키워드를 통해 고객들이 원하는 컨텐츠를 구성할 수 있고, 검색엔진과 링크페이지를 통해 인터넷 광고진행시 매체선정, 키워드구성등에 마케팅 전략을 효율적으로 설정 할 수 있다.

Refferrer Log예

http://www.naver.com/aaa.nev -> /index.php

3. Agent Log (에이젼트로그)
1. 접속하는 방문자의 웹브라우져 상태(타입, 버전, OS, 언어, 해상도, 어플리케이션)를 제공해 웹사이트제작시 이를 참조하여 최적상태의 웹사이트를 제작할 수 있는 기초단서를 제공해 준다.

예를들어 초기 웹사이트기획시 넷스케이프 1024해상도를 기준으로 화면 및 인터페이스 설계를 하였는데 로그분석을 참조하니 익스플로러사용자에 맞추어야 되는 결정이 나오게 되며 해상도는 1280을 기준으로 제작하되 1024에서도 참조할 수 있는 인터페이스를 가져야 된다는 것과 맥킨토시유저들도 상당수 방문한다는 분석에 따라 범용 OS를 제공하도록 기획을 수정하여 더욱 발전된 기획안을 완성 할 수 있다.

Agent Log예

Mozilla/4.0 (compatible;MSIE 6.01; Windows XP)

4. Error Log (에러로그)
1. 웹서버의 에러에 대한 모든 정보를 제공하고있다. 이 에러로그가 발생하는 경우는 파일의 링크가 잘못되었거나, 이미지가 잘못링크되어 존재하지 않거나 PHP등의 웹프로그램이 정상적으로 작동하지 않을경우, 페이지에 부여된 퍼미션(권한)설정이 제대로 설정되지 못하여 나타나는 경우등에 Log가 생성된다.

(페이지 링크에러나 페이지권한 에러가 제일많은경우로 Status Code는 여러분들도 많이 봤겠지만 404 Error이나 505 Error이 제일 많은 경우로 생각된다.)

 

로그파일의 종류 #1


 

1. 로그파일의 개념
1. 로그파일이란 웹서버를 통해 이루어지는 모든 작업들에 대한 기록이라고 펴현할 수 있다. 우리가 웹사이트를 방문한다는 것은 브라우저를 통해서 해당웹사이트의 웹서버에 필요한 정보를 요청하는것이고, 이때부터 방문정보, 활동내역, 활동시간등은 웹서버에 미리 저장해 놓은 위치에 데이터로 남게 된다.
2. 웹서버에 미리 저장해 놓은 데이터는 이미지파일, 이미지데이터, Include파일등에 대한정보부터 방문시간, 대기시간, 링크에러정보, 로그인정보, 로그인시간, 페이지로딩 성공/실패여부등의 모든 정보를 표시할 수 있다.


2. 서버별 로그파일의 형식
1. 윈도우 서버
1. 윈도우계열 서버는 Event Log라 불리는 로그기록 시스템을 가지고 있다. 총 3종류의 로그파일(Security Log, System Log, Application Log)을 생성하고있으며, 이는 로그분석 API를 이용하여 Log분석 및 응용분석을 할 수 있도록 되어있다. (이 Window API를 사용하면 실제분석도 가능하지만 새로운 형식의 로그파일 생성도 가능하다)
2. 표 집어넣음 (윈도우에서 생성 가능한 로그파일)
3. 또한 윈도우웹서버인 IIS(Internet Information Server)에서 제공해 주는 Web Log가 있다.

Web Log의 형식은 텍스트로 되어 있어 대부분의 로그분석툴들이 이를 분석/응용할 수 있게 되어 있다. IIS에서 로그파일은 기간별(매일, 매주, 매월, 주단위)등으로 자동화되게끔 설정도 가능하다. 이를 기반으로 리포트도 가능하며, 응용분석프로그램도 많이 나와있다.



2. 리눅스/유닉스
1. 리눅스서버군에서 OS상의 대표적인 로그시스템은 사용자접속로그, 프로세스로그, 에러로그의 3가지로 되어있다. 또한 이 외에 웹서버운영 관련하여 웹로그로도 기록이 되며 가장많이 사용되는 웹서버로는 아파치웹서버의 경우 접속로그(Access Log, Error Log 및 Agent Log)의 3가지 형태의 로그를 기록하여 제공하고있다.


3. 서버에 따른 웹로그파일의 구조
1. 웹서버는 사용자가 웹사이트에 방문시 해당 웹사이트 대한 요청과 제공에 대한 기록을 모두 로그파일에 저장 및 제공하고있다. 따라서 로그파일을 보면 누가 언제 무엇을 요청했고 가져갔는지를 알 수 있으며, 웹서버에 얼마나 많은 사람들이 왔었고, 어디에서 왔으며, 어떤 페이지를 가장 오래 머무르고, 제일많이 웹사이트에를 떠난 페이지가 무엇인지, 가장 오래보는 페이지, 가장 많이보는 페이지등을 읽어 낼 수 있다.
2. 이러한 로그파일은 웹서버가 지정하는 곳에 위치하며, 웹 서버 관리자가 웹서버를 설치시 로그파일 저장 위치와 기록방법등을 지정해 놓았으므로 그 위치와 저장형태를 확인해 두는 것이 좋다.


4. 가장 많이 사용하는 웹서버 및 로그파일
1. 웹서버 및 로그파일을 종류마다 각각 파일 형식이 틀리기에 웹로그형식이라고 하자.

가장 많이 사용되는 웹로그형식은 아파치로그, IIS로그, W3C Extended가 있다.



3. 아파치 로그파일
1. 아파치 로그파일은 원래 CLF(Common Logfile Format) 또는 Extended CLF라고 하며, 이는 웹서버의 원조라 할 수 있는 NCSA계열의 웹서버에서 사용하는 파일형식이다.

(어려운 용어 다 외울 필요 없다 걍 있다는것만 알아두자)



2. 아파치에서 사용하는 CLF로그파일의 형식은 다음과 같다.

123.141.135.10 - plan[07/Jun/2007:15:34:14-0630 *POST/iisadmin/default.html HTTP/1.0*2008401




설명: 123.141.135.10의 아이피를 가진 PC에서 plan이라는 이름으로 2007년 오후3시 34분 14초, 그리니치표준시로부터 6시간30분 떨어진 곳에서 POST방법으로 iisadmin/default.html을 요청하였으며 이는 HTTP버전 1.0프로토콜에 의해 페이지에러없이 조회가 되었고 총이동한 데이터는 8,401Byte이다



4. IIS 로그파일
1. MS윈도우군서버는 IIS(internet Information Server)로 되어있다. 사용로그파일형식은 NCSA방식이며 이 방식은 파일의 기록기간을 단위별로 지정할 수 있다. 예를들어 일별, 주월, 월별로 기록기간을 설정할 수 있는 특징이 있다.


2. IIS에서 사용하는 NCSA방식의 형식

123.141.135.10 - 07-11-05-18:32:48 W3SVC SUN 1 123.141.135.88 5654 132 3454 200 0 Get  1.gif Mozilla/3.01Gold(WinXP-1)




설명: 123.141.135.10의 IP를 가진 방문자가 2007년 11월 5일 오후6시32분48초에 SUN이라는 이름과 123.141.135.88이라는 아이피를 가진 웹서버에 웹페이지를 요청했으며, 웹서버는 5,654msec(5.654초)동안 이것을 처리했으며 그동안 132Byte의 명령어를 사용했고, 결과값(페이지전송)을 3454Byte의 데이터를 에러없이(코드 200)방문자에게 전송했다. 여기에 사용된 HTTP명령방식은 GET이며 요청파일명은 1.gif이고 마지막으로 사용된 프로토콜은 Mozilla/3.01Gold(WinXP-1)이다.

1. 로그파일 / 로그분석의 필요성

99년대까지 인터넷이 시장(Market)으로서의 역할을 시작할때 인터넷비즈니스 시장은 인프라, 시장규모, 마케팅 테크닉, 비즈니스인력등이 거의 전무했었던 상황에서 진행이 되었기때문에 누구나 시작만하면 된다라는 인식이 팽배했었고, 바로 1~2년이 되지않아 인터넷비즈니스거품론이 시작되면서 활기와 꿈의 인터넷에서 실질적인 Make Money가 되지않는다는 미운오리가 되어 버리고 말았다.

그러한 상황에서 모든 사람들이 시작만 하면 대박이라는 단꿈에서 빠져나올때쯤에 느끼기 시작한것은 "먼가 잘못됬구나"라는 생각이다.
그 "먼가"가 무엇이까?

다행히도 이러한 경험을 전철삼아 여러가지 실패를 딛고 일어서는 기업들이 나왔는데 그 "먼가를 알아냈을것이고 그 "먼가"라는것은 나는 다음과 같이 정의한다.


이 "먼가"라는것은 위의 이유들로 인해 수익성을 고려한 고객중심형의 마케팅 전환을 모색하기 시작했다.


고객중심형마케팅전략은 고객과의 끊임없은 커뮤니케이션을 통한 충성고객을 확보한다는것이다.
충성고객을 확보하기 위한 기준과 방안이 필요할때에 필수사항으로 로그분석은 그 역할을 탄탄히 해 내기 시작하였다.


예를들면 초기 온라인 쇼핑몰들은 결제,보안등의 쇼핑솔루션, 디자인, 상품머천다이징등에 많은 투자를 했었고 정작 이를 운영하기위한 내부환경, 소비자니즈분석등은 전혀 고려하지 않은채 사업을 시작하여 이로인해 큰 장애를 겪었다.
이때에 사람들이 시행착오를 겪으며 이야기하기  개발 20%, 운영80%라는 말은 틀린말이 아니다.


"도데체 우리 사이트에 들어오는 사람들은 누구일까?"라는 궁금증에서 출발해 보자.
또한 "대체 그들은 어떠한 목적으로 내 사이트를 찾아오며 그들이 들어와서 무엇을 하는지, 어더한 탐색경로를 가지고 웹사이트를 돌아다니는지 등의 숱한 질문을 던져보자.





로그분석은 이러한 궁금증을 해결하기 위한 좋은 대안이다. 그러나 많은 사람들이 로그파일 분석 자체가 웹마스터나 프로그래머가 분석해야한다고 큰 오해를 하고있다.


로그파일 분석을 통해 주요고객층, 고객구매패턴, 주 구매시간, 구매탐색경로등의 데이터를 추출할 수 있으며 이러한 데이터를 기반으로 인터페이스설계나 상품 레이아웃등의 설계, 고객서비스강화등의 다양한 고개마케팅을 펼칠 수 있다.