網(wǎng)站訪問量統(tǒng)計分析工具

網(wǎng)站訪問量統(tǒng)計分析工具

安裝與部署查新征中國科學院計算機網(wǎng)絡信息中心2004.8.25北京科學數(shù)據(jù)庫技術培訓.提綱WEBLOG的背景與目標WEBLOG的根本術語WEBLOG的結構與處理流程WEBLOG的功能WEBLOG的安裝部署演示.背景與目標訪問量的多少是衡量SDB站點建設好壞的一個重要指標我們關心的訪問量指標包括Requests,Pageviews和Visitors其他指標還有：訪問代理類型報告，錯誤或失效訪問統(tǒng)計報告等WEB效勞器的訪問日志文件提供了有關訪問量指標的數(shù)據(jù)目標：客觀、全面、真實反映SDB網(wǎng)站的訪問情況.根本術語訪問日志文件：是由web效勞器產生的,記錄用戶訪問該效勞器相關信息的文件。 WEB日志文件記錄了來訪者的ip地址、訪問時間、訪問方法、訪問文件的大小和地址等。但這些數(shù)據(jù)是零散的。APACHE日志:25--[10/May/2001:23:59:54+0800]"GET/a.htmHTTP/1.1"2004083IIS的日志：08:34:0606GET/test/count/image/0.gif304.根本術語文件請求數(shù)(Requests):

為了獲得效勞器上的一個資源〔可以是文本、圖像或任何可以被包含在頁面內的元素〕，瀏覽器和它連接的效勞器之間進行的一次單一連接。頁面瀏覽數(shù)(pageview):

一次頁面閱覽就是一次頁面的下載，訪問者成功地閱覽到頁面應該在他的瀏覽器上完整地看到該頁面。訪問人數(shù)〔visitor〕：

參考CNNIC用戶會話數(shù)的定義，具有同一IP地址的訪問者在20分鐘內與網(wǎng)站有交互活動那么被認為是同一次進入網(wǎng)站，不記錄新的用戶訪問數(shù)；欄目/頻道：

指網(wǎng)站的某一特定目錄，通常目錄層次不超過2級。欄目/頻道可由用戶配置信息〔文件或數(shù)據(jù)庫〕指定。.系統(tǒng)結構.處理流程歸一處理，入庫預處理統(tǒng)計分析統(tǒng)計結果，入庫數(shù)據(jù)庫日志文件屏蔽日志文件多樣性屏蔽日志格式多樣性.系統(tǒng)功能.安裝準備安裝前的準備：J2sdk的安裝JAVA環(huán)境MYSQL的安裝數(shù)據(jù)庫環(huán)境SDB應用效勞器的安裝WEB應用環(huán)境

.安裝準備按天分割WEB效勞器訪問日志文件APACHE(LINUX)

需要按日對文件進行切割。將日志切割運行腳本〔安裝包附帶〕參加到cron中，設為每日0點30分運行?！惨部梢允褂闷渌姆绞将@得每日日志文件〕IIS(WINDOWS)

IIS效勞器默認按天產生日志文件，一般存放在“C:/WINNT/System32/logfile/站點名〞目錄下.安裝部署安裝WEBLOGWindows:執(zhí)行Setup.exe，安裝到WEB應用目錄下。Linux: 將安裝包解壓到WEB應用目錄下。系統(tǒng)的組成：系統(tǒng)包括三個模塊：WEB化配置模塊：weblog/logconfig統(tǒng)計分析模塊

：weblog/loganalyse日志查看模塊：weblog/logreport

部署：默認情況下第一次登陸weblog系統(tǒng)要先進行系統(tǒng)的配置，主要包括如下幾個方面：

.安裝部署設置存放日志統(tǒng)計結果的MYSQL數(shù)據(jù)庫的屬性〔在此之前請先安裝數(shù)據(jù)庫〕數(shù)據(jù)庫機器的ip地址數(shù)據(jù)庫名用戶名用戶密碼.安裝部署設置待統(tǒng)計的站點列表待統(tǒng)計的站點列表(站點之間以“,〞分隔)設置每個待統(tǒng)計站點的參數(shù)頻道〔欄目〕或數(shù)據(jù)庫配置文件路徑站點日志文件路徑(目錄名)日志文件的格式設置頻道〔欄目〕或數(shù)據(jù)庫配置路徑名〔或特征名〕頻道欄目名稱中間以空格格開,每一行一條記錄。例如：“/history歷史館〞

..日志文件格式APACHE25--[10/May/2001:23:59:54+0800]"GET/a.htmHTTP/1.1"2004083訪問IP訪問時間“請求方式訪問資源協(xié)議〞狀態(tài)碼傳送字節(jié)數(shù)對應日志格式：%a--%T%m%U%H%s%b}其中時間格式為{%d/%Mb/%y:%h:%m:%s}IIS2004-08-0108:34:0606GET/test/count/image/0.gif304訪問日期訪問時間訪問IP請求方式訪問資源狀態(tài)碼對應日志格式為：{%d%t%a%m%U%s}#%d日期#%Mb月〔英文縮寫〕#%M月〔數(shù)字〕#%y年#%h小時#%m分鐘#%s秒%a訪問者IP%b發(fā)送字節(jié)數(shù)%B接收字節(jié)數(shù)%c訪問者客戶代理%d訪問日期,example:2001-5-27or5/27/2001%t訪問時間,example:12:23:34%T訪問時間，其格式由后面的TIMEFORMAT指定%p處理時間%l訪問者名%m請求方式%U所請求的資源〔url)%q請求的字符串%H請求使用的協(xié)議%s請求狀態(tài)碼.運行配置自動運行Windows:

將日志統(tǒng)計分析模塊參加到WINDOWS的“任務方案〞中以便后臺定期自動運行選擇程序/附件/系統(tǒng)工具/任務方案，翻開任務方案窗口添加任務方案。按照向導步驟添加各項內容在“運行的程序〞步驟中，按瀏覽，選擇weblog.bat〔$/weblog/loganalyse/weblog.bat〕選擇“每天〞執(zhí)行該任務起始時間選擇每天的“1:00〞輸入本機超級用戶的用戶名和密碼按確定完成。任務窗口中將增加該項內容右鍵選擇該任務，可以修改該任務的屬性Linux

在cron中增加運行腳本