網(wǎng)站訪問量統(tǒng)計(jì)分析工具-分布式站點(diǎn)監(jiān)控與管理系統(tǒng)的研究與

1、網(wǎng)站訪問量統(tǒng)計(jì)分析工具安裝與部署查新征 中國科學(xué)院計(jì)算機(jī)網(wǎng)絡(luò)信息中心 2004.8.25 北京科學(xué)數(shù)據(jù)庫技術(shù)培訓(xùn)提綱 WEBLOG的背景與目標(biāo) WEBLOG的基本術(shù)語 WEBLOG的結(jié)構(gòu)與處理流程 WEBLOG的功能 WEBLOG的安裝部署 演示背景與目標(biāo) 訪問量的多少是衡量SDB站點(diǎn)建設(shè)好壞的一個(gè)重要指標(biāo) 我們關(guān)心的訪問量指標(biāo)包括 Requests,Pageviews和Visitors 其他指標(biāo)還有：訪問代理類型報(bào)告，錯(cuò)誤或失效訪問統(tǒng)計(jì)報(bào)告等 WEB服務(wù)器的訪問日志文件提供了有關(guān)訪問量指標(biāo)的數(shù)據(jù) 目標(biāo)： 客觀、全面、真實(shí)反映SDB網(wǎng)站的訪問情況基本術(shù)語 訪問日志文件：是由web服務(wù)器產(chǎn)生的,

2、記錄用戶訪問該服務(wù)器相關(guān)信息的文件。 WEB日志文件記錄了來訪者的ip地址、訪問時(shí)間、訪問方法、訪問文件的大小和地址等。但這些數(shù)據(jù)是零散的。 APACHE日志:25 - - 10/May/2001:23:59:54 +0800 GET /a.htm HTTP/1.1 200 4083 IIS的日志：08:34:06 06 GET /test/count/image/0.gif 304基本術(shù)語 文件請求數(shù)(Requests):為了獲得服務(wù)器上的一個(gè)資源（可以是文本、圖像或任何可以被包含在頁面內(nèi)的元素），瀏覽器和它連接的服務(wù)器之間進(jìn)行的一次單一連接。 頁

3、面瀏覽數(shù)(page view): 一次頁面閱覽就是一次頁面的下載，訪問者成功地閱覽到頁面應(yīng)該在他的瀏覽器上完整地看到該頁面。 訪問人數(shù)（visitor）：參考CNNIC用戶會(huì)話數(shù)的定義，具有同一IP地址的訪問者在20分鐘內(nèi)與網(wǎng)站有交互活動(dòng)則被認(rèn)為是同一次進(jìn)入網(wǎng)站，不記錄新的用戶訪問數(shù)； 欄目/頻道：指網(wǎng)站的某一特定目錄，通常目錄層次不超過2級。欄目/頻道可由用戶配置信息（文件或數(shù)據(jù)庫）指定。 系統(tǒng)結(jié)構(gòu)處理流程歸一處理，入庫預(yù)處理統(tǒng)計(jì)分析統(tǒng)計(jì)結(jié)果，入庫數(shù)據(jù)庫日志文件屏蔽日志文件多樣性屏蔽日志格式多樣性系統(tǒng)功能WEBLOGloganlyse日志統(tǒng)計(jì)入庫logconfig系統(tǒng)配置logreport統(tǒng)

4、計(jì)查看日志查詢統(tǒng)計(jì)報(bào)表按站點(diǎn)名按數(shù)據(jù)庫名按報(bào)告方式按始末時(shí)間圖形顯示網(wǎng)站總訪問量月（季、年）度報(bào)告數(shù)據(jù)庫總訪問量月（季、年）度報(bào)告十佳數(shù)據(jù)庫訪問量動(dòng)態(tài)比較安裝準(zhǔn)備 安裝前的準(zhǔn)備： J2sdk的安裝 -JAVA環(huán)境 MYSQL的安裝-數(shù)據(jù)庫環(huán)境 SDB應(yīng)用服務(wù)器的安裝-WEB應(yīng)用環(huán)境安裝準(zhǔn)備 按天分割WEB服務(wù)器訪問日志文件 APACHE(LINUX)需要按日對文件進(jìn)行切割。將日志切割運(yùn)行腳本（安裝包附帶）加入到cron中，設(shè)為每日0點(diǎn)30分運(yùn)行。（也可以使用其他的方式獲得每日日志文件） IIS(WINDOWS)IIS服務(wù)器默認(rèn)按天產(chǎn)生日志文件，一般存放在“C:/WINNT/System32/l

5、ogfile/站點(diǎn)名”目錄下安裝部署安裝WEBLOGWindows: 執(zhí)行Setup.exe，安裝到WEB應(yīng)用目錄下。Linux: 將安裝包解壓到WEB應(yīng)用目錄下。系統(tǒng)的組成：系統(tǒng)包括三個(gè)模塊：WEB化配置模塊 ：weblog/logconfig統(tǒng)計(jì)分析模塊 ：weblog/loganalyse日志查看模塊： weblog/logreport 部署：默認(rèn)情況下第一次登陸weblog系統(tǒng)要先進(jìn)行系統(tǒng)的配置，主要包括如下幾個(gè)方面： 安裝部署1. 設(shè)置存放日志統(tǒng)計(jì)結(jié)果的MYSQL數(shù)據(jù)庫的屬性（在此之前請先安裝數(shù)據(jù)庫）數(shù)據(jù)庫機(jī)器的ip地址數(shù)據(jù)庫名用戶名用戶密碼 安裝部署2.設(shè)置待統(tǒng)計(jì)的站點(diǎn)列表待統(tǒng)計(jì)的

6、站點(diǎn)列表(站點(diǎn)之間以 “,” 分隔)3.設(shè)置每個(gè)待統(tǒng)計(jì)站點(diǎn)的參數(shù)頻道（欄目）或數(shù)據(jù)庫配置文件路徑站點(diǎn)日志文件路徑(目錄名) 日志文件的格式4.設(shè)置頻道（欄目）或數(shù)據(jù)庫配置路徑名（或特征名） 頻道欄目名稱中間以空格格開,每一行一條記錄。例如：“/history 歷史館” 日志文件格式APACHE25 - - 10/May/2001:23:59:54 +0800 GET /a.htm HTTP/1.1 200 4083 訪問IP 訪問時(shí)間 “請求方式 訪問資源 協(xié)議” 狀態(tài)碼 傳送字節(jié)數(shù)對應(yīng)日志格式：%a - - %T %m %U %H %s %b 其中時(shí)間格式為%d/%Mb

7、/%y:%h:%m:%s IIS2004-08-01 08:34:06 06 GET /test/count/image/0.gif 304訪問日期 訪問時(shí)間 訪問IP 請求方式 訪問資源 狀態(tài)碼對應(yīng)日志格式為：%d %t %a %m %U %s#%d 日期#%Mb 月（英文縮寫）#%M 月（數(shù)字）#%y 年#%h 小時(shí)#%m 分鐘#%s 秒%a 訪問者IP %b 發(fā)送字節(jié)數(shù)%B 接收字節(jié)數(shù)%c 訪問者客戶代理%d 訪問日期, example: 2001-5-27 or 5/27/2001%t 訪問時(shí)間, example: 12:23:34 %T 訪問時(shí)間，其格式由后面的

8、TIMEFORMAT指定%p 處理時(shí)間%l 訪問者名%m 請求方式%U 所請求的資源（url)%q 請求的字符串%H 請求使用的協(xié)議%s 請求狀態(tài)碼運(yùn)行配置自動(dòng)運(yùn)行Windows: 將日志統(tǒng)計(jì)分析模塊加入到WINDOWS的“任務(wù)計(jì)劃”中以便后臺(tái)定期自動(dòng)運(yùn)行1)選擇程序/附件/系統(tǒng)工具/任務(wù)計(jì)劃，打開任務(wù)計(jì)劃窗口 2)添加任務(wù)計(jì)劃。按照向?qū)Р襟E添加各項(xiàng)內(nèi)容3)在“運(yùn)行的程序”步驟中，按瀏覽，選擇 weblog.bat（$/weblog/loganalyse/weblog.bat） 4)選擇“每天”執(zhí)行該任務(wù) 5)起始時(shí)間選擇每天的“1:00” 6)輸入本機(jī)超級用戶的用戶名和密碼 7)按確定完成。任務(wù)窗口中將增加該項(xiàng)內(nèi)容 8)右鍵選擇該任務(wù)，可以修改該任務(wù)的屬性 Linux在cro