xx論壇日志分析項(xiàng)目

1、項(xiàng)目描述項(xiàng)目描述 通過對(duì)xx論壇的apache common日志進(jìn)行分析，計(jì)算論壇關(guān)鍵指標(biāo)，供運(yùn)營者進(jìn)行決策。數(shù)據(jù)情況數(shù)據(jù)情況論壇數(shù)據(jù)組成：每天生成一個(gè)數(shù)據(jù)文件，約150MB每行記錄有每行記錄有5部分組成：部分組成：1.訪問訪問ip2.訪問時(shí)間訪問時(shí)間3.訪問資源訪問資源4.訪問狀態(tài)訪問狀態(tài)5.本次流量本次流量關(guān)鍵指標(biāo)關(guān)鍵指標(biāo)-1瀏覽量(pv) 定義：頁面瀏覽量即為PV(Page View)，是指所有用戶瀏覽頁面的總和，用戶每打開一個(gè)頁面就被記錄1 次。分析：網(wǎng)站總瀏覽量，可以考核用戶對(duì)于網(wǎng)站的興趣，就像收視率對(duì)于電視劇一樣。但是對(duì)于網(wǎng)站運(yùn)營者來說，更重要的是，每個(gè)欄目下的瀏覽量。計(jì)算公式：記

2、錄計(jì)數(shù)關(guān)鍵指標(biāo)關(guān)鍵指標(biāo)-2注冊(cè)用戶數(shù) 計(jì)算公式：對(duì)訪問member.php?mod=register的url，計(jì)數(shù)關(guān)鍵指標(biāo)關(guān)鍵指標(biāo)-3獨(dú)立IP數(shù) 定義：一天之內(nèi)，訪問網(wǎng)站的不同獨(dú)立IP 個(gè)數(shù)加和。其中同一IP無論訪問了幾個(gè)頁面，獨(dú)立IP 數(shù)均為1。分析：這是我們最熟悉的一個(gè)概念，無論同一個(gè)IP上有多少電腦，或者其他用戶，都算作一個(gè)獨(dú)立IP。從某種程度上來說，獨(dú)立IP的多少，是衡量網(wǎng)站推廣活動(dòng)好壞最直接的數(shù)據(jù)。公式：對(duì)ip去重求和關(guān)鍵指標(biāo)關(guān)鍵指標(biāo)-4跳出率=跳出數(shù)/PV 定義：只瀏覽了一個(gè)頁面便離開了網(wǎng)站的訪問次數(shù)占總的訪問次數(shù)的百分比，即只瀏覽了一個(gè)頁面的訪問次數(shù) / 全部的訪問次數(shù)匯總。分析

3、：跳出率是非常重要的訪客黏性指標(biāo)，它顯示了訪客對(duì)網(wǎng)站的興趣程度：跳出率越低說明流量質(zhì)量越好，訪客對(duì)網(wǎng)站的內(nèi)容越感興趣，這些訪客越可能是網(wǎng)站的有效用戶、忠實(shí)用戶。該指標(biāo)也可以衡量網(wǎng)絡(luò)營銷的效果，指出有多少訪客被網(wǎng)絡(luò)營銷吸引到宣傳產(chǎn)品頁或網(wǎng)站上之后，又流失掉了，可以說就是煮熟的鴨子飛了。比如，網(wǎng)站在某媒體上打廣告推廣，分析從這個(gè)推廣來源進(jìn)入的訪客指標(biāo)，其跳出率可以反映出選擇這個(gè)媒體是否合適，廣告語的撰寫是否優(yōu)秀，以及網(wǎng)站入口頁的設(shè)計(jì)是否用戶體驗(yàn)良好。計(jì)算公式：(1)統(tǒng)計(jì)一天內(nèi)只出現(xiàn)一條訪問記錄的ip，稱為跳出數(shù) (2)跳出數(shù)/PV關(guān)鍵指標(biāo)關(guān)鍵指標(biāo)-5板塊訪問量pv定義：一天之內(nèi)每個(gè)板塊的訪問量分析

4、：板塊的鏈接url：/forum-110-1.html，其中110表示板塊的ID，1表示這個(gè)板塊的第一頁，只需要計(jì)算url中存在/forum-字符串的數(shù)據(jù)公式：對(duì)板塊分組，求每個(gè)板塊的訪問量關(guān)鍵指標(biāo)關(guān)鍵指標(biāo)-6板塊獨(dú)立IP訪問量定義：一天之內(nèi)每個(gè)板塊的獨(dú)立IP訪問量分析：板塊的鏈接url：/forum-110-1.html，其中110表示板塊的ID，1表示這個(gè)板塊的第一頁，只需要計(jì)算url中存在/forum-字符串的數(shù)據(jù)，然后對(duì)IP進(jìn)行去重公式：對(duì)板塊分組，IP去重，求每個(gè)板塊的獨(dú)立IP訪問量開發(fā)步驟開發(fā)步驟1.使用flume把日志數(shù)據(jù)導(dǎo)入到hdfs中2.明細(xì)日志使用hbase存儲(chǔ)，主鍵使用i

5、p+date+random3.對(duì)數(shù)據(jù)進(jìn)行清洗4.使用hive進(jìn)行數(shù)據(jù)的多維分析5.把hive分析結(jié)果使用sqoop導(dǎo)出到mysql中6.提供圖表和表格進(jìn)行數(shù)據(jù)展示mysql表結(jié)構(gòu)表結(jié)構(gòu)hbase表結(jié)構(gòu)表結(jié)構(gòu)sqoop1.4.4解壓，然后把mysql驅(qū)動(dòng)放在$SQOOP_HOME/lib目錄中把hive中的表數(shù)據(jù)導(dǎo)出到mysql中sqoop export -connect jdbc:mysql:/192.168.1.90:3306/crxy_test -username crxy -password crxy -table bbs_info -fields-terminated-by 001 -export-dir /user/h