基于用戶興趣特征的數(shù)據(jù)預(yù)處理

基于用戶興趣特征的數(shù)據(jù)預(yù)處理

0代理端關(guān)系數(shù)據(jù)預(yù)處理web搜索的目的是在大量網(wǎng)絡(luò)數(shù)據(jù)（如網(wǎng)絡(luò)文檔、網(wǎng)絡(luò)日志）中找到有用的信息和知識(shí)。按照挖掘?qū)ο蟮牟煌?Web挖掘大致可以分為三類:Web內(nèi)容挖掘、Web結(jié)構(gòu)挖掘和Web使用挖掘(WebUsageMining,WUM)。WUM的研究?jī)?nèi)容是對(duì)用戶訪問網(wǎng)絡(luò)的行為日志進(jìn)行分析,以發(fā)現(xiàn)有價(jià)值的潛在訪問模式,其分析結(jié)果可以應(yīng)用于個(gè)性化推薦等諸多方面。目前已存在多個(gè)WUM的軟件工具。WUM主要包括數(shù)據(jù)預(yù)處理、模式發(fā)現(xiàn)和模式應(yīng)用三個(gè)基本過程。其中數(shù)據(jù)預(yù)處理是整個(gè)過程的基礎(chǔ)和實(shí)施有效挖掘的前提,是WUM質(zhì)量保證的關(guān)鍵。數(shù)據(jù)預(yù)處理是對(duì)存在不完整的、含噪聲的和不一致數(shù)據(jù)的原始日志文件進(jìn)行的數(shù)據(jù)清洗、數(shù)據(jù)集成、數(shù)據(jù)變換和數(shù)據(jù)歸約的過程。數(shù)據(jù)預(yù)處理可以提高數(shù)據(jù)質(zhì)量,從而提高挖掘結(jié)果的質(zhì)量。目前在WUM領(lǐng)域?qū)?shù)據(jù)的預(yù)處理過程主要包括數(shù)據(jù)清洗、用戶識(shí)別、會(huì)話識(shí)別、頁面過濾、路徑補(bǔ)全、事務(wù)識(shí)別等一系列過程。其中數(shù)據(jù)清洗只是簡(jiǎn)單地認(rèn)為包含圖片文件(GIF、JPEG等)或其他非HTTP類文件的記錄是噪音數(shù)據(jù),并將其剔除,沒有對(duì)剩余的訪問記錄作其他的處理,更沒有對(duì)數(shù)據(jù)進(jìn)行歸約。數(shù)據(jù)歸約在處理代理服務(wù)器日志時(shí)更加必要。這是因?yàn)榇矸?wù)器日志涉及站點(diǎn)眾多、數(shù)據(jù)規(guī)模巨大,數(shù)據(jù)預(yù)處理更加復(fù)雜和困難。因此研究代理端WUM數(shù)據(jù)預(yù)處理時(shí)考慮數(shù)據(jù)歸約甚為必要。而代理服務(wù)器反映多用戶/多站點(diǎn)的訪問模式,能夠獲得用戶更全面的瀏覽特征,發(fā)現(xiàn)用戶行為在站點(diǎn)間的轉(zhuǎn)移情況,從而實(shí)現(xiàn)不同站點(diǎn)之間的信息交互推薦。為了能夠在不丟失有價(jià)值信息的情況下降低代理服務(wù)器端WUM的數(shù)據(jù)規(guī)模,并從行為日志中發(fā)現(xiàn)更有推薦價(jià)值的訪問模式,提出了基于用戶興趣特征的數(shù)據(jù)預(yù)處理方法,過濾用戶因偶然發(fā)生的短期興趣而訪問網(wǎng)絡(luò)的行為記錄。因?yàn)檫@些雜亂無章的數(shù)據(jù)一方面不具有規(guī)律性,而且會(huì)淹沒用戶長(zhǎng)期興趣中規(guī)律性的行為,難以發(fā)現(xiàn)有推薦價(jià)值的訪問模式。1基于興趣特征的wm數(shù)據(jù)預(yù)處理1.1將用戶作為行為的被害者,一般可確定用戶的興趣根據(jù)個(gè)性心理學(xué)研究,人的興趣在傾向性、廣度、穩(wěn)定性和效能方面都表現(xiàn)出不同的特點(diǎn),稱為興趣的品質(zhì)。用戶興趣是多方面的,具有多個(gè)興趣點(diǎn)(InterestPoint,IP),而且各個(gè)興趣點(diǎn)有強(qiáng)度上的變化和地位上的差別。興趣按其保持時(shí)間的長(zhǎng)短可分為長(zhǎng)期興趣和短期興趣。長(zhǎng)期興趣是指用戶在一段相對(duì)長(zhǎng)的時(shí)間里一直感興趣的事物,是用戶持久而穩(wěn)定、占主導(dǎo)地位的興趣傾向;短期興趣指的是用戶由于臨時(shí)需要或其他原因?qū)δ呈挛锂a(chǎn)生的突發(fā)興趣,是隨機(jī)發(fā)生的興趣傾向。短期興趣是用戶并不熟知的信息內(nèi)容,這種對(duì)內(nèi)容陌生的思想狀態(tài)反映在行為中必然是很強(qiáng)的偶然性和隨機(jī)性,而從這些具有很強(qiáng)偶然性和隨機(jī)性的短期興趣用戶訪問記錄中發(fā)現(xiàn)的訪問模式,其推薦價(jià)值是很小的。事實(shí)上,用戶通常更信任經(jīng)驗(yàn)值高的用戶,甚至希望推薦的內(nèi)容來自專家,尤其在當(dāng)前信息是其所不熟悉的內(nèi)容時(shí)。只有當(dāng)日志中的用戶行為規(guī)律具有推薦價(jià)值時(shí),經(jīng)過挖掘得到的規(guī)則或模式才是真正有用的。因此這些不具有推薦價(jià)值的短期興趣用戶的訪問記錄便成為模式發(fā)現(xiàn)時(shí)的噪音數(shù)據(jù),在數(shù)據(jù)預(yù)處理時(shí)應(yīng)該被濾除。1.2用戶訪問的網(wǎng)站及頻次用戶的訪問行為受其興趣支配。因此從長(zhǎng)期訪問歷史看,用戶在一段時(shí)間內(nèi)所訪問的大部分網(wǎng)頁持續(xù)地落在少數(shù)幾個(gè)長(zhǎng)期興趣內(nèi),而其余網(wǎng)頁則不規(guī)則地隨機(jī)分散在若干短期興趣內(nèi)。即用戶的興趣主要集中在幾個(gè)站點(diǎn)和目錄,其他的則分散在訪問次數(shù)很少的網(wǎng)站和目錄。為了驗(yàn)證用戶瀏覽行為的分布特征,分別對(duì)兩組日志進(jìn)行了分析。第一組數(shù)據(jù)為serverlog(1995年8月的NASAserveraccesslog)。針對(duì)每個(gè)用戶,實(shí)驗(yàn)對(duì)其訪問的所有目錄按訪問次數(shù)進(jìn)行排序,統(tǒng)計(jì)了TOPN目錄的第n個(gè)目錄在該用戶所有訪問記錄中所占的比率,對(duì)所有用戶求均值,結(jié)果如圖1所示。第二組數(shù)據(jù)為Proxylog(國(guó)內(nèi)某大學(xué)2005年1月proxyaccesslog),包括240個(gè)用戶。針對(duì)每個(gè)用戶,實(shí)驗(yàn)對(duì)其訪問的所有網(wǎng)站按訪問次數(shù)進(jìn)行排序,統(tǒng)計(jì)了當(dāng)該用戶的訪問記錄達(dá)到某一百分比時(shí),涉及的該用戶訪問的前TOPN網(wǎng)站數(shù),所有用戶的均值結(jié)果如圖2所示。從圖1和圖2可以看出,用戶訪問的網(wǎng)站和目錄情況具有明顯的重尾分布特征。在圖2中,所有用戶平均訪問的網(wǎng)站總數(shù)是82.3個(gè),而訪問記錄的80%集中在11個(gè)網(wǎng)站上,50%集中在3個(gè)網(wǎng)站上,這說明用戶訪問的網(wǎng)站具有明顯的集中性,除幾個(gè)長(zhǎng)期訪問外,其他的只是偶爾訪問一次或兩次。那些用戶偶爾訪問一次或兩次的網(wǎng)站或目錄是用戶短期興趣導(dǎo)致的訪問行為,不具有規(guī)律性,而且會(huì)使用戶長(zhǎng)期興趣中規(guī)律性的東西淹沒在這些雜亂無章的數(shù)據(jù)中,難以發(fā)現(xiàn)有推薦價(jià)值的訪問模式。因此在數(shù)據(jù)的預(yù)處理中把所有歷史數(shù)據(jù)都同等的對(duì)待來進(jìn)行分析和挖掘是不合適的,必須去除這些噪聲數(shù)據(jù)。1.3個(gè)人興趣特征轉(zhuǎn)化為長(zhǎng)期興趣基于興趣特征的數(shù)據(jù)預(yù)處理是要過濾掉短期興趣用戶的訪問記錄,但是有些短期興趣的記錄是不可以濾除的。因?yàn)橛脩舻呐d趣會(huì)隨著時(shí)間轉(zhuǎn)移,一段時(shí)間之后用戶可能會(huì)對(duì)某一個(gè)興趣點(diǎn)不再感興趣,也可能另一興趣點(diǎn)在逐漸成為其長(zhǎng)期興趣,從而使短期興趣轉(zhuǎn)化為長(zhǎng)期興趣,這些可以轉(zhuǎn)化成長(zhǎng)期興趣的興趣點(diǎn)是不可以過濾掉的。所以嚴(yán)格說來,基于興趣特征的數(shù)據(jù)預(yù)處理是要過濾掉那些過期的短期興趣記錄。為實(shí)現(xiàn)這一目的,定義了用戶的經(jīng)驗(yàn)值(ExperienceValue,ExpV)和最近訪問密度(RecentAccessDensity,RAD)來發(fā)現(xiàn)過期的短期興趣,實(shí)現(xiàn)數(shù)據(jù)的噪音過濾。1.3.1關(guān)注某一興趣點(diǎn)的分析如何測(cè)量用戶的在線經(jīng)驗(yàn)并使成功用戶的經(jīng)驗(yàn)讓更多的用戶復(fù)制是值得深入研究的問題。用戶的使用頻度和使用時(shí)間能夠在一定程度上反映用戶的在線經(jīng)驗(yàn)。如果用戶對(duì)一個(gè)興趣點(diǎn)訪問次數(shù)多、在線時(shí)間長(zhǎng),則用戶對(duì)這個(gè)興趣點(diǎn)的經(jīng)驗(yàn)值大。為簡(jiǎn)化運(yùn)算,這里將用戶對(duì)某一興趣點(diǎn)的在線經(jīng)驗(yàn)值ExpV定義為訪問次數(shù)Count(IP)。用戶的一個(gè)會(huì)話是一次訪問,所以訪問次數(shù)是用戶瀏覽歷史中包含IP的會(huì)話個(gè)數(shù)。因此通過會(huì)話識(shí)別和統(tǒng)計(jì)會(huì)話個(gè)數(shù)即可得到用戶的在線經(jīng)驗(yàn)值ExpV。W3C將會(huì)話定義為用戶從進(jìn)入站點(diǎn)到離開時(shí)刻所進(jìn)行的一組活動(dòng)。會(huì)話識(shí)別就是將用戶的所有訪問序列分成多個(gè)單獨(dú)的用戶一次訪問序列,將用戶訪問記錄集劃分為會(huì)話。這里會(huì)話識(shí)別采用常用的固定時(shí)間間隔方法,即如果用戶請(qǐng)求的相鄰的任意兩個(gè)頁面之間的訪問時(shí)間間隔超過了某個(gè)固定時(shí)間閾值(如30m),則認(rèn)為用戶開始了一個(gè)新的會(huì)話。1.3.2基于ip的興趣點(diǎn)行為分析最近訪問密度RAD用來發(fā)現(xiàn)用戶最近很少訪問的興趣點(diǎn),突出其最近總是頻繁訪問的興趣點(diǎn)。定義1興趣點(diǎn)的最近訪問密度RAD:假設(shè)用戶A對(duì)一個(gè)興趣點(diǎn)IP第一次訪問為會(huì)話First(IP),最后一次訪問為會(huì)話Last(IP),當(dāng)前會(huì)話為Sc,在First(IP)與Sc之間會(huì)話總數(shù)Ns,IP出現(xiàn)的會(huì)話次數(shù)為Count(IP),則用戶A對(duì)興趣點(diǎn)IP的訪問密度為:用戶可能在過去一段時(shí)間之后重新對(duì)某一興趣點(diǎn)開始感興趣,所以定義過期時(shí)間θ閾值來限制最后一次會(huì)話和當(dāng)前會(huì)話的間隔,從而提升該興趣點(diǎn)的RAD。當(dāng)間隔超過θ,將興趣點(diǎn)IP的RAD置為零,同時(shí)將First(IP)和Last(IP)置為當(dāng)前會(huì)話。1.3.3興趣點(diǎn)ip是長(zhǎng)期興趣給定最小最近訪問密度閾值minRAD為α和最小經(jīng)驗(yàn)值minExpV為β,可以根據(jù)用戶對(duì)其訪問歷史中的每個(gè)目錄的訪問情況進(jìn)行數(shù)據(jù)過濾。對(duì)用戶A的一個(gè)興趣點(diǎn)IP,如果ExpV>β且RAD>α,則興趣點(diǎn)IP是A的長(zhǎng)期興趣;否則如果ExpV<β并且RAD>α,則IP是A的短期興趣;如果ExpV>β并且RAD<α,則意味著用戶A曾經(jīng)對(duì)興趣點(diǎn)IP很感興趣,但現(xiàn)在已經(jīng)不感興趣了,即過期的長(zhǎng)期興趣;若ExpV<β且RAD<α,則意味著興趣點(diǎn)IP曾經(jīng)是用戶A的短期興趣,即過期短期興趣,則與此相關(guān)的訪問記錄數(shù)據(jù)應(yīng)該濾除。2生成的關(guān)鍵信息訪問記錄,提升用戶的訪問能力和支持度實(shí)驗(yàn)數(shù)據(jù)上文采用的Proxy日志。先采用通用的WUM數(shù)據(jù)預(yù)處理方法清洗掉包含圖片文件或其他非HTTP類文件的記錄得到數(shù)據(jù)1,然后利用本文提出的方法進(jìn)一步進(jìn)行數(shù)據(jù)過濾得到數(shù)據(jù)2。圖3給出了分別提取某一比例(如80%)的用戶訪問記錄,將會(huì)從用戶的訪問歷史中過濾掉的網(wǎng)站個(gè)數(shù)百分比,其中用戶訪問的網(wǎng)站是按其訪問次數(shù)多少降序排列的。如圖3所示,僅僅將訪問記錄從100%減少到90%,過濾掉的網(wǎng)站百分比即為74%,有效減少了每個(gè)用戶對(duì)應(yīng)的網(wǎng)站數(shù),降低了代理服務(wù)器端WUM的復(fù)雜度。圖4給出了分別將最小經(jīng)驗(yàn)值minExpV設(shè)為1～10,減少的數(shù)據(jù)量百分比。另外,采用關(guān)聯(lián)規(guī)則算法Apriori算法分別在數(shù)據(jù)1和數(shù)據(jù)2上進(jìn)行挖掘,發(fā)現(xiàn)頻繁模式。對(duì)發(fā)現(xiàn)的頻繁模式內(nèi)容進(jìn)行分析發(fā)現(xiàn),經(jīng)過基于興趣特征的數(shù)據(jù)預(yù)處理后的數(shù)據(jù)2,能夠提升經(jīng)驗(yàn)用戶的訪問模式的支持度和置信度,突出顯著模式。將這些模式推薦給用戶更能體現(xiàn)推薦系統(tǒng)的推薦價(jià)值。3基于用戶興趣特征的數(shù)據(jù)預(yù)處理為了能夠在盡量不丟失有價(jià)值信息的情況下降低代理服務(wù)器端WUM的數(shù)據(jù)規(guī)模,并從