基于ID3算法的Web日志挖掘預(yù)處理中的Frame頁面過濾技術(shù)的研究

1、基于ID3算法的Web日記開掘預(yù)處置懲罰中的Frame頁面過濾技能的研究摘要形貌了eb日記數(shù)據(jù)預(yù)處置懲罰技能的一種革新技能Frae過濾技能，對其關(guān)鍵部門與運作形式舉行了研究與革新。討論了Frae頁面過濾預(yù)處置懲罰技能在eb頁面開掘中的服從題目，闡發(fā)了決議樹算法中最知名的算法ID3算法，并用ID3算法對Frae過濾算法舉行了革新，比力新舊算法的實行服從及算法效果質(zhì)量，得出了新算法實行服從更高及質(zhì)量更好的結(jié)論，從而搞高了對存在Frae頁面的網(wǎng)站實行eb日記開掘算法時開掘效果的愛好度。關(guān)鍵詞ID3算法；eb日記開掘；eb日記預(yù)處置懲罰;Frae頁面過濾Internet的敏捷生長使得eb為人們提供了內(nèi)

2、容富厚且數(shù)量宏大的信息，隨著數(shù)據(jù)開掘技能的出現(xiàn)以及生長，數(shù)據(jù)開掘漸漸被應(yīng)用于eb數(shù)據(jù)。eb日記開掘是三大類eb開掘之一，它重要包羅數(shù)據(jù)預(yù)處置懲罰和開掘算法實行兩個重要階段.實行開掘算法之前要對eb日記文件舉行預(yù)處置懲罰，將其轉(zhuǎn)化為用戶會話集.本文側(cè)重討論eb日記開掘預(yù)處置懲罰技能中的Frae頁面過濾預(yù)處置懲罰技能，即在傳統(tǒng)的eb日記預(yù)處置懲罰歷程中參加Frae頁面過濾這一步調(diào)，并提出了用決議樹算法知名的ID3算法舉行Frae頁面過濾，進一步進步了日記數(shù)據(jù)預(yù)處置懲罰的質(zhì)量和服從，從而為開掘算法的實行提供更為正確的數(shù)據(jù)，進步了對存在Frae頁面的網(wǎng)站實行eb日記開掘算法時整個eb日記開掘的服從及開

3、掘效果的愛好性。2.1eb日記預(yù)處置懲罰技能近況eb日記開掘134是指將數(shù)據(jù)開掘技能應(yīng)用于eb辦事器日記文件，以創(chuàng)造隱蔽在此中的用戶拜候形式。eb日記預(yù)處置懲罰是在eb日記開掘前，對eb日記舉行清算、過濾以及重新組合的歷程，其目的是剔除日記中對開掘歷程無用的屬性及數(shù)據(jù)，并將eb日記數(shù)據(jù)轉(zhuǎn)換為開掘算法可識別的保存情勢。到如今為止提出的eb日記的預(yù)處置懲罰技能，它包羅三種要領(lǐng)識別用戶的運動聚集：(1)eb辦事器提供kie，那么具有雷同kie值的頁面哀求是來自同一個用戶，那么用戶會話識別的重要的使命就是將eb日記分別為差異kie值所對應(yīng)的頁面哀求聚集。(2)eb辦事器沒有提供kie，但每個網(wǎng)站用戶都

4、要一個登錄標識符方可拜候站點，那么闡發(fā)東西即可利用登錄標識符識別會話。假設(shè)eb辦事器既沒有kie也沒有登錄標識符，可以利用主機地點，同時闡發(fā)日記中每筆記載的哀求頁和引用頁的URL，然后根據(jù)eb站點的拓撲布局超鏈接和別的開導式規(guī)矩識別用戶會話，但是這種要領(lǐng)的正確度較低，不克不及100準確地識別出每個哀求對應(yīng)的用戶。這里重要討論第3種預(yù)處置懲罰要領(lǐng)。一樣平常eb日記預(yù)處置懲罰重要包羅：數(shù)據(jù)凈化、用戶識別、會話識別、途徑增補、事件識別數(shù)據(jù)凈化指刪除eb辦事器日記中與開掘算法無關(guān)的數(shù)據(jù)。由于在eb日記中通常只有HTL文件與用戶會話相干，以是通過查抄URL的后綴刪除不相干的數(shù)據(jù)。用戶識別是指要識別出每個

5、拜候網(wǎng)站的用戶。一樣平常eb日記開掘東西中常利用基于日記/站點的要領(lǐng)，并幫助一些開導式規(guī)矩幫助識別用戶。會話識別是將用戶的拜候記載分為單個的會話。通常接納超時要領(lǐng)識別用戶會話，假設(shè)兩頁間哀求時間的差值凌駕必然的邊界(超時閾值)就以為用戶開始了一個新的會話。途徑增補是由于當?shù)鼐彺婧褪鹄磙k事器緩存的存在，使得辦事器的日記會遺漏一些緊張的頁面哀求。途徑增補就是將這些遺漏的哀求增補到用戶會話中，辦理的要領(lǐng)雷同于用戶識別中的要領(lǐng)。事件識別，用戶會話是eb日記開掘中唯一具備天然事件特性的元素，但是，對付某些開掘算法來說大概用戶會話的粒度太大，必要利用支解算法將其轉(zhuǎn)化為更小的事件。一樣平常通常接納圖1所示的

6、數(shù)據(jù)預(yù)處置懲罰歷程。假設(shè)根據(jù)前面所先容的日記預(yù)處置懲罰技能對eb日記舉行預(yù)處置懲罰，那么Frae頁面和其SubFrae頁面也將一起出如今用戶會話文件中。在如許的用戶會話文件上舉行數(shù)據(jù)開掘，F(xiàn)rae頁面和SubFrae頁面作為頻仍遍歷途徑大概頻仍拜候頁組出現(xiàn)的概率很高，而且他們同時出如今開掘效果中，這就低落了開掘效果的愛好性。圖1典范的eb日記數(shù)據(jù)預(yù)處置懲罰歷程2.2Frae頁面過濾預(yù)處置懲罰技能HTL范例通過“Frae標識表記標幟支持多窗口頁面，每個窗口里裝載的頁面臨應(yīng)一個URL。當用戶哀求Frae頁面的URL時，F(xiàn)rae頁面和此中的SubFrae頁面作為一個多窗口頁面展如今用戶眼前，我們可以

7、將用戶對Frae頁面的哀求當作績是對多窗口頁面的哀求。如許，在數(shù)據(jù)預(yù)處置懲罰階段將Frae頁面和此中的SubFrae頁面作為一個團體思量，而且把Frae頁面臨應(yīng)的URL當作這個團體的代表。從全局而言，如許處置懲罰可以有用地消除Frae頁面臨日記開掘的影響，終極進步開掘效果的愛好性。圖2革新的eb日記數(shù)據(jù)預(yù)處置懲罰歷程為此，我們對圖1中形貌的常用的eb日記數(shù)據(jù)預(yù)處置懲罰技能舉行相應(yīng)的革新，圖2是革新后的數(shù)據(jù)預(yù)處置懲罰歷程。革新的eb日記數(shù)據(jù)預(yù)處置懲罰歷程中，在會話識別與途徑增補這兩個步調(diào)之間增長了Frae頁面過濾。Frae頁面過濾要完成的使命是，根據(jù)從站點的拓撲布局中提取出的Frae-SubFr

8、ae干系表，從會話識別歷程中天生的會話文件中，探求Frae頁面及其SubFrae頁面，將會話文件中對Frae和其SubFrae頁面的哀求用Frae頁面取代，從而刪除會話文件中多余的SubFrae頁面。由于刪除了會話文件中的SubFrae頁面，因此會喪失SubFrae頁面中包羅的超鏈接信息，以是接下來的途徑增補步調(diào)中必需利用提拔的站點布局。如上文所述，我們應(yīng)用Frae頁面過濾技能有用地消除了Frae頁面臨日記開掘的影響，然而我們知道eb日記開掘的記載是成千上萬的，上述Frae頁面過濾算法中是對每個用戶對話的每個頁面舉行是否Frae和SubFrae的斷定，而且對斷定出的子框架逐個地舉行刪除，而且由

9、于SubFrae頁面的刪除導致反面必需用提拔的站點布局，固然較一樣平常預(yù)處置懲罰技能增長了愛好度，但是服從照舊比力低的，而且也增長了開銷。而且SubFrae過濾中被刪去，在反面的途徑補全中可否完全規(guī)復也值得高榷。而且有快速分類性子允很多粒度層的決議樹分類算法可以辦理此題目。本文在此用決議樹算法13中知名的ID3算法對進步Frae過濾服從舉行了一些探究3.1ID3算法13的形貌ID3算法的根本頭腦是貪心算法，接納自上而下的分而治之的要領(lǐng)布局決議樹。起首檢測練習數(shù)據(jù)集的全部特性，選擇信息增益最大的特性A創(chuàng)立決議樹根節(jié)點，由該特性的差異取值創(chuàng)立分枝，對各分枝的實例子集遞歸，用該要領(lǐng)創(chuàng)立樹的節(jié)點和分枝

10、，直到某一子會合的數(shù)據(jù)都屬于同一種別，大概沒有特性可以在用于對數(shù)據(jù)舉行支解。算法形貌如下：算法：Generate-deisin_tree由給定的練習數(shù)據(jù)集產(chǎn)生一棵決議樹。輸入：練習樣本Saples，由離散值屬性表現(xiàn)；候選屬性的聚集attribute_list輸出：一棵決議樹要領(lǐng)：1)創(chuàng)立結(jié)點N2)ifSaples都在同一類then3)返回N作為葉結(jié)點，以類標識表記標幟;4)ifattribute_list為空then5)返回N作為葉結(jié)點，標識表記標幟為Saples最平凡的類；/利用多數(shù)表決。6)選擇attribute_list中具有最高信息增益(關(guān)于信息增益的求法請拜見文獻3)的屬性test_

11、attribute;7)標識表記標幟結(jié)點N為test_attribute;8)freahtest_attribute中值ai/分別Saple;9)由結(jié)點N長出一個條件為test_attribute=ai的分枝；10)設(shè)Si是Saple中test_attribute=ai的樣本聚集/一個分別11)ifSi為空then12)加上一個樹葉，標識表記標幟為Saples中最平凡的類；13)else加上一個由Generate_deisin_tree(Si，attribute_list_返回的結(jié)點3.2基于ID3算法的Frae頁面過濾算法與服從闡發(fā)輸入：FS表PidFrae，PidSubFrae對的聚集;侯

12、選屬性的聚集attribute_list(包羅index.htl，tp.htl，left.htl，ain.htl)輸出：一棵斷定樹freahusersessinuserid，pid1，pid2，pidkurrentFrae=nullake_nde(eb)if(urrentFrae，Pidi)FS)ake_tree(urrentFrae，eb_left)elseif(PidiD(FS)urrentFrae=Pidiake_deitin_tree(urrentFrae，eb_right)elseake_deisitn_tree(urrent，eb_left)ifattribute_list=nul

13、lake_deitin_tree(urrentFrae，eb_right);elseifGain(nefattribute_list)allgain(attribute_list);/Gain()為信息增益函數(shù)urrentFrae=test_attribute;fraifeahtest_attributeifnt(test_attribute=ai)ake_desitin_tree(ai，eb_left)elsegenerate_deisin_tree(ai，eb_right)我們在這里以為網(wǎng)頁上每個頁面都是eb頁面，以是它的信息增益最高，因此以它為根結(jié)點。urrentFrae變量記載了當前處

14、置懲罰的頁面，假設(shè)當前頁不是Frae頁面時那么將其添到左子樹中，不然，即PidiD(FS)，那么將當前頁面的標識符Pidi賦給urrentFrae，并將其添加到右子樹中，且將它包羅的SubFrae頁面仍添加到左子樹中。由于我們感趣的頁面是Frae頁面，以是它的點擊率最高，其信息增益最大，因此我們將信息增益最大的總是添加到eb右子樹中，而當前頁不切合Frae頁面屬性的就是SubFrae頁，將其添加到左子樹中。如許，決議樹的右枝就是Frae，左枝就是SubFrae.很輕易就完成了會話識別，而且由于SubFrae并沒有被刪去，因此在反面的途徑增補中將其回復就可以了。較之Frae過濾算法，此算法略去了

15、提拔站點布局這一步，因此更大地進步了進步了日記數(shù)據(jù)預(yù)處置懲罰的速率及預(yù)處置懲罰效果的質(zhì)量。3.3數(shù)據(jù)闡發(fā)用長度為9B的日記，此中包羅10萬筆記載。日記數(shù)據(jù)中有417個差異的HTL頁面，從中識別出1902個用戶會話。通過開掘頻仍拜候頁組比力一樣平常數(shù)據(jù)預(yù)處置懲罰技能Frae頁面過濾預(yù)處置懲罰技能和基于ID3頁面過濾預(yù)處置懲罰技能。其算法比力如下表要領(lǐng)絕對支持度|FG1|FG2|FG3|FG4|FG5|FG6|FG7|一樣平常技能7023578060243*6024779465254*Frae革新技能302331162+155510072203+基于ID3的Frae革新技能20243110+11065755510+說明：絕對支持度：指包羅頻仍拜候頁組的最小用戶會話個數(shù)|FGi|：長度為i的頻仍拜候頁組的數(shù)量*：表現(xiàn)創(chuàng)造的頻仍拜候頁組是用戶不感愛好的+：表現(xiàn)創(chuàng)造的頻仍拜候頁組是用戶較感愛好的+：表現(xiàn)創(chuàng)造的頻仍拜候頁組是用戶感愛好的上述數(shù)據(jù)表白，通過在eb日記預(yù)處置懲罰階段增長ID3算法舉行Frae過濾步調(diào)后，其日記數(shù)據(jù)預(yù)處置懲罰效果的質(zhì)量比一樣平常技能及Frae革新技能都高，因此更大程度地進步了開掘效果的愛好