利用分塊重要度進(jìn)行中文網(wǎng)頁(yè)分類(lèi)的研究.ppt

利用分塊重要度進(jìn)行中文網(wǎng)頁(yè)分類(lèi)的研究,段 昕 山東大學(xué)計(jì)算機(jī)學(xué)院,第1頁(yè),引 言,互聯(lián)網(wǎng)的發(fā)展和信息量俱增使得人們對(duì)于主題網(wǎng)頁(yè)（以下簡(jiǎn)稱(chēng)“網(wǎng)頁(yè)”）自動(dòng)分類(lèi)的要求越來(lái)越迫切。 傳統(tǒng)網(wǎng)頁(yè)分類(lèi)將整個(gè)網(wǎng)頁(yè)看作一個(gè)原子單元進(jìn)行整體處理，但是由于網(wǎng)頁(yè)中一些“噪聲”信息的存在，不僅增加了處理的復(fù)雜度，還影響了網(wǎng)頁(yè)自動(dòng)分類(lèi)的效果，因而需要一種分類(lèi)質(zhì)量更高的網(wǎng)頁(yè)分類(lèi)方法。,第2頁(yè),網(wǎng)頁(yè)分塊,網(wǎng)頁(yè)中的信息并不都是具有相同的重要度的，比如大字標(biāo)題就要比導(dǎo)航條更加引人注目。網(wǎng)頁(yè)中的不同信息由于所處的位置、占據(jù)的空間大小或者內(nèi)容不同而具有不同的重要度。所以，我們可以將網(wǎng)頁(yè)按照內(nèi)容分塊，利用分塊的一些特征來(lái)進(jìn)行網(wǎng)頁(yè)分類(lèi)，從而提高分類(lèi)的質(zhì)量。,第3頁(yè),第4頁(yè),網(wǎng)頁(yè)分塊方法（1）,基于位置關(guān)系的分塊法,利用網(wǎng)頁(yè)頁(yè)面的布局進(jìn)行分塊，將一個(gè)網(wǎng)頁(yè)分成上、下、左、右和中間5個(gè)部分,再根據(jù)這5個(gè)部分的特征進(jìn)行分類(lèi)；,實(shí)際的網(wǎng)頁(yè)結(jié)構(gòu)要復(fù)雜得多，這種基于網(wǎng)頁(yè)布局的方法并不能適用于所有的網(wǎng)頁(yè)；,這種方法切分的網(wǎng)頁(yè)粒度比較粗，有可能破壞網(wǎng)頁(yè)本身的內(nèi)在特征，難以充分包括真?zhèn)€網(wǎng)頁(yè)的語(yǔ)義特征。,第5頁(yè),網(wǎng)頁(yè)分塊方法（2）,基于文檔對(duì)象模型（DOM）的分塊法,找出網(wǎng)頁(yè)HTML文檔里的特定標(biāo)簽，利用標(biāo)簽項(xiàng)將HTML文檔表示成一個(gè)DOM樹(shù)的結(jié)構(gòu)；,特定標(biāo)簽包括heading、table、paragraph和list等；,在許多情況下，文檔對(duì)象模型不是用來(lái)表示網(wǎng)頁(yè)內(nèi)容結(jié)構(gòu)的，所以利用它不能夠準(zhǔn)確地對(duì)網(wǎng)頁(yè)中各分塊的語(yǔ)義信息進(jìn)行辨別。,第6頁(yè),網(wǎng)頁(yè)分塊方法（3）,基于視覺(jué)特征網(wǎng)頁(yè)分塊法（VIPS）,利用字體、顏色、大小等網(wǎng)頁(yè)版面特征，根據(jù)一定的語(yǔ)義關(guān)聯(lián)，將整個(gè)網(wǎng)頁(yè)表示成一棵HTML DOM樹(shù)；,利用橫豎線條將DOM樹(shù)節(jié)點(diǎn)所對(duì)應(yīng)的分塊在網(wǎng)頁(yè)中分隔開(kāi)來(lái)，構(gòu)成網(wǎng)頁(yè)的標(biāo)準(zhǔn)分塊；,每個(gè)節(jié)點(diǎn)通過(guò)一致度（DOC）來(lái)衡量它與其它節(jié)點(diǎn)的語(yǔ)義相關(guān)性，從而將相關(guān)的分塊聚集在一起；,利用預(yù)先設(shè)定的一致度（PDOC）作為閾值控制分割粒度，當(dāng)所有網(wǎng)頁(yè)的DOC都不小于PDOC時(shí)，網(wǎng)頁(yè)分割就可以停止了。,第7頁(yè),網(wǎng)頁(yè)分塊重要度的標(biāo)定,利用網(wǎng)頁(yè)的空間和內(nèi)容特征可以對(duì)分塊進(jìn)行重要度的標(biāo)注，共分為4個(gè)級(jí)別：,級(jí)別一 廣告、版權(quán)等噪聲信息 級(jí)別二 導(dǎo)航條、網(wǎng)站目錄等與網(wǎng)頁(yè)標(biāo)題相關(guān) 性不大但有一定用處的信息 級(jí)別三 與網(wǎng)頁(yè)主題一致但并不是十分突出的 信息，如相關(guān)標(biāo)題、標(biāo)題索引等 級(jí)別四 大字標(biāo)題、正文等 網(wǎng)頁(yè)中最突出部 分的信息,第8頁(yè),第9頁(yè),實(shí) 驗(yàn),為了檢驗(yàn)利用網(wǎng)頁(yè)分塊技術(shù)進(jìn)行中文主題網(wǎng)頁(yè)分類(lèi)的質(zhì)量，我們將其與傳統(tǒng)網(wǎng)頁(yè)分類(lèi)法進(jìn)行了比較。選取政治、藝術(shù)、醫(yī)藥、體育、軍事、經(jīng)濟(jì)、教育、交通、計(jì)算機(jī)、環(huán)境等10大類(lèi)共計(jì)3000篇主題網(wǎng)頁(yè)進(jìn)行實(shí)驗(yàn)，其中訓(xùn)練集2000篇，測(cè)試集1000篇。,第10頁(yè),在進(jìn)行特征提取時(shí)，采用了開(kāi)方檢驗(yàn)( test, CHI)特征提取法，計(jì)算特征項(xiàng)t和類(lèi)別c的相關(guān)性如下：,第11頁(yè),分類(lèi)時(shí)采用SVM分類(lèi)器，核函數(shù)采用徑向基函數(shù)： 最通用的判定規(guī)則是采用高斯函數(shù)：,第12頁(yè),實(shí)驗(yàn)描述,首先將整篇網(wǎng)頁(yè)看作一個(gè)原子單元，在訓(xùn)練過(guò)程中，訓(xùn)練集實(shí)例經(jīng)過(guò)中文分詞和特征選取處理后被表示成向量形式，用來(lái)描述類(lèi)別模式，在分類(lèi)過(guò)程中使用。 在分類(lèi)過(guò)程中，一個(gè)待分類(lèi)的中文網(wǎng)頁(yè)，經(jīng)過(guò)中文分詞并表示成向量后，應(yīng)用分類(lèi)算法與訓(xùn)練過(guò)程得到的類(lèi)別模式逐一比較，得到候選類(lèi)別列表，然后同訓(xùn)練過(guò)程中得到的每個(gè)類(lèi)別的閾值相比較，保留大于閾值的類(lèi)別，并作為該網(wǎng)頁(yè)的分類(lèi)結(jié)果。,第13頁(yè),實(shí)驗(yàn)描述,然后利用VIPS法對(duì)網(wǎng)頁(yè)進(jìn)行分塊，并根據(jù)4條標(biāo)準(zhǔn)對(duì)分塊進(jìn)行標(biāo)注，利用級(jí)別較高的分塊提取文本，重復(fù)第一步工作，得到利用分塊法的分類(lèi)結(jié)果。,第14頁(yè),實(shí)驗(yàn)結(jié)果,在分類(lèi)系統(tǒng)中，查全率和查準(zhǔn)率反映了分類(lèi)質(zhì)量的兩個(gè)不同方面，兩者必須綜合考慮，表示為F1測(cè)試值。本實(shí)驗(yàn)用F1值來(lái)衡量最終的分類(lèi)質(zhì)量。其中：,第15頁(yè),傳統(tǒng)方法 分塊方法,查全率(%) 查準(zhǔn)率(%) F1(%) 查全率(%) 查準(zhǔn)率(%) F1(%),政 治 93.413 89.143 91.228 95.210 92.442 93.806,藝 術(shù) 93.902 98.718 96.250 96.341 98.750 97.531,醫(yī) 藥 91.176 95.673 93.370 91.176 100.00 95.384,體 育 99.329 98.013 98.667 100.00 98.026 99.003,軍 事 86.747 85.714 86.227 90.361 87.209 88.757,經(jīng) 濟(jì) 95.370 91.964 93.636 96.296 94.545 95.412,教 育 91.781 94.366 93.056 93.151 97.143 95.105,交 通 94.366 94.429 94.398 95.775 97.143 96.454,計(jì)算機(jī) 91.463 96.154 93.750 98.485 97.015 97.744,環(huán) 境 91.045 96.825 93.846 94.030 96.923 95.455,總體評(píng)估(F1) 94.004 95.503,第16頁(yè),兩種分類(lèi)法的分類(lèi)質(zhì)量（F1值）曲線：,第17頁(yè),實(shí)驗(yàn)分析,實(shí)驗(yàn)數(shù)據(jù)中，查準(zhǔn)率和查全率的值都比較高，這是因?yàn)槲覀兊膶?shí)驗(yàn)中數(shù)據(jù)集數(shù)量不是很大，并且大多采用的是較為簡(jiǎn)單的網(wǎng)頁(yè)，廣告等噪聲信息相對(duì)較少的緣故。也正是因?yàn)檫@個(gè)原因，造成兩種分類(lèi)方法的分類(lèi)質(zhì)量差異不如理想值（5%10%），但可以證明，基于分塊重要度的網(wǎng)頁(yè)分類(lèi)法在分類(lèi)質(zhì)量上是要優(yōu)于傳統(tǒng)的網(wǎng)頁(yè)分類(lèi)法的。,第18頁(yè),實(shí)驗(yàn)分析,實(shí)驗(yàn)數(shù)據(jù)中，各類(lèi)的F1值不太均衡，這跟每一類(lèi)訓(xùn)練樣本的數(shù)目有關(guān)。藝術(shù)、體育等類(lèi)訓(xùn)練樣本較多，則反映該類(lèi)的特征就比較全面，SVM分類(lèi)器通過(guò)學(xué)習(xí)獲得的知識(shí)就比較多，所以其F1評(píng)估值就較高。而政治、軍事等類(lèi)，由于訓(xùn)練樣本相對(duì)較少，分類(lèi)器學(xué)習(xí)所得知識(shí)要少一些，從而影響了分類(lèi)的質(zhì)量，造成了F1評(píng)