信息過濾與郵件過濾

信息過濾與郵件過濾第一頁，共三十一頁，2022年，8月28日綱要研究背景和現(xiàn)狀

關(guān)鍵技術(shù)研究

實現(xiàn)和結(jié)構(gòu)主要工作總結(jié)第二頁，共三十一頁，2022年，8月28日研究背景和現(xiàn)狀研究背景網(wǎng)絡(luò)跟人們的生活越來越緊密。然而網(wǎng)絡(luò)是雙面的，人們在享受網(wǎng)絡(luò)所帶來的便利的同時，不可避免地接觸到大量的不良信息。

過濾網(wǎng)絡(luò)信息，使網(wǎng)絡(luò)用戶尤其是青少年學生遠離非友善信息的侵擾，使得網(wǎng)絡(luò)環(huán)境更加純凈、美好。過濾掉用戶不感興趣的網(wǎng)頁信息和垃圾郵件，可以節(jié)省用戶的上網(wǎng)時間。

第三頁，共三十一頁，2022年，8月28日研究背景和現(xiàn)狀研究現(xiàn)狀

當前信息過濾的研究以TREC會議為核心，主要是文本過濾。國內(nèi)有關(guān)信息過濾的研究以核心算法為主，主要集中在特征抽取、學習算法和過濾算法上。

出現(xiàn)了一些過濾軟件，但存在較多問題，過濾效果不佳。第四頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究現(xiàn)有網(wǎng)絡(luò)過濾技術(shù)及其存在問題

網(wǎng)絡(luò)過濾新技術(shù)研究

第五頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究現(xiàn)有網(wǎng)絡(luò)過濾技術(shù)及其存在問題斷開物理連接資源有限，更新速度慢，多半是過期的網(wǎng)頁地址庫(URL)過濾需要不斷更新地址庫基于關(guān)鍵字的頁面內(nèi)容過濾。易被偽裝技術(shù)突破

過濾往往矯枉過正

第六頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究網(wǎng)絡(luò)過濾新技術(shù)研究－－針對內(nèi)容進行過濾第七頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究關(guān)鍵技術(shù)文本表示特征選擇分類算法模糊模式識別第八頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究信息表示(文本表示)信息過濾的主要工作是比較用戶請求信息和要過濾的非法信息的匹配程度，為此，需要能夠有效地表示信息空間，一般采用模型化的方法表示信息空間。

目前常用的文本表示模型有：布爾邏輯模型向量空間模型概率推理模型潛在語義索引模型第九頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究布爾邏輯模型一種相對簡單的信息過濾模型。在過濾時，它以文檔中是否包含特征項來作為取舍的標準。特點是實現(xiàn)容易、操作方便結(jié)果非真即假，限制性過強

第十頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究向量空間模型以特征項作為文本表示的基本單位，特征項構(gòu)成特征項集，將文檔表示為向量。

第十一頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究概率推理模型向量空間模型中，假設(shè)文檔向量空間的基是相互正交的，沒有考慮檢索詞間的相互關(guān)系。概率推理模型包括了檢索詞間的依賴關(guān)系以及主要參數(shù)，如檢索詞權(quán)重計算，查詢與文檔相似性計算，由模型自身決定。

第十二頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究潛在語義索引模型利用字項與文檔對象之間的內(nèi)在關(guān)系形成信息的語義結(jié)構(gòu)。這種語義結(jié)構(gòu)反映了數(shù)據(jù)間最主要的聯(lián)系模式，忽略了個體文檔對詞的不同的使用風格。LSI向量中的值是通過SVD分解得到的縮減了的值，內(nèi)容相近文檔的向量也是相近的。第十三頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究特征選擇前面討論的文本表示模型，一直假定特征向量每一維的特征都是確定的。事實上，這些特征是從文本中選擇出來的，這些特征的選擇是非常重要的，它強烈的影響到文本表示的準確程度，影響到后面的過濾器的設(shè)計及其性能。主要包括分詞與選擇兩部分。第十四頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究分詞－－文本內(nèi)容與文本中出現(xiàn)的詞關(guān)系十分密切，漢語詞間沒有明顯的標志，分詞的目的就是準確的識別文本中的單詞?；谧值涞淖址ヅ浞椒ɑ诮y(tǒng)計的分詞基于句法與自然語言理解的方法第十五頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究選擇－－訓練集中包含了大量的詞匯，如果把這些詞都作為特征，將帶來一系列問題：首先是向量的維數(shù)太大，給計算帶來了非常大的壓力，存儲空間大、處理速度慢。其次是這些詞中實際上有很大一部分是與類別無關(guān)的，對分類作用不大，甚至存在較大副作用。常用的特征選擇方法有：文檔頻率信息增益互信息第十六頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究分類算法－－其目的為找到特征空間與類別之間的映射關(guān)系。常見方法：Racchio方法K-元最近鄰居（KNN）方法Na?veBayesian方法支持向量機（SVM）方法第十七頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究Racchio方法－－根據(jù)算術(shù)平均為每類文本集生成一個代表該類的中心向量，然后在新文本來到時，確定新文本向量，計算該向量與每類中心向量間的距離（相似度），最后判定文本屬于與文本距離最近的類，第十八頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究K-元最近鄰居（KNN）方法－－給出一個測試文檔，從訓練文檔中找出與該文檔最近（用相似度度量）的k個文檔，用這k個鄰域文檔所屬的類別作為測試文檔的候選類別。第十九頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究Na?veBayesian方法－－是一種概率方法，它利用先驗概率的聯(lián)合概率計算出后驗概率，并且根據(jù)樣本集構(gòu)造分類標準，根據(jù)測試樣本的后驗概率對測試樣本進行分類。第二十頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究支持向量機（SVM）方法－－建立在一套較為完善的機器學習理論——統(tǒng)計學習理論基礎(chǔ)之上，并具有較好的泛化能力。第二十一頁，共三十一頁，2022年，8月28日關(guān)鍵技術(shù)研究模糊模式識別人類為了對事物進行識別，要對事物按不同要求進行分類，因此根據(jù)這種思想可以把不同事物歸于不同的種類，用于這種分類的數(shù)學工具就是經(jīng)典集合論。經(jīng)典集合并不能描述所有的事物，特別是涉及到與人的認識有關(guān)的概念和現(xiàn)象。由于模糊性更能有效的表示“有關(guān)的”、“類似”等概念，將模糊集合的概念應用到信息過濾中。第二十二頁，共三十一頁，2022年，8月28日網(wǎng)頁過濾實現(xiàn)和結(jié)構(gòu)系統(tǒng)結(jié)構(gòu)第二十三頁，共三十一頁，2022年，8月28日網(wǎng)頁過濾實現(xiàn)和結(jié)構(gòu)內(nèi)容過濾模塊第二十四頁，共三十一頁，2022年，8月28日網(wǎng)頁過濾實現(xiàn)和結(jié)構(gòu)樹狀分類器第二十五頁，共三十一頁，2022年，8月28日網(wǎng)頁過濾實現(xiàn)和結(jié)構(gòu)系統(tǒng)流程圖

第二十六頁，共三十一頁，2022年，8月28日垃圾郵件過濾實現(xiàn)和結(jié)構(gòu)第二十七頁，共三十一頁，2022年，8月28日垃圾郵件過濾實現(xiàn)和結(jié)構(gòu)提升方法（boosting）總的思想是學習一系列決策行動，在這個序列中每個決策對它前一個決策導致的錯誤判斷例子給予更大的重視。尤其是在學習完決策行動之后，增加了由導致判斷錯誤的訓練例子的權(quán)重值，并且通過重新對訓練例子計算權(quán)值，在學習下一個決策。這個過程重復T次。最終的分類器從這一系列的決策中綜合得出。樸素貝葉斯最小風險貝葉斯最小風險貝葉斯算法的提升第二十八頁，共三十一頁，2022年，8月28日總結(jié)

系統(tǒng)主要在以下幾個方面進行了研究和實現(xiàn)：

由于傳統(tǒng)的URL過濾技術(shù)會導致網(wǎng)絡(luò)訪問速度特別慢，因而本系統(tǒng)高速緩存技術(shù)引入到URL過濾技術(shù)中提出了一種改進的URL過濾技術(shù)。傳統(tǒng)的URL過濾一般是基于靜態(tài)URL數(shù)據(jù)庫，靈活性差，速度慢；本系統(tǒng)具有自主學習功能，將用戶經(jīng)常訪問的URL、關(guān)鍵詞和語義規(guī)則保持在一個較小的范圍之內(nèi)，從而提高了過濾速度。將分層架構(gòu)技術(shù)和模糊集理論引入到信息過濾模型中，并結(jié)合向量空間過濾模型提出了一種基于模糊集的信息過濾模型。

第二十九頁，共三十一頁，2022年，8月28日總結(jié)

由于傳統(tǒng)的基于關(guān)鍵字的頁面內(nèi)容過濾技術(shù)會導致漏判和誤判，因而本系統(tǒng)引入語義識別模塊從而在語義識別的基礎(chǔ)上對網(wǎng)頁信息進行過濾，并依靠多種語義的組合進行過濾，提高了信息過濾的準確性，降低了漏判、誤判率。結(jié)合過濾要求與決策樹理論設(shè)計的兩層支持向量機技術(shù)，能夠有效的識別話題，并進一步判斷對該話題是支持還是反對，從而使過濾效果更精確，同時，由于支持向量機的推廣性非常強，有效地解決了訓練樣本不足的問題。實現(xiàn)了一個分層過濾的高效的網(wǎng)絡(luò)信息過濾器，首先系統(tǒng)將過濾級別分為低中高三級，低級僅進行URL過濾，中級進行URL和文本過濾，高級則進行URL、文本、語義過濾。同時分層技術(shù)在流程圖說明中有一個直觀地介紹。第三十頁，共三十一頁，2022年，8月28日總結(jié)

實現(xiàn)了一個分層