Deep Web數(shù)據(jù)集成若干關鍵技術研究及系統(tǒng)原型實現(xiàn)-碩士論文答辯

1、Deep Web數(shù)據(jù)集成若干關鍵技術研究及系統(tǒng)原型實現(xiàn)導師：XXX作者：XXXXDeep Web選題背景大數(shù)據(jù)（Big Data）時代的到來 2012年7月份，美國Brightplanet公司在白皮書Exploiting Big Data from the Deep Web中指出，大數(shù)據(jù)(Big Data)無處不在，每時每刻有204,166,667封郵件在發(fā)送，有571個新網(wǎng)頁生成等等。全球互聯(lián)網(wǎng)數(shù)據(jù)量以40%的速度在增長，在未來的5年將到達現(xiàn)在的800% 。其中絕大部分來自于Deep Web 。爆炸式的Web信息含量 英國著名網(wǎng)絡咨詢收集和數(shù)據(jù)統(tǒng)計機構Netcraft公司于2012年7月份的

2、統(tǒng)計，目前全球互聯(lián)網(wǎng)上約有698,000,000個站點，是2010年1月份統(tǒng)計的3倍多。中國互聯(lián)網(wǎng)信息中心(CNNIC)于2012年7月發(fā)布第30次中國互聯(lián)網(wǎng)絡發(fā)展狀況統(tǒng)計報告顯示，截至2012年6月底，中國域名總數(shù)為873萬個，網(wǎng)站數(shù)量為250萬個，網(wǎng)頁總數(shù)約為870億是2006年(45億)數(shù)目的19倍。 Deep Web信息比Surface Web更豐富 從 Brightplanet公司對Deep Web做較為全面的宏觀統(tǒng)計中，悉知Deep Web所蘊含的信息量是Surface Web的400550倍左右，月平均訪問量要高出Surface Web的15% ，信息質(zhì)量是Surface Web

3、的1000到2000倍。 選題意義研究Deep Web數(shù)據(jù)集成系統(tǒng)相關技術，豐富該領域理論知識 ；深入研究若干關鍵技術，提出相關問題的有效解決方法或改進 ；結合相關技術，實現(xiàn)Deep Web數(shù)據(jù)集成原型系統(tǒng)，為對Deep Web數(shù)據(jù)集成研究的進一步探索和應用提供參考 。研究現(xiàn)狀研究機構研究項目集成系統(tǒng)接口識別接口集成結果實現(xiàn)華盛頓大學ShopBot伊利諾斯大學 MetaQuerier斯坦福大學HiWE哥倫比亞大學Qprober微軟亞洲研究院第三代搜索引擎人民大學JobTong蘇州大學DeepWeb數(shù)據(jù)集成BrightPlanet公司Deep Web數(shù)據(jù)集成系統(tǒng)一些網(wǎng)站則建立了面向特定領域Dee

4、p Web的專用搜索引擎。如去哪網(wǎng)的機票、酒店等查詢，一找網(wǎng)的商品比價等，但是估計由于商業(yè)秘密的限制，相關的技術并沒有在公開的資料中闡述。 論文所作工作及貢獻研究一種快速Web數(shù)據(jù)庫發(fā)現(xiàn)的策略 ；提出了一種基于DOM的Deep Web查詢接口模式抽取方法 ；提出了一種基于接口文本VSM的Deep Web數(shù)據(jù)源分類方法 ；設計一種基于正則表達式的結果數(shù)據(jù)抽取方法 ；設計并實現(xiàn)了一個面向Deep Web的數(shù)據(jù)集成原型系統(tǒng) ；論文結構緒論1Deep Web數(shù)據(jù)集成研究相關概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3基于DOM的Deep Web查詢接口模式抽取 4 基于接口文本VSM的Web數(shù)據(jù)庫分類 5

5、基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7總結與展望 8Deep Web數(shù)據(jù)集成研究相關概述 2 Web按其蘊涵信息的“深度”可以劃分為Surface Web和Deep Web兩大部分。 Deep Web描述： Deep Web數(shù)據(jù)集成研究相關概述 2Deep Web數(shù)據(jù)集成描述： Deep Web數(shù)據(jù)集成研究相關概述 2視圖視圖數(shù)據(jù)庫數(shù)據(jù)庫局部模式局部模式全局模式（中間模式）集成Deep Web數(shù)據(jù)集成研究相關概述 2緒論1Deep Web數(shù)據(jù)集成研究相關概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3基于DOM的Deep Web查詢接口模式抽取 4 基

6、于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7總結與展望 8Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3Web數(shù)據(jù)庫發(fā)現(xiàn)步驟 1）發(fā)現(xiàn)Web數(shù)據(jù)庫網(wǎng)站，定位。 2）從網(wǎng)站中發(fā)現(xiàn)查詢接口，識別Web數(shù)據(jù)庫入口?；谒阉饕娴腤eb數(shù)據(jù)庫定位 利用現(xiàn)有搜索引擎，使用一組能描述特定領域Web數(shù)據(jù)庫特征的詞匯當作檢索關鍵詞進行搜索提交，從搜索的網(wǎng)頁記錄頁面中提取目標網(wǎng)站鏈接，定位到相關Web數(shù)據(jù)庫所在的網(wǎng)站。 基于規(guī)則的Deep Web查詢接口識別 通過對大量Deep Web查詢接口與非Deep Web查詢接口表單的觀察，參考一些文獻

7、總結出的規(guī)則，深入分析Deep Web查詢接口與非Deep Web查詢接口表單固有特點和區(qū)別，結合實際情況，提出一些Deep Web查詢接口的識別規(guī)則 ，并基于規(guī)則設計識別算法。 Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3判定規(guī)則：Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3緒論1Deep Web數(shù)據(jù)集成研究相關概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3基于DOM的Deep Web查詢接口模式抽取 4 基于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7總結與展望 8基于DOM的Deep Web查詢接口模式抽取

8、 4查詢接口模式 查詢接口模式可以被看作是建立在對應于Web數(shù)據(jù)庫上的一個視圖，主要由一組領域相關的屬性集合組成，通過對查詢接口上的若干屬性進行賦值形成對接口后臺數(shù)據(jù)庫的一個查詢?；贒OM的Deep Web查詢接口模式抽取 4基于DOM的查詢接口模式抽取 查詢接口一般是HTML的Form表單，其在瀏覽器中也被解析為DOM?；贒OM的Deep Web查詢接口模式抽取 4基于DOM的查詢接口模式抽取 模式抽取流程?；贒OM的Deep Web查詢接口模式抽取 4元素級抽取元素 = 標簽文本 查詢控件元素級抽取算法基于DOM的Deep Web查詢接口模式抽取 41）DOM節(jié)點解析的有序性 ；2）

9、查詢控件內(nèi)部屬性值與標簽文本的語義相似性 ?；贒OM的Deep Web查詢接口模式抽取 4屬性級抽取預聚類：根據(jù)元素的路徑來實現(xiàn)聚類的。即以接口元素的元素路徑所包含的分歧路徑信息作為依據(jù)，把擁有相同分歧路徑的元素聚集到相同的歸類中，于此同時，通過預聚類也把兩個元素路徑中所包含不相同分歧路徑的元素分開。 再聚類：充分利用構成屬性的元素之間所具有的特點，提出了一個元素組合權值公式GroupWeight ，根據(jù)GroupWeight權值來實現(xiàn)元素聚類重組成屬性 。 屬性級抽取，預聚類算法與再聚類算法基于DOM的Deep Web查詢接口模式抽取 4基于DOM的Deep Web查詢接口模式抽取 4查詢

10、接口模式表示基于DOM的Deep Web查詢接口模式抽取 4實現(xiàn)結果緒論1Deep Web數(shù)據(jù)集成研究相關概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3基于DOM的Deep Web查詢接口模式抽取 4 基于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7總結與展望 8 基于接口文本VSM的Web數(shù)據(jù)庫分類 5Web數(shù)據(jù)庫分類定義設有Web數(shù)據(jù)庫集合： 對其進行分類： BrightPlanet根據(jù)Deep Web的內(nèi)容類型分為：主題數(shù)據(jù)庫(Topic DataBase)、內(nèi)部站點(Internal Site)、出版物(publ

11、ications)等12種類別。 UIUC大學的MetaQuery的數(shù)據(jù)集TEL-81，并將Web數(shù)據(jù)庫分為：航班(Airfares)、酒店(Hotels)、租車(Car Rentals)、圖書(Books)、電影(Movies)、音樂(Music)以及工作(Jobs)和汽車(Automobile)等8個領域。 基于接口文本VSM的Web數(shù)據(jù)庫分類 5VSM模型構建關鍵詞匯集：關鍵詞匯集是指在某一個領域查詢接口集合上頻繁出現(xiàn)的、最能代表該領域信息的一組詞匯。 基于接口文本VSM的Web數(shù)據(jù)庫分類 5VSM模型構建向量空間模型：常用的文本表示方法 。 權重值計算方法： TF-IDF權重函數(shù) 、T

12、F-IWF權重函數(shù) 。 基于接口文本VSM的Web數(shù)據(jù)庫分類 5VSM模型構建VSM模型構建 基于接口文本VSM的Web數(shù)據(jù)庫分類 5接口文本VSM：抽取接口文本，構建VSM模型。 基于接口文本VSM的Web數(shù)據(jù)庫分類 5查詢接口分類實現(xiàn)分類思想： 1）使用已標記的查詢接口文本VSM中的數(shù)據(jù)作為訓練數(shù)據(jù)集，構建區(qū)分查詢接口領域類別的分類模型；2）根據(jù)獲得的分類模型，對未知的查詢接口對象進行分類。 分類實現(xiàn)： 引入數(shù)據(jù)挖掘工具，使用數(shù)據(jù)挖掘分類算法可實現(xiàn)對查詢接口的分類。 基于接口文本VSM的Web數(shù)據(jù)庫分類 5實驗結果緒論1Deep Web數(shù)據(jù)集成研究相關概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究

13、3基于DOM的Deep Web查詢接口模式抽取 4 基于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7總結與展望 8基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6結果數(shù)據(jù)正則表達式正則表達式： 結果數(shù)據(jù)正則表達式： 描述航班號基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6結構數(shù)據(jù)模式構建自動化或人工構建結果模式： 航班查詢領域查詢結果中包含了一些相同的屬性，如航班號、起飛時間、到達時間、機型、價格等 基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6結果數(shù)據(jù)區(qū)域定位結果數(shù)據(jù)區(qū)域定位基于正則表達式的Deep Web結

14、果數(shù)據(jù)抽取 6公共路徑選舉算法： 設有元素路徑集合：公共路徑選舉算法思想：設有n個投票人，它們也可以是候選人（即可以自選），其中，假設在投票中，有m個成為最終候選人，從m個候選人中選定得票最多者為目標人選，但該目標人選的得票數(shù)c必須不小于此次候選人m。 基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6結果數(shù)據(jù)區(qū)域定位公共路徑選舉算法： 基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6結果記錄分離抽取如關系數(shù)據(jù)庫表有主鍵一樣，Deep Web的結果數(shù)據(jù)記錄中也存在著唯一的、值不重復的關鍵字段，例如，航班機票查詢領域返回的結果數(shù)據(jù)中的航班號是唯一的、不重復的 。通過關鍵數(shù)據(jù)項獲取數(shù)據(jù)區(qū)域中的分歧路

15、徑集合，每一條分歧路徑可以把結果數(shù)據(jù)區(qū)域中的記錄區(qū)分開，分開抽取每條記錄的Html片段實現(xiàn)數(shù)據(jù)記錄的分離抽取。 基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6結果數(shù)據(jù)標注與抽取基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6結果保存緒論1Deep Web數(shù)據(jù)集成研究相關概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3 基于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7基于DOM的Deep Web查詢接口模式抽取 4總結與展望 8Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)架構Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型

16、系統(tǒng)設計與實現(xiàn) Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)設計與實現(xiàn) Web數(shù)據(jù)庫發(fā)現(xiàn)器：URL定位、網(wǎng)絡爬行、Deep Web查詢接口判定 原型系統(tǒng)設計與實現(xiàn) Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7Web數(shù)據(jù)庫模式抽取：基于Jexplor工具最終實現(xiàn)對查詢接口的模式抽取器。Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)設計與實現(xiàn) Web數(shù)據(jù)庫分類器：編輯領域關鍵詞匯集 ，構建查詢接口VSM ，使用訓練集接口文本VSM進行訓練、保存和更新分類模型可利用生成的模型，對未知類別的查詢接口進行分類 ?；赪eka二次開發(fā)。Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)設計與實現(xiàn) 接口集成

17、：借用Protg和Jena框架編程實現(xiàn)查詢接口的領域本體構建與集成 。Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)設計與實現(xiàn) 查詢提交處理：Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7原型系統(tǒng)設計與實現(xiàn) 結果抽取及標注：采用Jsoup開放工具提供的編程接口來實現(xiàn)對Web數(shù)據(jù)的抽取。 緒論1Deep Web數(shù)據(jù)集成研究相關概述 2Web數(shù)據(jù)庫快速發(fā)現(xiàn)策略研究 3 基于接口文本VSM的Web數(shù)據(jù)庫分類 5基于正則表達式的Deep Web結果數(shù)據(jù)抽取 6Deep Web數(shù)據(jù)集成原型系統(tǒng)實現(xiàn) 7基于DOM的Deep Web查詢接口模式抽取 4總結與展望 8總結與展望 8本文創(chuàng)新點 1.針對Web數(shù)據(jù)庫發(fā)現(xiàn)問題，提出了一種通過搜索引擎快速發(fā)現(xiàn)Web數(shù)據(jù)庫的策略。2.針對查詢接口模式抽取問題，提出了一種基于DOM的查詢接口模式抽取方法，利用瀏覽器API將查詢接口解析成DOM，通過元素抽取、屬性抽取、查詢接口模式幾個階段最終實現(xiàn)對查詢接口模式的抽取。 3.利用每個領域查詢接口上的一組關鍵詞匯集構建分類特征向量，構建查詢接口文本的向量空間模型，引入數(shù)據(jù)挖掘平臺與相關分類算法完成對查詢接口的分類 。4.利用正則表達式構建領域結果數(shù)據(jù)模式，通過結果數(shù)據(jù)區(qū)域定位、數(shù)據(jù)記錄分開抽取、數(shù)據(jù)項識別與標注等三階段處理，最終實現(xiàn)結果數(shù)據(jù)的抽取。 不足之處 無法判定非Form表單查詢接口。Aj