下載本文檔
版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領
文檔簡介
1、科技論文發(fā)表基于 Web 數(shù)據(jù)挖掘技術的研究論文互聯(lián)網(wǎng)的不斷得到發(fā)展,網(wǎng)頁中數(shù)據(jù)量迅速增加,如何從這么多 的網(wǎng)頁信息中獲取有用的數(shù)據(jù)己經(jīng)成功數(shù)據(jù)挖掘領域的一個熱門的 研究方向,數(shù)據(jù)挖掘是近幾年來迅速發(fā)展的進行信息獲取的一個重 要渠道,尤其大量運用與社會和科學的方方面面。一般來說數(shù)據(jù)挖 掘主要利用計算機和相關的信息技術,把有用的數(shù)據(jù)從海量的網(wǎng)頁 數(shù)據(jù)中挖掘出來,為我們從事其他方面的運用?;诰W(wǎng)頁的數(shù)據(jù)挖 掘是一門技術的綜合研究方向,它的思想是從Inter中提取網(wǎng)頁中 的大量數(shù)據(jù),也就是從網(wǎng)頁的數(shù)據(jù)結(jié)構(gòu)中發(fā)現(xiàn)隱含的模式1。1)數(shù)據(jù)挖掘的特點之一就是半結(jié)構(gòu)化,這個特別算是網(wǎng)頁數(shù)據(jù)挖 掘的最大特點2,
2、因為網(wǎng)頁上的數(shù)據(jù)分布沒有規(guī)律,非常復雜,沒 有任何固定的模式能夠很好的描述它的特點。因此稱它為半結(jié)構(gòu) 化。2)數(shù)據(jù)挖掘的特點之二是網(wǎng)頁中的數(shù)據(jù)比較分散,這些網(wǎng)頁數(shù) 據(jù)存在世界各地的很多服務器上,因此是一種數(shù)據(jù)源分散的結(jié)構(gòu)。3)數(shù)據(jù)挖掘的特點之三是數(shù)據(jù)庫的結(jié)構(gòu)存在不同,因為互聯(lián)網(wǎng) 上的一個網(wǎng)站可以存為一個數(shù)據(jù)源,它們的結(jié)構(gòu)互不相關,異構(gòu)性 特點比較強,由它們構(gòu)成的數(shù)據(jù)庫自然而然也屬于一種異構(gòu)的形 式。4)數(shù)據(jù)挖掘的特點之四是動態(tài)性強,網(wǎng)站上的數(shù)據(jù)資源是不斷 更新變化的,找不到固定的形式,網(wǎng)站與網(wǎng)站的直接訪問的鏈接是 形式變化的?;赪eb的數(shù)據(jù)挖掘與傳統(tǒng)的數(shù)據(jù)倉庫相比,網(wǎng)頁上的信息是半 結(jié)構(gòu)化的
3、或非結(jié)構(gòu)化、不容易識別、變化的,正因為它這些特點, 要想在網(wǎng)頁上開展直接數(shù)據(jù)挖掘,可謂很費功夫,就要借助一些方 法來預處理數(shù)據(jù),才能方便挖掘。通常進行網(wǎng)頁數(shù)據(jù)挖掘可分為的 如圖1所示的四個步奏。1)數(shù)據(jù)源的獲取,在網(wǎng)站的各個頁面中獲取數(shù)據(jù)信息,組成目標 數(shù)據(jù)信息源,再從這些信息源中找到相關有用的數(shù)據(jù)。這個過程的 目的就是從像網(wǎng)頁文檔、email.網(wǎng)頁記錄、新聞信息、各種網(wǎng)站數(shù) 據(jù)庫中挖掘出有用的數(shù)據(jù)。2)把獲取的數(shù)據(jù)進行加工處理,網(wǎng)頁數(shù)據(jù)挖掘的好壞直接與數(shù)據(jù) 源的好壞相關,如果獲取的數(shù)據(jù)源有大量的垃圾數(shù)據(jù),對數(shù)據(jù)挖掘 過程有很大的影響,因此挖掘之前需要對數(shù)據(jù)源進行篩選,消除那 些雜音數(shù)據(jù),保證
4、數(shù)據(jù)源的純正,然后將這些己經(jīng)過濾的數(shù)據(jù)再次 裝入數(shù)據(jù)庫中進行下一步的分析。3)對數(shù)據(jù)經(jīng)過提純處理后,進入模式尋找階段,這需要各種挖掘 算法分析、挖掘大量的、隱藏的、潛在的、可被利用的數(shù)據(jù)模式。 在挖掘的過程中,經(jīng)常會使用到一些相關的方法,例如聚類分析 法、關聯(lián)規(guī)則發(fā)等挖掘方法。4)在對數(shù)據(jù)模式發(fā)現(xiàn)后,需要對這些模式進行挖掘,也就是知識 的轉(zhuǎn)換過程,把提取到的模式再進行信息轉(zhuǎn)化,轉(zhuǎn)化為我們能夠理 解,識別的知識,為我們的決策需要提供有用的參考源。在進行數(shù)據(jù)挖掘的時候,針對不同的數(shù)據(jù)結(jié)構(gòu),會采用不同的挖 掘方法,這樣才能有效、合理挖掘到有用的數(shù)據(jù),不能籠統(tǒng)采用一 種方法,這樣挖掘的數(shù)據(jù)相應的雜音數(shù)
5、據(jù)就比較多。大體上,我們 把數(shù)據(jù)挖掘分為三種類型,即:網(wǎng)頁使用挖掘、網(wǎng)頁結(jié)構(gòu)挖掘、網(wǎng) 頁內(nèi)容挖3,如圖2所示?;ヂ?lián)網(wǎng)的發(fā)展促進網(wǎng)頁數(shù)據(jù)挖掘得到越來越多的應用,于是針對 網(wǎng)頁挖掘的各種方法和技術不斷出現(xiàn),就這些相關的技術4,下面 分別一一介紹。4. 1網(wǎng)頁內(nèi)容挖掘4. 1. 1網(wǎng)頁文檔挖掘網(wǎng)頁文檔挖掘就是分析網(wǎng)站上存在的數(shù)量很多的網(wǎng)頁文檔采用聚 類、分類、關聯(lián)處理等多種方法進行分析,然后根據(jù)網(wǎng)頁文檔進行 預測。在Inter的文檔數(shù)據(jù)一般都是以html格式的網(wǎng)頁文檔岀現(xiàn), 要采集這些網(wǎng)頁文檔數(shù)據(jù),然后把這些文檔數(shù)據(jù)變成記錄的形式存 貯進數(shù)據(jù)庫,把這些記錄用來表示文檔內(nèi)容特征,為后續(xù)的分析提 供保障
6、。表示文檔的特征形式通常使用文檔特征向量形式,由于文 檔的特征表示中存在一些缺陷,文檔的特征向量的維數(shù)非常高,對 數(shù)據(jù)分析不利,因此一個好特征表示主要集中在特征集的選取方 而,特征集需求好,對數(shù)據(jù)進行分析的時間就相對少,如果選取不 好, 將要花很長時間去等待。 因此特征集選取好壞成為數(shù)據(jù)分析額 關鍵。一旦特征集選擇好后,就可以采用聚類、分類、數(shù)據(jù)關聯(lián)等 方法來進行提取信息,然后對這些提取的信息進行評價分析,找到 有用的信息,為后續(xù)的決策工作提供指導。4. 1.2挖掘網(wǎng)頁多媒體在進行網(wǎng)頁多媒體挖掘主要關注的是特征提取,這點網(wǎng)頁內(nèi)容挖 掘不一樣。在網(wǎng)頁多媒體挖掘中提取的多媒體特征主要關注視頻或 者圖片的顏色特征、鍵值、形式以及它們的URL,最后根據(jù)這些特 征進行數(shù)據(jù)挖掘。4. 2挖掘網(wǎng)頁結(jié)構(gòu)挖掘網(wǎng)站空間中的知識,不僅關注包含在各個網(wǎng)頁內(nèi)容中的信息 數(shù)據(jù),同時也關注網(wǎng)站與網(wǎng)站之間的網(wǎng)頁結(jié)構(gòu)和超級鏈接結(jié)構(gòu),這 也是非常重要的。進行網(wǎng)頁結(jié)構(gòu)挖掘主要分析網(wǎng)頁結(jié)構(gòu)之間的特 征,利用聚類和分類來分析頁而結(jié)構(gòu)特征,找到特征模式。4.3網(wǎng)頁使用挖掘木文介紹了網(wǎng)頁數(shù)據(jù)挖掘的相關概念、挖掘過程、分類方法以及
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責。
- 6. 下載文件中如有侵權(quán)或不適當內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 聯(lián)保貸款合同范本
- 農(nóng)用機器買賣合同范本
- 消防知識試題學習通超星期末考試答案章節(jié)答案2024年
- 甘薯訂單種植收購合同范本
- 基于2024教育理念的《詠鵝》課件設計
- 商業(yè)數(shù)據(jù)分析學習通超星期末考試答案章節(jié)答案2024年
- 上海市老年醫(yī)學中心招聘真題
- 寧波寧海縣各級機關單位錄用公務員真題
- 規(guī)范養(yǎng)殖合同范本
- 2024年Zemax光學模擬技術專業(yè)培訓
- 2024-2030年飛機內(nèi)部緊固件行業(yè)市場現(xiàn)狀供需分析及投資評估規(guī)劃分析研究報告
- 企業(yè)信用修復服務協(xié)議
- 部編人教版三年級語文上冊期中測試卷5份(含答案)
- 江蘇銀寶控股集團限公司公開招聘高頻難、易錯點500題模擬試題附帶答案詳解
- 期中測評試卷(1-4單元)(試題)-2024-2025學年人教版三年級數(shù)學上冊
- 2023年國家公務員錄用考試《行測》行政執(zhí)法卷-解析
- 城市軌道交通脫軌事故應急預案
- 2024新版七年級英語單詞表
- 2024年廣東省高職高考語文試卷及答案
- 2024至2030年中國眼部護理行業(yè)運營現(xiàn)狀與未來需求趨勢分析報告
- 圓圈正義讀書分享課件
評論
0/150
提交評論