新聞傳播學(xué)論文-網(wǎng)絡(luò)傳播中的信息利用新技術(shù).doc

新聞傳播學(xué)論文-網(wǎng)絡(luò)傳播中的信息利用新技術(shù)摘要：本文探討了網(wǎng)絡(luò)傳播中的信息開發(fā)利用新技術(shù)，包括數(shù)據(jù)采掘和知識發(fā)現(xiàn)技術(shù)、XML、自動分類與自動摘要、智能搜索引擎技術(shù)，并討論他們對新聞傳播工作的影響。關(guān)鍵詞：網(wǎng)絡(luò)傳播，數(shù)據(jù)采掘，知識發(fā)現(xiàn)，XML，自動分類，自動摘要，智能搜索引擎NewTechnologyforInformationUtilizationofInternetCommunicationAbstract:ThethesisdiscussestheNewTechnologyforInformationUtilizationofInternetCommunication,includesDataMining,knowledgediscovery,Automaticclassificationandabstract,Intelligentsearchengine.Keywords:InternetCommunication,DataMining,knowledgediscovery,Automaticclassificationandabstract,Intelligentsearchengine.在網(wǎng)絡(luò)時代，廣大新聞傳播工作者和受眾面臨信息過載的難題。人們一方面被信息淹沒，一方面卻饑餓于知識和有用信息。大量的信息不能進行及時有效的開發(fā)利用。面對信息爆炸，如何才能不被信息的汪洋大海所淹沒，從中及時發(fā)現(xiàn)知識、有用的信息、新聞、或新聞線索，使信息真正成為資源，正在成為各國研究的熱點。從技術(shù)上看，目前主要有種解決方案。一數(shù)據(jù)采掘和知識發(fā)現(xiàn)技術(shù)在某種意義上說目前我們不是缺少信息，而是被信息淹沒了。在因特網(wǎng)上有無窮的信息和數(shù)據(jù)。目前的數(shù)據(jù)庫系統(tǒng)和搜索引擎可以高效地實現(xiàn)數(shù)據(jù)的統(tǒng)計、查詢等功能，但是無法發(fā)現(xiàn)數(shù)據(jù)中存在的關(guān)系和規(guī)則，無法根據(jù)現(xiàn)有的數(shù)據(jù)預(yù)測未來的發(fā)展趨勢，缺乏挖掘數(shù)據(jù)背后隱藏的有用的信息、知識、新聞、或新聞線索的手段，導(dǎo)致了“數(shù)據(jù)爆炸但知識貧乏”的現(xiàn)象。人們需要有新的、更有效的手段對各種大量數(shù)據(jù)進行挖掘以發(fā)揮其潛能，數(shù)據(jù)挖掘正是在這樣的應(yīng)用需求環(huán)境下產(chǎn)生并迅速發(fā)展起來的，它的出現(xiàn)為自動和智能地把海量的數(shù)據(jù)轉(zhuǎn)化為知識、有用的信息、新聞、或新聞線索提供了手段。數(shù)據(jù)采掘與知識發(fā)現(xiàn)(KDD)一詞首次出現(xiàn)在1989年8月舉行的第11屆國際聯(lián)合人工智能學(xué)術(shù)會議上。知識發(fā)現(xiàn)()研究的主要目標(biāo)是采用有效的算法，從大量現(xiàn)有或歷史數(shù)據(jù)集合中發(fā)現(xiàn)并找出最初未知、但最終可理解的有用知識，并用簡明的方式顯示出來。數(shù)據(jù)采掘(DataMining)就是從大量的、不完全的、有噪聲的、模糊的、隨機的原始數(shù)據(jù)中，提取隱含在其中的、先前未知的、但又是潛在有用的信息和知識的過程。數(shù)據(jù)采掘在一些文獻中有些相近似的名稱，如數(shù)據(jù)開采、發(fā)現(xiàn)知識(KDD)、知識采掘、知識抽取、知識考察、數(shù)據(jù)融合(DataFusion)等。知識發(fā)現(xiàn)是一個從數(shù)據(jù)中提取出有效的、新穎的、潛在有用的并能最終被人理解的知識、有用的信息、新聞、或新聞線索的過程。知識發(fā)現(xiàn)是從數(shù)據(jù)庫和中發(fā)現(xiàn)知識的整個過程，而數(shù)據(jù)挖掘是整個過程中的一個步驟。因為數(shù)據(jù)挖掘是知識發(fā)現(xiàn)整個過程中最重要的步驟，所以我們通常將知識發(fā)現(xiàn)和數(shù)據(jù)挖掘作為同義詞使用而不加區(qū)分。數(shù)據(jù)采掘的工具目前，國外有許多研究機構(gòu)、公司和學(xué)術(shù)組織從事數(shù)據(jù)采掘工具的研制和開發(fā)。這些工具主要采用基于人工智能的技術(shù)，包括決策樹、規(guī)則歸納、神經(jīng)元網(wǎng)絡(luò)、可視化、模糊建模、簇聚等，另外也采用了傳統(tǒng)的統(tǒng)計方法。知識發(fā)現(xiàn)技術(shù)可以幫助我們從網(wǎng)上大量的原始數(shù)據(jù)和信息海洋中，挖掘出能反映其中規(guī)律的知識提供新聞工作者和網(wǎng)民。在知識發(fā)現(xiàn)的基礎(chǔ)上可以構(gòu)成虛擬知識共享系統(tǒng)。虛擬團體是一個分布式的組織，它的成員是一組在網(wǎng)絡(luò)上協(xié)同工作的同行，他們依靠網(wǎng)絡(luò)的支持相互合作、共享知識，可以快速有效地解決問題。新聞工作者之間、網(wǎng)民之間，新聞工作者與網(wǎng)民之間可以構(gòu)成虛擬團體，進行交互式信息傳播，進行新聞、信息、知識的交流與共享。虛擬知識共享系統(tǒng)包括：(1)先進的知識獲取技術(shù)。幫助成員搜索、處理知識，從中提煉專家經(jīng)驗。(2)支持多用戶的開發(fā)，以使成員定制自己的站點。(3)可以自適應(yīng)團體需求的自組織式的新聞、信息、知識存儲。二XMLHTML是目前因特網(wǎng)上廣泛應(yīng)用的標(biāo)記語言。其優(yōu)點是非常簡單；固定的樣式；簡易且標(biāo)準(zhǔn)的連接；支持表格；編程簡單。但是也存在難以擴展；交互性差；語義性差；單向的超鏈接：鏈路丟失后不能自動糾正；動態(tài)內(nèi)容需要下載的部件太多；致使搜索引擎返回的結(jié)果過多；缺乏對雙字節(jié)或多國文字的支持等不足。尤其是目前基于HTML的搜索引擎存在著返回結(jié)果太多，檢索精度差的弊端。而XML可以有效地克服這些不足。XML句法可標(biāo)注出文檔的結(jié)構(gòu)和目的，這樣就可縮小檢索范圍，提高提高檢索精度。例如，用戶想購買二手車，就可將查詢限制為用于描述“汽車銷售”的標(biāo)識中。XM能幫助人們辨別模糊詞義。自然語言中的詞經(jīng)常多義、多指，網(wǎng)絡(luò)信息檢索系統(tǒng)不能分辨哪一種意思是查詢中的，哪一種是文檔中的。XML有助于解決詞義模糊問題，提高檢索的準(zhǔn)確性。如，用戶使用“brown”作檢索詞，他有可能想查找由DonaldBrown所寫的論文，由BrownUniversity出版的論文，或有關(guān)brownbear的論文。如果用戶明確想查詢authorBrown/author，universityBrown/university，還是subjectbrown/subject，就會提高檢索準(zhǔn)確性。XML使得能用結(jié)構(gòu)相鄰關(guān)系來替代物理相鄰關(guān)系進行檢索結(jié)果相關(guān)性排序。XML可允許利用非文本數(shù)據(jù)，如數(shù)值數(shù)據(jù)、地理位置、溫度值等進行檢索。三智能搜索引擎技術(shù)目前，計算機信息檢索功能已經(jīng)從基本的布爾檢索、截詞檢索、鄰近檢索、短語檢索、字段檢索發(fā)展為高級的加權(quán)檢索、自然語言檢索、相關(guān)信息反饋檢索、模糊檢索和概念檢索。網(wǎng)絡(luò)信息檢索核心工具是搜索引擎。搜索引擎的目的是幫助新聞工作者和受眾尋找信息資源。在因特網(wǎng)環(huán)境下，其典型實現(xiàn)是基于關(guān)鍵詞匹配的信息檢索機制。搜索引擎主要由四部分組成：搜索器，索引器，檢索器，用戶接口。搜索器的功能是在互聯(lián)網(wǎng)中發(fā)現(xiàn)和搜索信息。它要盡可能快、盡可能多地搜集各種類型的信息，同時還要定期更新已有信息，避免死連接和無效連接。索引器的功能是理解搜索器所搜索的信息，從中抽取出索引項，用于表示文檔以及生成文檔庫的索引表，建立起自己的物理索引數(shù)據(jù)庫。一個搜索引擎的有效性在很大程度取決于索引的質(zhì)量。檢索器的功能是根據(jù)用戶的查詢在索引庫中快速檢出文檔，進行文檔與查詢的相關(guān)度評價，對將要輸出的結(jié)果進行排序，并實現(xiàn)某種用戶相關(guān)性反饋機制。用戶接口的作用是輸入用戶查詢、顯示查詢結(jié)果，提供用戶相關(guān)性反饋機制。搜索引擎的工作原理搜索引擎起源于傳統(tǒng)的信息全文檢索理論，即計算機程序通過掃描每一篇文章中的每一個詞，建立以詞為單位的倒排文件，檢索程序根據(jù)檢索詞在每一篇文章中出現(xiàn)的頻率和每一個檢索詞在一篇文章中出現(xiàn)的概率，對包含這些檢索詞的文章進行排序，最后輸出排序的結(jié)果?；ヂ?lián)網(wǎng)搜索引擎除了需要有全文檢索系統(tǒng)之外，還要有所謂的“蜘蛛”(SPIDER)系統(tǒng)，即能夠從互聯(lián)網(wǎng)上自動收集網(wǎng)頁的數(shù)據(jù)搜集系統(tǒng)。蜘蛛將搜集所得的網(wǎng)頁內(nèi)容交給索引和檢索系統(tǒng)處理，就形成了我們常見的互聯(lián)網(wǎng)搜索引擎系統(tǒng)。當(dāng)然，一個完整的搜索引擎系統(tǒng)還需要有一個搜索結(jié)果的頁面生成系統(tǒng)，也就是要把檢索結(jié)果高效地組裝成互聯(lián)網(wǎng)頁面。當(dāng)系統(tǒng)的訪問量(PAGEVIEW)變大時，頁面生成系統(tǒng)往往會成為整個系統(tǒng)的瓶頸。與傳統(tǒng)的信息檢索理論研究不同，搜索引擎的用戶看重的是系統(tǒng)的穩(wěn)定性、速度、易用性和返回的信息量及相關(guān)度。據(jù)專家評測，目前主要的搜索引擎返回的相關(guān)結(jié)果的比率不足45%，其原因是現(xiàn)有的搜索引擎擁有極少量的知識，并且是面向最一般的用戶模型。不劃分知識領(lǐng)域，不對用戶建立任何描述以及使用關(guān)鍵詞匹配的交互方式，都限制了搜索引擎的使用效率。由此提出了智能搜索引擎的概念。智能搜索引擎應(yīng)具有的特點新一代中文智能搜索引擎是一個基于漢語語法、詞的上下文和語義等中文信息處理技術(shù)，自動收集、識別Internet網(wǎng)上的WWW和News信息，智能化地提取摘要和關(guān)鍵詞、建立索引、提供查詢和對不良信息的監(jiān)控、報警功能和網(wǎng)絡(luò)信息自動發(fā)現(xiàn)和查詢系統(tǒng)。它以加權(quán)的啟發(fā)式搜索算法控制信息資源的搜集，采用了一種加權(quán)的啟發(fā)式搜索算法，系統(tǒng)根據(jù)用戶配置的領(lǐng)域?qū)蛟~和資源服務(wù)器所在地域信息，以啟發(fā)式函數(shù)計算每個URL的權(quán)值，并選擇權(quán)值高的URL優(yōu)先訪問。智能搜索引擎可以根據(jù)互聯(lián)網(wǎng)本身的鏈接結(jié)構(gòu)對相關(guān)網(wǎng)站用自動方法進行分類，再加上結(jié)構(gòu)嚴(yán)謹(jǐn)，萃取精華的開放式信息目錄，為每一個查詢迅速提供準(zhǔn)確的結(jié)果。智能搜索引擎可以預(yù)期用戶的需求，并可有效地抑制關(guān)鍵詞的多義性。如、都在嘗試在它們的中使用更加智能化、知識化和專業(yè)化的搜索引擎。目前比較成功的智能搜索引擎有，和。是一個類似于元搜索引擎的產(chǎn)品，但支持自然語言、模糊檢索，可將結(jié)果自動去重、聚類，并可返回對所有搜索引擎并發(fā)查詢的結(jié)果，其檢索結(jié)果根據(jù)分類排列。芝加哥大學(xué)人工智能實驗室開發(fā)的。它是一個具有問答式界面的智能搜索引擎。在獲知用戶問題后，它查詢文件以給出比較合適的回答。的內(nèi)核由五個互聯(lián)聯(lián)系的技術(shù)環(huán)節(jié)構(gòu)成：(1)基于統(tǒng)計方法建立文件。這是由中的工具完成的。(2)用一個由簡單名詞和動詞短語構(gòu)成的文法樹分析用戶的查詢，以得到一個用于支持內(nèi)容匹配的描述。(3)問題識別者()操作文法樹以辨識問題從屬的類別。(4)使用語義網(wǎng)分析與概念匹配技術(shù)，找出與用戶查詢最近似的問題。(5)將得到的匹配返回給用戶。如果沒有近似的匹配，則將使用一個啟發(fā)式的策略。智能搜索引擎還可以采用協(xié)同式檢索方法。該方法一般用于一個特定的用戶（如一個或一組新聞工作者、一個新聞媒體、一個或一組受眾）。協(xié)同式方法有時又稱為公眾學(xué)習(xí)方法，它將其他用戶的反應(yīng)反饋給當(dāng)前的用戶。系統(tǒng)不去計算分類項目的相似程度，而是計算用戶之間的相似程度。協(xié)同式方法不分析分類項目的內(nèi)容。協(xié)同式方法一般用于非文本化的數(shù)據(jù)，如電影、音樂等，但是也有的系統(tǒng)將其用于文本數(shù)據(jù)的挖掘，如新聞過濾等。已有一些系統(tǒng)用于電子郵件處理、會議時序安排、電子新聞過濾和娛樂節(jié)目推薦。與智能搜索引擎技術(shù)相關(guān)的還有信息智能“推”技術(shù)和個性化檢索技術(shù)?；诰W(wǎng)民和新聞工作者訪問互聯(lián)網(wǎng)的特點，在用戶拉取信息的搜索過程中，根據(jù)其輸入的關(guān)鍵詞，通過機器學(xué)習(xí)，可以識別和預(yù)測其興趣或偏好，從而有針對性、及時地向網(wǎng)民和新聞工作者主動推送相關(guān)知識和最新信息、新聞和新聞線索。推送的形式可采用頻道式推送、郵件式推送、網(wǎng)頁式推送或?qū)Ｓ檬酵扑汀Ｄ壳耙延袠?gòu)造訪問模式樹()的算法，可從大量信息訪問日志中挖掘用戶訪問信息的模式。也可從用戶訪問文檔的超鏈接來預(yù)測用戶的訪問偏好，其知識發(fā)現(xiàn)采用關(guān)聯(lián)性法則。個性化檢索要求能夠網(wǎng)絡(luò)信息檢索系統(tǒng)能夠?qū)W習(xí)網(wǎng)民和新聞工作者的興趣、適應(yīng)其興趣的變化并提出檢索建議。一般采用分布式Agent技術(shù)，例如在客戶機上運行用戶接口Agent，表示用戶個性化模式，在服務(wù)器上運行信息檢索管理Agent，相當(dāng)于中介信息檢索代理服務(wù)器，實現(xiàn)與各引擎的交互，用戶Agent用戶開始一項個性化查詢quest，通過與個性化模式庫中模式的類比