總結(jié)及下一階段工作計(jì)劃

總結(jié)及下一階段工作計(jì)劃劉學(xué)錚大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎信息網(wǎng)格設(shè)計(jì)數(shù)據(jù)網(wǎng)格、信息網(wǎng)格和知識網(wǎng)格[1,3]數(shù)據(jù)網(wǎng)格與信息網(wǎng)格數(shù)據(jù)網(wǎng)格數(shù)據(jù)網(wǎng)格解決的問題：解決海量數(shù)據(jù)的存儲和共享問題主要為計(jì)算任務(wù)以及計(jì)算網(wǎng)格服務(wù)，是一種底層的海量數(shù)據(jù)倉儲體系數(shù)據(jù)網(wǎng)格不去解決的問題：多類的和復(fù)雜的信息格式信息表示和元數(shù)據(jù)智能化信息獲?。↖nformationretrieval）信息網(wǎng)格信息網(wǎng)格解決的問題信息的智能化獲取信息檢索信息的表示多類的元數(shù)據(jù)和結(jié)構(gòu)化給用戶和應(yīng)用程序提供特定內(nèi)容的信息服務(wù)信息網(wǎng)格不去解決的問題海量數(shù)據(jù)存儲，數(shù)據(jù)管理計(jì)算問題及強(qiáng)數(shù)據(jù)量（data-density）的計(jì)算和數(shù)據(jù)訪問方式信息網(wǎng)格和知識網(wǎng)格信息網(wǎng)格信息網(wǎng)格解決的問題信息的智能化獲取信息檢索信息的表示多類的元數(shù)據(jù)和結(jié)構(gòu)化信息網(wǎng)格不去解決的問題數(shù)據(jù)挖掘問題求解知識網(wǎng)格知識網(wǎng)格解決的問題數(shù)據(jù)挖掘、知識挖掘規(guī)則的發(fā)現(xiàn)數(shù)據(jù)、信息的可視化Ontology轉(zhuǎn)換知識網(wǎng)格不去解決的問題無結(jié)構(gòu)信息的半結(jié)構(gòu)化元數(shù)據(jù)格式的匹配和轉(zhuǎn)換信息智能化檢索資源網(wǎng)格、信息網(wǎng)格與服務(wù)網(wǎng)格[2]信息網(wǎng)格的其他討論信息網(wǎng)格作為計(jì)算網(wǎng)格和知識網(wǎng)格的中間層次，允許對于異構(gòu)信息的統(tǒng)一訪問，提供分布式資源上的公用信息服務(wù)。統(tǒng)一訪問依賴于metadata對于信息的描述（并集成異構(gòu)資源）[4,5]Thecomputation/datagridhassupercomputers,largeservers,massivedatastoragefacilitiesandspecialiseddevicesandfacilities(e.g.forVR(VirtualReality)).Themainfunctionsincludecomputeloadsharing/algorithmpartitioning,resolutionofdatasourceaddresses,security,replicationandmessagererouting.Theinformationgridresolveshomogeneousaccesstoheterogeneousinformationsources.Theknowledgegridutilisesknowledgediscoveryindatabasetechnology(especiallydatamining)togenerateknowledge(frominformationanddatainthelower2layersoftheGRIDs).[6]信息網(wǎng)格的其他討論IPG(informationpowergrid),NASA.：針對與對異構(gòu)分布式信息資源的無縫訪問[7]GIG(globalinformationgrid),USADefance.強(qiáng)調(diào)以網(wǎng)絡(luò)為中心的通信，信息廣播和作戰(zhàn)系統(tǒng)（net-centricinformationenvironment）InfoGrid[8]：一個(gè)實(shí)現(xiàn)信息訪問應(yīng)用的框架，其上提供用戶界面及交互模型。它集中于獲取應(yīng)用程序?qū)ο螅云鋵τ谛畔?，?shù)據(jù)和服務(wù)的統(tǒng)一訪問(retrieval-centeredinteractionmodelforinformationaccessapplications)大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎信息網(wǎng)格設(shè)計(jì)階段論文和科研成果對等網(wǎng)絡(luò)及信息網(wǎng)格的基礎(chǔ)設(shè)施（infrastructure）研究結(jié)構(gòu)化對等網(wǎng)絡(luò)上靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略基于節(jié)點(diǎn)異構(gòu)信息的路由及負(fù)載平衡算法信息搜索和基于語義的信息表示研究應(yīng)用于大規(guī)模分布系統(tǒng)的潛在語義分析和信息索引策略查找環(huán)（Lookup-Rings）：動態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息檢索基于元數(shù)據(jù)表示的信息網(wǎng)格階段論文和科研成果大規(guī)模分布系統(tǒng)上消息傳遞及同步機(jī)制O(1)復(fù)雜度對等網(wǎng)絡(luò)路由算法高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制結(jié)構(gòu)化對等網(wǎng)絡(luò)上

靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略針對傳統(tǒng)的“連續(xù)k-近鄰”數(shù)據(jù)冗余備份算法之不足，提出改進(jìn)的“分區(qū)近鄰”備份算法，適應(yīng)高度動態(tài)環(huán)境下的數(shù)據(jù)備份要求，很大程度上避免了無用的數(shù)據(jù)遷移，節(jié)省了系統(tǒng)維護(hù)開銷提出一個(gè)系統(tǒng)維護(hù)開銷模型，并給出基于模型的優(yōu)化策略提出variation-tolerantrecovery和adaptiveprobing相結(jié)合的系統(tǒng)維護(hù)策略，實(shí)現(xiàn)了靜態(tài)的和自適應(yīng)的數(shù)據(jù)冗余備份基于節(jié)點(diǎn)異構(gòu)信息的路由

及負(fù)載平衡算法

傳統(tǒng)對等網(wǎng)絡(luò)采用哈希算法實(shí)現(xiàn)總體上的負(fù)載平衡。這種簡單處理方式?jīng)]有能有效的利用節(jié)點(diǎn)能力（強(qiáng)節(jié)點(diǎn)），并且仍然有一定程度上的負(fù)載不均衡本算法利用節(jié)點(diǎn)容量表儲存當(dāng)前節(jié)點(diǎn)能力和使用狀況，并基于此進(jìn)行負(fù)載分配，實(shí)現(xiàn)了實(shí)施的細(xì)粒度平衡，并有效的利用了節(jié)點(diǎn)能力算法使用一個(gè)輕度的消息擴(kuò)散策略保證了容量表的實(shí)施更新應(yīng)用于大規(guī)模分布系統(tǒng)的

潛在語義分析和信息索引策略將傳統(tǒng)信息獲取領(lǐng)域（IR）中的潛在語義分析方法（LatentSemanticAnalysis）應(yīng)用于大規(guī)模分布式對等網(wǎng)絡(luò)上，實(shí)現(xiàn)對于信息源之間潛在語義關(guān)聯(lián)的提取和利用。通過將信息和用戶使用特性映射到降維歐式空間中的點(diǎn)來實(shí)現(xiàn)對于語義相關(guān)性的表示建立了對于潛在語義和用戶使用特性的后驗(yàn)概率模型，使用MAP(maximizingaposteriori)進(jìn)行優(yōu)化求解。采用基于E-M優(yōu)化的迭代算法實(shí)現(xiàn)了對于潛在語義表示空間的降維和求解，避免了分布式環(huán)境下SVD分解的復(fù)雜計(jì)算量通過提取的潛在語義表示來定義信息索引并指導(dǎo)分布式搜索，極大的提高了信息搜索效率（提高了2~3個(gè)數(shù)量級）查找環(huán)（Lookup-Rings）：動態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息檢索解決動態(tài)網(wǎng)絡(luò)環(huán)境下無中心大規(guī)模分布式系統(tǒng)的高效信息檢索問題。建立了信息查找表（索引）的優(yōu)化性能和網(wǎng)絡(luò)動態(tài)變化造成信息查找表維護(hù)開銷之間的平衡（trade-off）模型，求解出最優(yōu)的信息查找表尺度基于最有查找表尺度建立高效的信息檢索和維護(hù)算法，證明并實(shí)現(xiàn)了無偏檢索（unbiasedsearching）算法中的最優(yōu)效率?；谠獢?shù)據(jù)表示的信息網(wǎng)格使用元數(shù)據(jù)表示（metadata）實(shí)現(xiàn)信息網(wǎng)格底層架構(gòu)通過元數(shù)據(jù)的等價(jià)轉(zhuǎn)換完成分布信息檢索和信息集成利用用戶反饋數(shù)據(jù)實(shí)現(xiàn)信息檢索優(yōu)化O(1)復(fù)雜度對等網(wǎng)絡(luò)路由算法改善了傳統(tǒng)結(jié)構(gòu)化對等網(wǎng)絡(luò)設(shè)計(jì)的節(jié)點(diǎn)鏈路關(guān)系，很大程度上降低了節(jié)點(diǎn)的聯(lián)接數(shù)設(shè)計(jì)了O(1)復(fù)雜度的路由算法。對照HotOSIX中關(guān)于O(1)復(fù)雜度討論的先驅(qū)性論文，本設(shè)計(jì)避免了超級節(jié)點(diǎn)（supernode），實(shí)現(xiàn)了完全對等的拓?fù)浣Y(jié)構(gòu)。這樣同時(shí)解決了前文中超級節(jié)點(diǎn)帶寬開銷過大的問題高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制實(shí)現(xiàn)了應(yīng)用層（applicationlevel）的廣播機(jī)制，建立了一個(gè)高可靠的分布式消息通知和廣播機(jī)制對比gossip算法，減少了消息冗余，提高了算法效率，其算法效率接近最優(yōu)生成樹的樹型廣播對比樹型廣播，本算法保證了很高的可靠性以及負(fù)載均衡，其可靠性接近gossip算法大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎設(shè)計(jì)信息網(wǎng)格設(shè)計(jì)基于屬性的搜索引擎設(shè)計(jì)概述及與傳統(tǒng)文本搜索引擎的對比基于屬性的搜索引擎設(shè)計(jì)信息網(wǎng)格設(shè)計(jì)概述及與籠傳統(tǒng)文本文搜索引擎鴨的對比應(yīng)用背景義：互聯(lián)網(wǎng)診上巨大信快息的獲取畫和檢索傳統(tǒng)文繞本搜索鞠引擎的狐實(shí)現(xiàn)方寧法Html頁面文啦本的獲考取（Craw廢ling）頁面解析櫻和倒排索尾引建立（Inv持ert發(fā)ed原Ind鏡exi砌ng）頁面聯(lián)接達(dá)關(guān)系分析妹和評定（Pag晶eR授ank咳ing）基于倒技排索引畢的聯(lián)合取查詢（Sea跪rch派ing替an勢dm耗erg挪ing）傳統(tǒng)文丑本搜索衛(wèi)引擎的腿優(yōu)勢和涂不足優(yōu)勢使用簡飼便，面絡(luò)向最終賭用戶只關(guān)心煎文本，辭具有通淘用性。彎同時(shí)鑒布于目前IR技術(shù)水平磨尚待發(fā)展助，純文本件搜索不啻鼻為最直接扯的搜索引屆擎策略不足完全不胡考慮文電本結(jié)構(gòu)廊信息，躲限制了齒高級使塞用其通用假性也是趨不足之共處，無念法對于矛專業(yè)應(yīng)紅用提供睬有針對增性的服磚務(wù)，不匹能實(shí)現(xiàn)全在語義且上的定斗域查詢真，查詢盜精度差不包含早屬性信織息，不藍(lán)符合信活息網(wǎng)格尸的需求筐，無法抗對應(yīng)用適程序?qū)嵄爆F(xiàn)必需襖的支持基于屬性頭的半結(jié)構(gòu)匆化信息搜所索引擎設(shè)計(jì)思顫想將信息（html頁面，ftp文件，pdf文件…）看作頁是屬性哄的集合微，而非值傳統(tǒng)平貢面純文梁本的集紀(jì)合，亦片即：Item糞={螺<key擺,va貢lue>i,i釀=1,擁…n}查詢請求餐可以詳細(xì)水指定所查舉信息的屬閣性，提供key或者與key相對應(yīng)枕的屬性飲值，縮銹小查尋翼范圍，恐提高查六詢精度屬性之間腸實(shí)現(xiàn)等效礙轉(zhuǎn)換這本質(zhì)到上是利乳用（文俗本中）議結(jié)構(gòu)信財(cái)息和語換義信息概要設(shè)計(jì)系統(tǒng)組疼成部分信息資源霉獲?。–raw榮ling）Craw抬ler參and眾Craw扛ler潮Sche撒dule噸r半結(jié)構(gòu)化講和倒排索液引建立Tem搜pla戰(zhàn)te-功bas剝ed鋸Ana教lyz腎er秋and壩In彩ver括ted筋-in妨dex印Bu略ild肢er語義相關(guān)嚼分析及屬輝性表評定SVD青an字dR堵ank悔er基于屬性振的查詢Pro榨per溝ty-嘉bas比ed咸Que饑ry傘Eng梢ine與傳統(tǒng)獻(xiàn)純文本臥搜索引粗擎之比寨較網(wǎng)頁Craw星ler頁面解賴析器文本索疾引應(yīng)答引擎純文本Pag盲eR海ank網(wǎng)頁Craw夕ler半結(jié)構(gòu)化類器屬性索介引應(yīng)答引擎語義Rank及擴(kuò)展右查詢屬性查詢純文本招搜索引登擎基于屬醒性的搜凍索引擎模版庫Int照ern嗽et獲取分析索駛引查詢關(guān)鍵技膛術(shù)半結(jié)構(gòu)化通用半形結(jié)構(gòu)化各器提取html的表格抓信息，蓄形成屬由性表提取已知海格式的文蛙檔信息，改譬如DOC垃,P雨DF等基于模版賴的專用半蒙結(jié)構(gòu)化器對于特定武頁面定制侮特定的模帶版，使用XML規(guī)則知道粥解析對于特定怒服務(wù)定制快特定的模貌版及特定夜協(xié)議（ftp等）通過半播結(jié)構(gòu)化目器，將拜頁面轉(zhuǎn)嗽換成為需屬性表趕，縮小昌查尋范晌圍，提雞高查詢暢精度和抹效率關(guān)鍵技柏術(shù)屬性索摩引針對轉(zhuǎn)陪換的屬表性表，藥建立屬盤性倒排對于二維撫表格的處逢理其他頁續(xù)面內(nèi)容云的索引剃，與文耍本搜索良引擎的傻處理相廁同關(guān)鍵技邊術(shù)基于屬堪性表和廉語義的Rank和擴(kuò)展查生詢屬性表特醒定的Ran套k基于SVD潛在語義廟分析的頁形面Rank技術(shù)擴(kuò)展查詢孤技術(shù)基于屬以性詞相狗關(guān)的擴(kuò)撲展查詢基于同義托詞字典的夏擴(kuò)展查詢基于頁面期潛在相關(guān)柏的擴(kuò)展查旗詢關(guān)鍵技術(shù)基于屬劉性查詢篩的應(yīng)答臥引擎對于設(shè)定麻屬性值（陣值域）的竄查詢優(yōu)化大綱信息網(wǎng)絮格研究頭綜述階段論意文和科癥研成果基于屬性六的搜索引取擎信息網(wǎng)格廟設(shè)計(jì)信息網(wǎng)攪格設(shè)計(jì)基于屬鴿性的搜展索引擎壘可以看滴作信息登網(wǎng)格架遮構(gòu)上面艱的一個(gè)嚷應(yīng)用信慰息網(wǎng)格漢系統(tǒng)具備了弱對于信躺息的統(tǒng)織一描述溝（基于途屬性標(biāo)滿的元數(shù)揉據(jù)）可以提幸供用戶夸查詢的旗反饋具備管理束和看守一株定范圍的Inte兵rnet上信息資臟源的能力信息網(wǎng)格鄙底層架構(gòu)芬應(yīng)該給多寄個(gè)這樣的浮應(yīng)用提供惰基礎(chǔ)設(shè)施蹄（inf果ras而tru復(fù)ctu纖re）級的給支持信息網(wǎng)償格圖示Inte鳴rnetInfo藍(lán)rmat搏ion懼Grid撓Inf決rast宣ruct飼ure信息資源信息網(wǎng)格Know額ledg戚eGr堪id應(yīng)用程序終端用戶上層用盜戶從基于種屬性的叫搜索引汽擎到信據(jù)息網(wǎng)格長：典型休信息網(wǎng)像格的結(jié)綠構(gòu)設(shè)計(jì)資源獲取絨器應(yīng)答引攀擎RankInt煤ern宜et資源獲取資源庫定域Sch隊(duì)edu埋ler半結(jié)構(gòu)好化器屬性索聯(lián)引半結(jié)構(gòu)化規(guī)則分析獲連取查詢輔助模況塊基于元篩數(shù)據(jù)的掙請求返回結(jié)泳果翻譯模塊格式轉(zhuǎn)換應(yīng)用程序終端用戶其他網(wǎng)跑格信息網(wǎng)頌格基礎(chǔ)億架構(gòu)多個(gè)信息叉網(wǎng)格之間嶄交互數(shù)據(jù)狹的統(tǒng)一接準(zhǔn)口用戶查詢轎分派針對特定售用戶的信戒息集成信息網(wǎng)渣格基礎(chǔ)填架構(gòu)多個(gè)信息棟網(wǎng)格之間煙交互數(shù)據(jù)杏的統(tǒng)一接吳口抽象信息劇網(wǎng)格服務(wù)輸入基于腰元數(shù)據(jù)表智示的查詢布請求輸出特定鹿格式的查白詢結(jié)果采用基迅于XML統(tǒng)一表示傭的數(shù)據(jù)格悉式可外掛的欣翻譯模塊信息網(wǎng)格劃基礎(chǔ)架構(gòu)用戶查哭詢派發(fā)用戶提交標(biāo)查詢：特定元董數(shù)據(jù)結(jié)弦構(gòu)特定信弄息網(wǎng)格擦定域特定服躬?jiǎng)?wù)描述檢索可以佛服務(wù)的信劣息網(wǎng)格：儲基于用戶圖元數(shù)據(jù)模斯式采用無中醋心對等網(wǎng)勵(lì)絡(luò)中的檢世索技術(shù)采用用貸戶配置究文件采用信息乎網(wǎng)格特定椒的注冊檢考索服務(wù)器爺來完成——這些特定芝服務(wù)企也寸可以看作址一定意義卷上的“信傳息網(wǎng)格”信息網(wǎng)軟格基礎(chǔ)情構(gòu)架針對特定門用戶的信蜘息集成最終的信突息集成應(yīng)繩該是應(yīng)用謹(jǐn)程序或者炒用戶端來目完成的，墓因此集成千有理由采段用無偏向絡(luò)性的簡單豈結(jié)果融合優(yōu)化的信慣息集成技岡術(shù)是“元保搜索”領(lǐng)友域中的基嘉本課題，胳有一些成魚型的結(jié)果通過用匪戶反饋竭（rele萍vanc鬼efe半edba公ck）積累知畏識，實(shí)現(xiàn)因長程的信刃息集成優(yōu)丈化這一部振分主要罷是特定已信息網(wǎng)秋格應(yīng)用撒的范疇前述研究淘結(jié)果和信梢息網(wǎng)格的旁結(jié)合針對大永規(guī)模分舌布系統(tǒng)巴的搜索籍技術(shù)針對高鐵度動態(tài)帶系統(tǒng)的層高可用界技術(shù)針對潛真在語義顆信息分并析的技他術(shù)統(tǒng)一的些信息表痕示參考文獻(xiàn)[1]蘿Nige譜lBa輕ker帥eta叫l(wèi).Q通uery震ing徒Larg領(lǐng)ePh弦ysic珠sDa燙taS剝ets鎖Over暈an師Info例rmat走ion蜓Grid柜.In傾Che飼p’0植1[2]賴Al階exa戲nde鉗rR盆ein倒efe發(fā)ld澡et希al.林Co小nce島pts掀an柔dT物ech棟nol示ogi遲es懶for太a兔Wor撐ldw皆ide取Gr奮id躍Inf劫ras萬tru紹ctu詠re.嘉In紐奉Eu性ro-件Par天20番02[3]纖F.P.覺Ter艦pstr貧a,e雞tal燭.In集form淚atio令ndi粉scov薯ery忍and莖comb倘inat出ion汗from毀div刷erge同ntd楚ata集sour他ces鏟for類Trav敏elI潛nfor靜mati茅onS舒yste羊ms.掌In7沿thE順urop懲ean釀Conf機(jī)eren桐ceo綠nPr斬inci娛ples纖and珍Pra申ctic蹲eof紋Kno然wled匆geD玻isco鈔very季in火Data坦base搭s(E燭CML/財(cái)PKKD圾-200祖3)[4]覽Omer副F.拴Rana玩et曉al.駛Issu夜esi逢nBu丑ildi泛ngA察gent肆-Bas巖edC慕ompu息tati值onal逝Gri筑ds.松Thir怒dWo坑rksh養(yǎng)opo宇fth云eUK湯Spe食cial裝Int病eres叨tGr矮oup挖onM鳥ulti膜-Age口ntS鼠yste烤ms(游UKMA霧S'20勸00)暮Oxfo覽rd,佛UK.蹄12辦2000參考文獻(xiàn)[5]必Keit袖h.G聯(lián).et遠(yuǎn)al.令Kno偽wled旁ge,踩info妨rmat需ion份and莫Data舍.A歸brie煌fing爆to素the鉛Offi寫ceo滲fSc膨ienc孕ean末dTe機(jī)chno瘋logy得,UK石,20們00[6]