總結(jié)及下一階段工作計(jì)劃

總結(jié)及下一階段工作計(jì)劃劉學(xué)錚大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎信息網(wǎng)格設(shè)計(jì)數(shù)據(jù)網(wǎng)格、信息網(wǎng)格和知識(shí)網(wǎng)格[1,3]數(shù)據(jù)網(wǎng)格與信息網(wǎng)格數(shù)據(jù)網(wǎng)格數(shù)據(jù)網(wǎng)格解決的問(wèn)題：解決海量數(shù)據(jù)的存儲(chǔ)和共享問(wèn)題主要為計(jì)算任務(wù)以及計(jì)算網(wǎng)格服務(wù)，是一種底層的海量數(shù)據(jù)倉(cāng)儲(chǔ)體系數(shù)據(jù)網(wǎng)格不去解決的問(wèn)題：多類的和復(fù)雜的信息格式信息表示和元數(shù)據(jù)智能化信息獲?。↖nformationretrieval）信息網(wǎng)格信息網(wǎng)格解決的問(wèn)題信息的智能化獲取信息檢索信息的表示多類的元數(shù)據(jù)和結(jié)構(gòu)化給用戶和應(yīng)用程序提供特定內(nèi)容的信息服務(wù)信息網(wǎng)格不去解決的問(wèn)題海量數(shù)據(jù)存儲(chǔ)，數(shù)據(jù)管理計(jì)算問(wèn)題及強(qiáng)數(shù)據(jù)量（data-density）的計(jì)算和數(shù)據(jù)訪問(wèn)方式信息網(wǎng)格和知識(shí)網(wǎng)格信息網(wǎng)格信息網(wǎng)格解決的問(wèn)題信息的智能化獲取信息檢索信息的表示多類的元數(shù)據(jù)和結(jié)構(gòu)化信息網(wǎng)格不去解決的問(wèn)題數(shù)據(jù)挖掘問(wèn)題求解知識(shí)網(wǎng)格知識(shí)網(wǎng)格解決的問(wèn)題數(shù)據(jù)挖掘、知識(shí)挖掘規(guī)則的發(fā)現(xiàn)數(shù)據(jù)、信息的可視化Ontology轉(zhuǎn)換知識(shí)網(wǎng)格不去解決的問(wèn)題無(wú)結(jié)構(gòu)信息的半結(jié)構(gòu)化元數(shù)據(jù)格式的匹配和轉(zhuǎn)換信息智能化檢索資源網(wǎng)格、信息網(wǎng)格與服務(wù)網(wǎng)格[2]信息網(wǎng)格的其他討論信息網(wǎng)格作為計(jì)算網(wǎng)格和知識(shí)網(wǎng)格的中間層次，允許對(duì)于異構(gòu)信息的統(tǒng)一訪問(wèn)，提供分布式資源上的公用信息服務(wù)。統(tǒng)一訪問(wèn)依賴于metadata對(duì)于信息的描述（并集成異構(gòu)資源）[4,5]Thecomputation/datagridhassupercomputers,largeservers,massivedatastoragefacilitiesandspecialiseddevicesandfacilities(e.g.forVR(VirtualReality)).Themainfunctionsincludecomputeloadsharing/algorithmpartitioning,resolutionofdatasourceaddresses,security,replicationandmessagererouting.Theinformationgridresolveshomogeneousaccesstoheterogeneousinformationsources.Theknowledgegridutilisesknowledgediscoveryindatabasetechnology(especiallydatamining)togenerateknowledge(frominformationanddatainthelower2layersoftheGRIDs).[6]信息網(wǎng)格的其他討論IPG(informationpowergrid),NASA.：針對(duì)與對(duì)異構(gòu)分布式信息資源的無(wú)縫訪問(wèn)[7]GIG(globalinformationgrid),USADefance.強(qiáng)調(diào)以網(wǎng)絡(luò)為中心的通信，信息廣播和作戰(zhàn)系統(tǒng)（net-centricinformationenvironment）InfoGrid[8]：一個(gè)實(shí)現(xiàn)信息訪問(wèn)應(yīng)用的框架，其上提供用戶界面及交互模型。它集中于獲取應(yīng)用程序?qū)ο螅云鋵?duì)于信息，數(shù)據(jù)和服務(wù)的統(tǒng)一訪問(wèn)(retrieval-centeredinteractionmodelforinformationaccessapplications)大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎信息網(wǎng)格設(shè)計(jì)階段論文和科研成果對(duì)等網(wǎng)絡(luò)及信息網(wǎng)格的基礎(chǔ)設(shè)施（infrastructure）研究結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)上靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略基于節(jié)點(diǎn)異構(gòu)信息的路由及負(fù)載平衡算法信息搜索和基于語(yǔ)義的信息表示研究應(yīng)用于大規(guī)模分布系統(tǒng)的潛在語(yǔ)義分析和信息索引策略查找環(huán)（Lookup-Rings）：動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息檢索基于元數(shù)據(jù)表示的信息網(wǎng)格階段論文和科研成果大規(guī)模分布系統(tǒng)上消息傳遞及同步機(jī)制O(1)復(fù)雜度對(duì)等網(wǎng)絡(luò)路由算法高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)上

靜態(tài)和自適應(yīng)的數(shù)據(jù)備份策略針對(duì)傳統(tǒng)的“連續(xù)k-近鄰”數(shù)據(jù)冗余備份算法之不足，提出改進(jìn)的“分區(qū)近鄰”備份算法，適應(yīng)高度動(dòng)態(tài)環(huán)境下的數(shù)據(jù)備份要求，很大程度上避免了無(wú)用的數(shù)據(jù)遷移，節(jié)省了系統(tǒng)維護(hù)開(kāi)銷提出一個(gè)系統(tǒng)維護(hù)開(kāi)銷模型，并給出基于模型的優(yōu)化策略提出variation-tolerantrecovery和adaptiveprobing相結(jié)合的系統(tǒng)維護(hù)策略，實(shí)現(xiàn)了靜態(tài)的和自適應(yīng)的數(shù)據(jù)冗余備份基于節(jié)點(diǎn)異構(gòu)信息的路由

及負(fù)載平衡算法

傳統(tǒng)對(duì)等網(wǎng)絡(luò)采用哈希算法實(shí)現(xiàn)總體上的負(fù)載平衡。這種簡(jiǎn)單處理方式?jīng)]有能有效的利用節(jié)點(diǎn)能力（強(qiáng)節(jié)點(diǎn)），并且仍然有一定程度上的負(fù)載不均衡本算法利用節(jié)點(diǎn)容量表儲(chǔ)存當(dāng)前節(jié)點(diǎn)能力和使用狀況，并基于此進(jìn)行負(fù)載分配，實(shí)現(xiàn)了實(shí)施的細(xì)粒度平衡，并有效的利用了節(jié)點(diǎn)能力算法使用一個(gè)輕度的消息擴(kuò)散策略保證了容量表的實(shí)施更新應(yīng)用于大規(guī)模分布系統(tǒng)的

潛在語(yǔ)義分析和信息索引策略將傳統(tǒng)信息獲取領(lǐng)域（IR）中的潛在語(yǔ)義分析方法（LatentSemanticAnalysis）應(yīng)用于大規(guī)模分布式對(duì)等網(wǎng)絡(luò)上，實(shí)現(xiàn)對(duì)于信息源之間潛在語(yǔ)義關(guān)聯(lián)的提取和利用。通過(guò)將信息和用戶使用特性映射到降維歐式空間中的點(diǎn)來(lái)實(shí)現(xiàn)對(duì)于語(yǔ)義相關(guān)性的表示建立了對(duì)于潛在語(yǔ)義和用戶使用特性的后驗(yàn)概率模型，使用MAP(maximizingaposteriori)進(jìn)行優(yōu)化求解。采用基于E-M優(yōu)化的迭代算法實(shí)現(xiàn)了對(duì)于潛在語(yǔ)義表示空間的降維和求解，避免了分布式環(huán)境下SVD分解的復(fù)雜計(jì)算量通過(guò)提取的潛在語(yǔ)義表示來(lái)定義信息索引并指導(dǎo)分布式搜索，極大的提高了信息搜索效率（提高了2~3個(gè)數(shù)量級(jí)）查找環(huán)（Lookup-Rings）：動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境上的高效信息檢索解決動(dòng)態(tài)網(wǎng)絡(luò)環(huán)境下無(wú)中心大規(guī)模分布式系統(tǒng)的高效信息檢索問(wèn)題。建立了信息查找表（索引）的優(yōu)化性能和網(wǎng)絡(luò)動(dòng)態(tài)變化造成信息查找表維護(hù)開(kāi)銷之間的平衡（trade-off）模型，求解出最優(yōu)的信息查找表尺度基于最有查找表尺度建立高效的信息檢索和維護(hù)算法，證明并實(shí)現(xiàn)了無(wú)偏檢索（unbiasedsearching）算法中的最優(yōu)效率?；谠獢?shù)據(jù)表示的信息網(wǎng)格使用元數(shù)據(jù)表示（metadata）實(shí)現(xiàn)信息網(wǎng)格底層架構(gòu)通過(guò)元數(shù)據(jù)的等價(jià)轉(zhuǎn)換完成分布信息檢索和信息集成利用用戶反饋數(shù)據(jù)實(shí)現(xiàn)信息檢索優(yōu)化O(1)復(fù)雜度對(duì)等網(wǎng)絡(luò)路由算法改善了傳統(tǒng)結(jié)構(gòu)化對(duì)等網(wǎng)絡(luò)設(shè)計(jì)的節(jié)點(diǎn)鏈路關(guān)系，很大程度上降低了節(jié)點(diǎn)的聯(lián)接數(shù)設(shè)計(jì)了O(1)復(fù)雜度的路由算法。對(duì)照HotOSIX中關(guān)于O(1)復(fù)雜度討論的先驅(qū)性論文，本設(shè)計(jì)避免了超級(jí)節(jié)點(diǎn)（supernode），實(shí)現(xiàn)了完全對(duì)等的拓?fù)浣Y(jié)構(gòu)。這樣同時(shí)解決了前文中超級(jí)節(jié)點(diǎn)帶寬開(kāi)銷過(guò)大的問(wèn)題高可靠的大規(guī)模分布系統(tǒng)廣播機(jī)制實(shí)現(xiàn)了應(yīng)用層（applicationlevel）的廣播機(jī)制，建立了一個(gè)高可靠的分布式消息通知和廣播機(jī)制對(duì)比gossip算法，減少了消息冗余，提高了算法效率，其算法效率接近最優(yōu)生成樹(shù)的樹(shù)型廣播對(duì)比樹(shù)型廣播，本算法保證了很高的可靠性以及負(fù)載均衡，其可靠性接近gossip算法大綱信息網(wǎng)格研究綜述階段論文和科研成果基于屬性的搜索引擎設(shè)計(jì)信息網(wǎng)格設(shè)計(jì)基于屬性的搜索引擎設(shè)計(jì)概述及與傳統(tǒng)文本搜索引擎的對(duì)比基于屬性的搜索引擎設(shè)計(jì)信息網(wǎng)格設(shè)計(jì)概述及與籠傳統(tǒng)文本文搜索引擎鴨的對(duì)比應(yīng)用背景義：互聯(lián)網(wǎng)診上巨大信快息的獲取畫和檢索傳統(tǒng)文繞本搜索鞠引擎的狐實(shí)現(xiàn)方寧法Html頁(yè)面文啦本的獲考取（Craw廢ling）頁(yè)面解析櫻和倒排索尾引建立（Inv持ert發(fā)ed原Ind鏡exi砌ng）頁(yè)面聯(lián)接達(dá)關(guān)系分析妹和評(píng)定（Pag晶eR授ank咳ing）基于倒技排索引畢的聯(lián)合取查詢（Sea跪rch派ing替an勢(shì)dm耗erg挪ing）傳統(tǒng)文丑本搜索衛(wèi)引擎的腿優(yōu)勢(shì)和涂不足優(yōu)勢(shì)使用簡(jiǎn)飼便，面絡(luò)向最終賭用戶只關(guān)心煎文本，辭具有通淘用性。彎同時(shí)鑒布于目前IR技術(shù)水平磨尚待發(fā)展助，純文本件搜索不啻鼻為最直接扯的搜索引屆擎策略不足完全不胡考慮文電本結(jié)構(gòu)廊信息，躲限制了齒高級(jí)使塞用其通用假性也是趨不足之共處，無(wú)念法對(duì)于矛專業(yè)應(yīng)紅用提供睬有針對(duì)增性的服磚務(wù)，不匹能實(shí)現(xiàn)全在語(yǔ)義且上的定斗域查詢真，查詢盜精度差不包含早屬性信織息，不藍(lán)符合信活息網(wǎng)格尸的需求筐，無(wú)法抗對(duì)應(yīng)用適程序?qū)嵄爆F(xiàn)必需襖的支持基于屬性頭的半結(jié)構(gòu)匆化信息搜所索引擎設(shè)計(jì)思顫想將信息（html頁(yè)面，ftp文件，pdf文件…）看作頁(yè)是屬性哄的集合微，而非值傳統(tǒng)平貢面純文梁本的集紀(jì)合，亦片即：Item糞={螺<key擺,va貢lue>i,i釀=1,擁…n}查詢請(qǐng)求餐可以詳細(xì)水指定所查舉信息的屬閣性，提供key或者與key相對(duì)應(yīng)枕的屬性飲值，縮銹小查尋翼范圍，恐提高查六詢精度屬性之間腸實(shí)現(xiàn)等效礙轉(zhuǎn)換這本質(zhì)到上是利乳用（文俗本中）議結(jié)構(gòu)信財(cái)息和語(yǔ)換義信息概要設(shè)計(jì)系統(tǒng)組疼成部分信息資源霉獲?。–raw榮ling）Craw抬ler參and眾Craw扛ler潮Sche撒dule噸r半結(jié)構(gòu)化講和倒排索液引建立Tem搜pla戰(zhàn)te-功bas剝ed鋸Ana教lyz腎er秋and壩In彩ver括ted筋-in妨dex印Bu略ild肢er語(yǔ)義相關(guān)嚼分析及屬輝性表評(píng)定SVD青an字dR堵ank悔er基于屬性振的查詢Pro榨per溝ty-嘉bas比ed咸Que饑ry傘Eng梢ine與傳統(tǒng)獻(xiàn)純文本臥搜索引粗擎之比寨較網(wǎng)頁(yè)Craw星ler頁(yè)面解賴析器文本索疾引應(yīng)答引擎純文本Pag盲eR海ank網(wǎng)頁(yè)Craw夕ler半結(jié)構(gòu)化類器屬性索介引應(yīng)答引擎語(yǔ)義Rank及擴(kuò)展右查詢屬性查詢純文本招搜索引登擎基于屬醒性的搜凍索引擎模版庫(kù)Int照ern嗽et獲取分析索駛引查詢關(guān)鍵技膛術(shù)半結(jié)構(gòu)化通用半形結(jié)構(gòu)化各器提取html的表格抓信息，蓄形成屬由性表提取已知海格式的文蛙檔信息，改譬如DOC垃,P雨DF等基于模版賴的專用半蒙結(jié)構(gòu)化器對(duì)于特定武頁(yè)面定制侮特定的模帶版，使用XML規(guī)則知道粥解析對(duì)于特定怒服務(wù)定制快特定的模貌版及特定夜協(xié)議（ftp等）通過(guò)半播結(jié)構(gòu)化目器，將拜頁(yè)面轉(zhuǎn)嗽換成為需屬性表趕，縮小昌查尋范晌圍，提雞高查詢暢精度和抹效率關(guān)鍵技柏術(shù)屬性索摩引針對(duì)轉(zhuǎn)陪換的屬表性表，藥建立屬盤性倒排對(duì)于二維撫表格的處逢理其他頁(yè)續(xù)面內(nèi)容云的索引剃，與文耍本搜索良引擎的傻處理相廁同關(guān)鍵技邊術(shù)基于屬堪性表和廉語(yǔ)義的Rank和擴(kuò)展查生詢屬性表特醒定的Ran套k基于SVD潛在語(yǔ)義廟分析的頁(yè)形面Rank技術(shù)擴(kuò)展查詢孤技術(shù)基于屬以性詞相狗關(guān)的擴(kuò)撲展查詢基于同義托詞字典的夏擴(kuò)展查詢基于頁(yè)面期潛在相關(guān)柏的擴(kuò)展查旗詢關(guān)鍵技術(shù)基于屬劉性查詢篩的應(yīng)答臥引擎對(duì)于設(shè)定麻屬性值（陣值域）的竄查詢優(yōu)化大綱信息網(wǎng)絮格研究頭綜述階段論意文和科癥研成果基于屬性六的搜索引取擎信息網(wǎng)格廟設(shè)計(jì)信息網(wǎng)攪格設(shè)計(jì)基于屬鴿性的搜展索引擎壘可以看滴作信息登網(wǎng)格架遮構(gòu)上面艱的一個(gè)嚷應(yīng)用信慰息網(wǎng)格漢系統(tǒng)具備了弱對(duì)于信躺息的統(tǒng)織一描述溝（基于途屬性標(biāo)滿的元數(shù)揉據(jù)）可以提幸供用戶夸查詢的旗反饋具備管理束和看守一株定范圍的Inte兵rnet上信息資臟源的能力信息網(wǎng)格鄙底層架構(gòu)芬應(yīng)該給多寄個(gè)這樣的浮應(yīng)用提供惰基礎(chǔ)設(shè)施蹄（inf果ras而tru復(fù)ctu纖re）級(jí)的給支持信息網(wǎng)償格圖示Inte鳴rnetInfo藍(lán)rmat搏ion懼Grid撓Inf決rast宣ruct飼ure信息資源信息網(wǎng)格Know額ledg戚eGr堪id應(yīng)用程序終端用戶上層用盜戶從基于種屬性的叫搜索引汽擎到信據(jù)息網(wǎng)格長(zhǎng)：典型休信息網(wǎng)像格的結(jié)綠構(gòu)設(shè)計(jì)資源獲取絨器應(yīng)答引攀擎RankInt煤ern宜et資源獲取資源庫(kù)定域Sch隊(duì)edu埋ler半結(jié)構(gòu)好化器屬性索聯(lián)引半結(jié)構(gòu)化規(guī)則分析獲連取查詢輔助模況塊基于元篩數(shù)據(jù)的掙請(qǐng)求返回結(jié)泳果翻譯模塊格式轉(zhuǎn)換應(yīng)用程序終端用戶其他網(wǎng)跑格信息網(wǎng)頌格基礎(chǔ)億架構(gòu)多個(gè)信息叉網(wǎng)格之間嶄交互數(shù)據(jù)狹的統(tǒng)一接準(zhǔn)口用戶查詢轎分派針對(duì)特定售用戶的信戒息集成信息網(wǎng)渣格基礎(chǔ)填架構(gòu)多個(gè)信息棟網(wǎng)格之間煙交互數(shù)據(jù)杏的統(tǒng)一接吳口抽象信息劇網(wǎng)格服務(wù)輸入基于腰元數(shù)據(jù)表智示的查詢布請(qǐng)求輸出特定鹿格式的查白詢結(jié)果采用基迅于XML統(tǒng)一表示傭的數(shù)據(jù)格悉式可外掛的欣翻譯模塊信息網(wǎng)格劃基礎(chǔ)架構(gòu)用戶查哭詢派發(fā)用戶提交標(biāo)查詢：特定元董數(shù)據(jù)結(jié)弦構(gòu)特定信弄息網(wǎng)格擦定域特定服躬?jiǎng)?wù)描述檢索可以佛服務(wù)的信劣息網(wǎng)格：儲(chǔ)基于用戶圖元數(shù)據(jù)模斯式采用無(wú)中醋心對(duì)等網(wǎng)勵(lì)絡(luò)中的檢世索技術(shù)采用用貸戶配置究文件采用信息乎網(wǎng)格特定椒的注冊(cè)檢考索服務(wù)器爺來(lái)完成——這些特定芝服務(wù)企也寸可以看作址一定意義卷上的“信傳息網(wǎng)格”信息網(wǎng)軟格基礎(chǔ)情構(gòu)架針對(duì)特定門用戶的信蜘息集成最終的信突息集成應(yīng)繩該是應(yīng)用謹(jǐn)程序或者炒用戶端來(lái)目完成的，墓因此集成千有理由采段用無(wú)偏向絡(luò)性的簡(jiǎn)單豈結(jié)果融合優(yōu)化的信慣息集成技岡術(shù)是“元保搜索”領(lǐng)友域中的基嘉本課題，胳有一些成魚型的結(jié)果通過(guò)用匪戶反饋竭（rele萍vanc鬼efe半edba公ck）積累知畏識(shí)，實(shí)現(xiàn)因長(zhǎng)程的信刃息集成優(yōu)丈化這一部振分主要罷是特定已信息網(wǎng)秋格應(yīng)用撒的范疇前述研究淘結(jié)果和信梢息網(wǎng)格的旁結(jié)合針對(duì)大永規(guī)模分舌布系統(tǒng)巴的搜索籍技術(shù)針對(duì)高鐵度動(dòng)態(tài)帶系統(tǒng)的層高可用界技術(shù)針對(duì)潛真在語(yǔ)義顆信息分并析的技他術(shù)統(tǒng)一的些信息表痕示參考文獻(xiàn)[1]蘿Nige譜lBa輕ker帥eta叫l(wèi).Q通uery震ing徒Larg領(lǐng)ePh弦ysic珠sDa燙taS剝ets鎖Over暈an師Info例rmat走ion蜓Grid柜.In傾Che飼p’0植1[2]賴Al階exa戲nde鉗rR盆ein倒efe發(fā)ld澡et希al.林Co小nce島pts掀an柔dT物ech棟nol示ogi遲es懶for太a兔Wor撐ldw皆ide取Gr奮id躍Inf劫ras萬(wàn)tru紹ctu詠re.嘉In紐奉Eu性ro-件Par天20番02[3]纖F.P.覺(jué)Ter艦pstr貧a,e雞tal燭.In集form淚atio令ndi粉scov薯ery忍and莖comb倘inat出ion汗from毀div刷erge同ntd楚ata集sour他ces鏟for類Trav敏elI潛nfor靜mati茅onS舒yste羊ms.掌In7沿thE順urop懲ean釀Conf機(jī)eren桐ceo綠nPr斬inci娛ples纖and珍Pra申ctic蹲eof紋Kno然wled匆geD玻isco鈔very季in火Data坦base搭s(E燭CML/財(cái)PKKD圾-200祖3)[4]覽Omer副F.拴Rana玩et曉al.駛Issu夜esi逢nBu丑ildi泛ngA察gent肆-Bas巖edC慕ompu息tati值onal逝Gri筑ds.松Thir怒dWo坑rksh養(yǎng)opo宇fth云eUK湯Spe食cial裝Int病eres叨tGr矮oup挖onM鳥(niǎo)ulti膜-Age口ntS鼠yste烤ms(游UKMA霧S'20勸00)暮Oxfo覽rd,佛UK.蹄12辦2000參考文獻(xiàn)[5]必Keit袖h.G聯(lián).et遠(yuǎn)al.令Kno偽wled旁ge,踩info妨rmat需ion份and莫Data舍.A歸brie煌fing爆to素the鉛Offi寫ceo滲fSc膨ienc孕ean末dTe機(jī)chno瘋logy得,UK石,20們00[6]