元搜索引擎的查詢優(yōu)化研究

元搜索引擎的查詢優(yōu)化研究導(dǎo)師:張敏學(xué)生:張路專業(yè):計(jì)算機(jī)科學(xué)與技術(shù)系一、元搜索引擎概述概念：元搜索引擎將現(xiàn)有的多個(gè)搜索引擎看成一個(gè)整體，為用戶提供一個(gè)統(tǒng)一的查詢界面，用戶的查詢請(qǐng)求由元搜索引擎根據(jù)知識(shí)庫(kù)中的信息，轉(zhuǎn)換為多個(gè)搜索引擎所能識(shí)別的格式，然后分別發(fā)送給調(diào)用的各獨(dú)立搜索引擎，由這些搜索引擎完成實(shí)際的信息檢索，最后元搜索引擎再把各搜索引擎返回的結(jié)果收集起來(lái)，進(jìn)行比較分析，剔除冗余信息，以一定的格式返回給用戶。

元搜索引擎的體系結(jié)構(gòu)元搜索引擎主要由三部分組成：請(qǐng)求提交代理；檢索接口代理；結(jié)果顯示代理。元搜索引擎的體系結(jié)構(gòu)獨(dú)立搜索引擎獨(dú)立搜索引擎獨(dú)立搜索引擎用戶搜索引擎列表初始化請(qǐng)求提交代理結(jié)果顯示定制檢索接口代理——結(jié)果顯示代理圖2-1元搜索引擎的體系結(jié)構(gòu)元搜索引擎的評(píng)價(jià)指標(biāo)：獨(dú)立搜索引擎的調(diào)度策略；是否提供足夠的檢索選項(xiàng)；對(duì)搜索結(jié)果的處理能力；相關(guān)度評(píng)價(jià)二、Agent的基本概念

Agent技術(shù)是近年來(lái)研究的一個(gè)熱點(diǎn)，它是從人工智能的一個(gè)分支DAI(DistributedArtificialIntelligence)發(fā)展起來(lái)的，從20世紀(jì)80年代才開(kāi)始研究，直到20世紀(jì)90年代中才得到廣泛的認(rèn)同．Agent一詞一直被翻譯成“代理”，也有人把它翻譯為“智能代理”，廣義上它是指具有智能的任何實(shí)體，包括人類、智能硬件(如機(jī)器人)和智能軟件。Agent的結(jié)構(gòu)一般認(rèn)為一個(gè)可以在軟件環(huán)境中進(jìn)行智能活動(dòng)的Agent，由四大要素組成，即行為(behavor)、資源(resource)、意念(intention)和愿望(desire)，分別描述了Agent的活動(dòng)特性、信息特性、決策特性和動(dòng)機(jī)特性。Multi-Agent系統(tǒng)的基本結(jié)構(gòu)①上下級(jí)結(jié)構(gòu)Agent1Agent222Agent32Agent31Agent21圖2-4Multi-Agent的上下級(jí)結(jié)構(gòu)圖這種結(jié)構(gòu)的特點(diǎn)是任務(wù)分層清晰，Agent之間信息流動(dòng)的控制較為容易，缺點(diǎn)是大大加重了高層節(jié)點(diǎn)的工作量，同時(shí)造成系統(tǒng)對(duì)高層節(jié)點(diǎn)的失誤很敏感。②對(duì)等結(jié)構(gòu)大大加快了信息流動(dòng)的效率。同時(shí)，由于消除了高層節(jié)點(diǎn)間的依賴，從而提高了系統(tǒng)的健壯性。這種系統(tǒng)帶來(lái)的問(wèn)題是信息的流動(dòng)顯著增加，信息控制變得更為復(fù)雜。Agent1Agent3Agent22Agent21圖2-5Multi-Agent的對(duì)等結(jié)構(gòu)圖③分層結(jié)構(gòu)分層結(jié)構(gòu)綜合了上述兩種結(jié)構(gòu)的特點(diǎn)，既包含了上下級(jí)間的控制關(guān)系，又可以建立相關(guān)Agent之間的直接聯(lián)系，提高了信息交流的靈活性。Agent1Agent2Agent22Agent32Agent31圖2-6Multi-Agent的分層結(jié)構(gòu)圖三、Web挖掘技術(shù)Web挖掘的概念：在已知數(shù)據(jù)樣本的基礎(chǔ)上，通過(guò)歸納學(xué)習(xí)、機(jī)器學(xué)習(xí)、統(tǒng)計(jì)分析等方法得到數(shù)據(jù)對(duì)象間的內(nèi)在特性，據(jù)此采用信息過(guò)濾技術(shù)在網(wǎng)絡(luò)中提取用戶感興趣的信息或者更高層次的知識(shí)和規(guī)律，

簡(jiǎn)單的說(shuō)，就是利用數(shù)據(jù)挖掘技術(shù)從Web文檔和Web活動(dòng)中發(fā)現(xiàn)、抽取人們感興趣的、潛在的有用模式和隱藏的信息。Web挖掘的研究?jī)?nèi)容①Web內(nèi)容挖掘：指從Web文檔中發(fā)現(xiàn)有用信息的過(guò)程②Web結(jié)構(gòu)挖掘：Web結(jié)構(gòu)挖掘的對(duì)象是Web本身的超鏈接，即對(duì)Web文檔的結(jié)構(gòu)進(jìn)行挖掘。③Web使用挖掘：也稱Web日志挖掘，是從Web訪問(wèn)日志中抽取知識(shí)的過(guò)程。四、檢索結(jié)果合成用戶瀏覽行為與興趣間的關(guān)系

從心理學(xué)角度來(lái)講，人的行為可以反映人的興趣和目的。用戶的生理行為、顯著行為和間接行為的特點(diǎn)決定了各自在用戶興趣度估計(jì)中的地位。相比較而言，用戶的間接行為種類很多，而且間接行為的發(fā)生伴隨著用戶的每一次瀏覽，數(shù)據(jù)非常豐富，加之間接行為與用戶興趣的關(guān)系可以科學(xué)量化，有利于對(duì)興趣度進(jìn)行估計(jì)。因此，間接行為是用戶興趣度估計(jì)的主要來(lái)源。

基于用戶興趣的檢索結(jié)果排序算法TSPR算法考慮了頁(yè)面的主題性，同一網(wǎng)頁(yè)的不同主題有不同的頁(yè)面等級(jí)值。不同的用戶需求不同，感興趣的領(lǐng)域也不同，如果將用戶的興趣與TSPR算法相結(jié)合，得到一種個(gè)性化的，能反映用戶興趣的檢索結(jié)果排序算法并以此對(duì)檢索結(jié)果進(jìn)行排序，將能有效地改善檢索性能。網(wǎng)頁(yè)P(yáng)的頁(yè)面等級(jí)值用表示，設(shè)用戶的查詢關(guān)鍵詞為q：以值為依據(jù)對(duì)檢索結(jié)果進(jìn)行排序，該過(guò)程具體由檢索結(jié)果Agent完成。無(wú)效鏈接檢查訪問(wèn)使用搜索引擎查詢到的結(jié)果時(shí)，經(jīng)常會(huì)遇到“找不到該頁(yè)錯(cuò)誤(HTTP404Error)”，解決此問(wèn)題的方法一般有兩種：①及時(shí)更新索引數(shù)據(jù)庫(kù)；②檢測(cè)返回結(jié)果中的鏈接。據(jù)統(tǒng)計(jì)學(xué)規(guī)律表明，75％的用戶只會(huì)在返回的前25個(gè)鏈接中查看。因此，采用一個(gè)快速的“死鏈接”檢查算法：抽取每個(gè)引擎返回的前25個(gè)結(jié)果中日期較早的網(wǎng)頁(yè)進(jìn)行檢測(cè)，對(duì)每個(gè)鏈接發(fā)送HEAD請(qǐng)求，判斷響應(yīng)代碼，如果是“404NotFound”，則刪除此鏈接，這樣檢測(cè)的網(wǎng)頁(yè)范圍可以大大減少。查詢結(jié)果去重

簡(jiǎn)單的判斷重復(fù)結(jié)果的方法：(1)如果兩個(gè)查詢結(jié)果的URL完全相同，可以肯定是重復(fù)結(jié)果；(2)如果兩個(gè)URL只是最后的文件名不同，其它部分相同(例如“http://server/”和“http://server/index.html”)，則認(rèn)為是相同結(jié)果；(3)如果URL完全不同，但標(biāo)題和摘要相同，則認(rèn)為是相同的；(4)如果兩個(gè)查詢結(jié)果的URL完全不同，但標(biāo)題和摘要相似(比如通過(guò)比較查詢結(jié)果中標(biāo)題和摘要包含的所有特征詞的關(guān)系)，則認(rèn)為是相同的。五、總結(jié)與展望主要工作:(1)研究了元搜索引擎技術(shù)和Web挖掘技術(shù)，對(duì)Agent技術(shù)進(jìn)行了深入地分析。(2)以概念提取為目標(biāo)，提出了一種基于中頻詞的網(wǎng)頁(yè)聚類策略。該算法將文檔聚類和主題描述統(tǒng)一起來(lái)，具有復(fù)雜度低、靈活性高的特點(diǎn)。(3)對(duì)元搜索引擎檢索結(jié)果合成算法進(jìn)行研究。選取用戶訪問(wèn)頁(yè)面的次數(shù)和駐留時(shí)間兩種行為，提出了一種從用戶行為到用戶興趣的映射算法。將用戶感興趣的內(nèi)容排在前面，從而提高了搜索質(zhì)量。進(jìn)一步的工作:(1)用戶興趣和行為的表達(dá)。(2)網(wǎng)頁(yè)主題的確定。(如何將網(wǎng)頁(yè)更好地進(jìn)行分類，更好地確定各個(gè)主題)(3)如何更好地對(duì)成員搜索引擎進(jìn)行調(diào)度也是提高元搜索引擎檢索性能的一個(gè)方面。致謝首先衷心的感謝指導(dǎo)老師張敏，本論文是在張敏老師的悉心指導(dǎo)下完成的，從選題到研究以及論文的最后完