畢業(yè)答辯-搜索引擎的研究與實(shí)現(xiàn).ppt

畢業(yè)答辯,題目:搜索引擎的研究與實(shí)現(xiàn)專業(yè)：軟件工程答辯人：指導(dǎo)老師:,論文結(jié)構(gòu),第一章引言第二章搜索引擎介紹第三章網(wǎng)絡(luò)機(jī)器人第四章網(wǎng)絡(luò)索引器第五章網(wǎng)絡(luò)搜索程序第六章總結(jié),研究目的和意義,網(wǎng)絡(luò)中的資源非常豐富，但是如何有效地找到自己需要的信息卻是一件困難的事情。網(wǎng)絡(luò)搜索引擎應(yīng)運(yùn)而生。本文首先詳細(xì)介紹了網(wǎng)絡(luò)搜索引擎的系統(tǒng)結(jié)構(gòu)，然后從網(wǎng)頁(yè)信息抓取、網(wǎng)頁(yè)內(nèi)容分析、網(wǎng)頁(yè)索引建立、用戶檢索與結(jié)果排序等方面進(jìn)行詳細(xì)的說(shuō)明。為了更加深刻的理解這種技術(shù)，本人還親自實(shí)現(xiàn)了一個(gè)自己的搜索引擎。,搜索引擎介紹-發(fā)展歷史,不知道大家時(shí)候在自己的搜索引擎首頁(yè)是否有設(shè)置過(guò)導(dǎo)航網(wǎng)站這個(gè)網(wǎng)址作為自己的首頁(yè)呢？其實(shí)這個(gè)網(wǎng)址就是搜索引擎第一代的代表。我們可以從這個(gè)導(dǎo)航網(wǎng)站這個(gè)網(wǎng)站里面看到，里面幾乎都是一些分類(lèi)網(wǎng)址，幾乎在互聯(lián)網(wǎng)上的，這個(gè)網(wǎng)站里面都一應(yīng)俱全，從這里我們可以看出，這個(gè)網(wǎng)站是一個(gè)導(dǎo)航網(wǎng)站，也可以說(shuō)分類(lèi)目錄網(wǎng)站，用戶可以從這個(gè)分類(lèi)目錄里找到自己想要的東西，這就是搜索引擎第一代。,第一代：分類(lèi)目錄時(shí)代（人工時(shí)代）,搜索引擎介紹-發(fā)展歷史,到了這一代，搜索引擎查詢信息的方法則是通過(guò)用戶所輸入的查詢信息提交給服務(wù)器，服務(wù)器通過(guò)查閱，返回給用戶一些相關(guān)程度高的信息。這代的搜索引擎的信息檢索模型主要包括例如布爾模型、概率模型或者向量空間模型。通過(guò)這些模型來(lái)計(jì)算用戶輸入的查詢信息是否與網(wǎng)頁(yè)內(nèi)容相關(guān)程度高低，將相關(guān)度高的則返回給用戶。采取這種模式的搜索引擎主要是一些早期的搜索引擎，例如像AltaVista、Excite等等。這就是搜索引擎第二代。,第二代：文本檢索時(shí)代（海量自動(dòng)獲取與排序清單）,搜索引擎介紹-發(fā)展歷史,這一代的搜索引擎所使用的方法大概是和我們今天的網(wǎng)站的外部鏈接形式基本相同，在當(dāng)時(shí)，外部鏈接代表的是一種推薦的含義，通過(guò)每個(gè)網(wǎng)站的推薦鏈接的數(shù)量來(lái)判斷一個(gè)網(wǎng)站的流行性和重要性。然后搜索引擎再結(jié)合網(wǎng)頁(yè)內(nèi)容的重要性來(lái)和相似程度來(lái)改善用戶搜索的信息質(zhì)量。這就是第三代搜索引擎,第三代：整合分析時(shí)代（立體搜索與結(jié)果整合）,搜索引擎介紹-發(fā)展歷史,第四代，也就是我們所用的搜索引擎技術(shù)也是的互聯(lián)網(wǎng)上面用的對(duì)普遍的。主要是以用戶為中心。當(dāng)客戶輸入查詢的請(qǐng)求時(shí)候，同一個(gè)查詢的請(qǐng)求關(guān)鍵詞在用戶的背后可能是不同查詢要求。甚至是同一個(gè)用戶，所查詢的關(guān)鍵詞一樣，也會(huì)因?yàn)樗诘臅r(shí)間和所在的場(chǎng)合不同而返回的結(jié)果不同的所有主流搜索引擎，都在致力于解決同一個(gè)問(wèn)題：怎樣才能從用戶所輸入的一個(gè)簡(jiǎn)短的關(guān)鍵詞來(lái)判斷用戶的真正查詢請(qǐng)求。這一代搜索引擎主要是以用戶為中心。這就是第四代搜索引擎。,第四代：用戶中心時(shí)代,搜索引擎介紹-結(jié)構(gòu),搜索器：在互聯(lián)網(wǎng)中漫游，發(fā)現(xiàn)和搜集信息；索引器：理解搜索器所搜索到的信息，從中抽取出索引項(xiàng)，用于表示文檔以及生成文檔庫(kù)的索引表；檢索器：根據(jù)用戶的查詢?cè)谒饕龓?kù)中快速檢索文檔，進(jìn)行相關(guān)度評(píng)價(jià)，對(duì)將要輸出的結(jié)果排序，并能按用戶的查詢需求合理反饋信息；用戶接口：接納用戶查詢、顯示查詢結(jié)果、提供個(gè)性化查詢項(xiàng)。,搜索引擎介紹-結(jié)構(gòu),搜索引擎介紹-分布式,各檢索服務(wù)器之間相互共享資源，站點(diǎn)只向本自治區(qū)域內(nèi)的信息搜索機(jī)器人提供信息，減輕了網(wǎng)絡(luò)及各站點(diǎn)的負(fù)載。各代理之間的相互協(xié)作及查詢重定向使得提供的服務(wù)更完善。與Web本身的分布式特性相適應(yīng)，具有良好的可擴(kuò)充性，便于維護(hù)。索引信息劃分到各自的索引數(shù)據(jù)庫(kù)中，使得各索引數(shù)據(jù)庫(kù)相對(duì)較小，查詢的響應(yīng)時(shí)間相對(duì)較短。部分檢索服務(wù)器發(fā)生故障時(shí)，其它部分能正常工作。,搜索引擎介紹-個(gè)性化,個(gè)性化搜索引擎指的是搜索引擎根據(jù)用戶搜索的歷史記錄，來(lái)返回更適合這個(gè)用戶的搜索結(jié)果。這些搜索歷史記錄包括用戶所搜索的關(guān)鍵詞，在搜索結(jié)果中的點(diǎn)擊情況，在各個(gè)網(wǎng)站的訪問(wèn)情況，書(shū)簽情況等。搜索引擎掌握了這些用戶資料后進(jìn)行分析，在用戶搜索新的關(guān)鍵詞時(shí)，能返回更有針對(duì)性的搜索結(jié)果，從而提高用戶體驗(yàn)。而搜索引擎，它就是以一定的技術(shù)和策略在互聯(lián)網(wǎng)中搜集、發(fā)現(xiàn)信息，并對(duì)信息進(jìn)行理解、提取和處理，為用戶提供Web搜索的服務(wù).,網(wǎng)絡(luò)機(jī)器人,網(wǎng)絡(luò)機(jī)器人,廣度優(yōu)先深度優(yōu)先,處理器,正文提取去除停用詞分詞,索引器,個(gè)性化搜索引擎指的是搜索引擎根據(jù)用戶搜索的歷史記錄，來(lái)返回更適合這個(gè)用戶的搜索結(jié)果。這些搜索歷史記錄包括用戶所搜索的關(guān)鍵詞，在搜索結(jié)果中的點(diǎn)擊情況，在各個(gè)網(wǎng)站的訪問(wèn)情況，書(shū)簽情況等。搜索引擎掌握了這些用戶資料后進(jìn)行分析，在用戶搜索新的關(guān)鍵詞時(shí)，能返回更有針對(duì)性的搜索結(jié)果，從而提高用戶體驗(yàn)。而搜索引擎，它就是以一定的技術(shù)和策略在互聯(lián)網(wǎng)中搜集、發(fā)現(xiàn)信息，并對(duì)信息進(jìn)行理解、提取和處理，為用戶提供Web搜索的服務(wù).,索引器-倒排索引,搜索程序,用戶在搜索框輸入關(guān)鍵詞后，排名程序調(diào)用索引庫(kù)數(shù)據(jù)，計(jì)算排名顯示給用戶，排名過(guò)程與用戶直接互動(dòng)的。但是，由于搜索引擎的數(shù)據(jù)量龐大，雖然能達(dá)到每日都有小的更新，但是一般情況搜索引擎的排名規(guī)則都是根據(jù)日、周、月階段性不同幅度的更新。,Lucene,一個(gè)檢索框架基于java語(yǔ)言建立和查找索引,搜索引擎實(shí)現(xiàn),BS結(jié)構(gòu)Java語(yǔ)言實(shí)現(xiàn)使用Lucene框架使用Spring，Struts2，MyBatis,搜索引擎實(shí)現(xiàn),本地文章數(shù)據(jù)庫(kù)定時(shí)更新索引網(wǎng)絡(luò)頁(yè)面抓取搜索引擎界面和檢索,界面-首頁(yè),界面-搜索結(jié)果,界面-添加文章,類(lèi)結(jié)構(gòu),SearchObject-查找索引SearchEngineCore-建立索引Job-定時(shí)更新索引WebContent-抓取網(wǎng)頁(yè)SearchAction-處理查詢請(qǐng)求,爬蟲(chóng),Documentdoc=PackContentObject.convertContentToDoc(wc.getContentFromSite();,爬蟲(chóng),URLurl;Stringtemp;finalStringBuffersb=newStringBuffer();url=newURL(htmlurl);finalBufferedReaderin=newBufferedReader(newInputStream