基于Lucene4.6+Solr4.6+Heritrix1.14+S2SH實(shí)戰(zhàn)開發(fā)從無到有垂直搜索引擎

最有前途的軟件開發(fā)技術(shù)——搜索引擎技術(shù)搜索引擎作為互聯(lián)網(wǎng)發(fā)展中至關(guān)重要的一種應(yīng)用，已經(jīng)成為互聯(lián)網(wǎng)各個領(lǐng)域的制高點(diǎn)，其重要性不言而喻。搜索引擎領(lǐng)域也是互聯(lián)網(wǎng)應(yīng)用中不多見的以核心技術(shù)作為其命脈的領(lǐng)域，搜索引擎各個子系統(tǒng)是如何設(shè)計(jì)的？這成為廣大技術(shù)人員和搜索引擎優(yōu)化人員密切關(guān)注的內(nèi)容。隨著互聯(lián)網(wǎng)行業(yè)興起，大數(shù)據(jù)時代的到來，搜索引擎開發(fā)成為一項(xiàng)極富含金量的工作，市場對搜索軟件開發(fā)工程師的需求極其旺盛。大型搜索門戶需要大量專門的搜索軟件開發(fā)人才，而眾多中小型網(wǎng)站及企業(yè)也需要垂直搜索，網(wǎng)站搜索，全文檢索，知識庫系統(tǒng)等非結(jié)構(gòu)化數(shù)據(jù)開發(fā)軟件工程師在互聯(lián)網(wǎng)上說門檻，就是比資源。垂直搜索也是這樣，能否提供全面權(quán)威的行業(yè)信息，能否擁有行業(yè)資源是垂直搜索引擎發(fā)展的門檻。換句化說，垂直門戶是垂直搜索血統(tǒng)最近的父親。作為房產(chǎn)行業(yè)的搜房網(wǎng)就是一個垂直門戶，在房產(chǎn)領(lǐng)域沒有誰比我們更清楚什么是垂直搜索了未來5年中，我們見到的最大變化將是人們使用電腦的方式將有所不同，移動電話將變成在互聯(lián)網(wǎng)上尋找信息的最常見手段。到那時，大多數(shù)問題都最好通過聲音進(jìn)行問答。搜索引擎公司將成為日常生活中更不可或缺的部分，它們的影響力最終將對其他一些為創(chuàng)造或傳播信息而存在的公司會產(chǎn)生極大的促進(jìn)甚至替代性的作用。網(wǎng)絡(luò)時代的信息量每8個月翻一番，如今的網(wǎng)頁以100億來計(jì)算；網(wǎng)絡(luò)搜索已成為僅次于電子郵件的第二大網(wǎng)絡(luò)應(yīng)用。2005年中國互聯(lián)網(wǎng)發(fā)展?fàn)顩r統(tǒng)計(jì)報(bào)告中也指出，用戶在互聯(lián)網(wǎng)上獲取信息最常用的方法中，通過搜索引擎查找相關(guān)的網(wǎng)站占58.2%。對于有效的搜索引擎技術(shù)的研究將具有巨大的學(xué)術(shù)及商業(yè)價值。?垂直搜索引擎是針對某一個行業(yè)的專業(yè)搜索引擎，是搜索引擎的細(xì)分和延伸，是對網(wǎng)頁庫中的某類專門的信息進(jìn)行一次整合，定向分字段抽取出需要的數(shù)據(jù)進(jìn)行處理后再以某種形式返回給用戶。垂直搜索是相對通用搜索引擎的信息量大、查詢不準(zhǔn)確、深度不夠等提出來的新的搜索引擎服務(wù)模式，通過針對某一特定領(lǐng)域、某一特定人群或某一特定需求提供的有一定價值的信息和相關(guān)服務(wù)。其特點(diǎn)就是“專、精、深”，且具有行業(yè)色彩，相比較通用搜索引擎的海量信息無序化，垂直搜索引擎則顯得更加專注、具體和深入。垂直搜索引擎原理圖什么是垂直搜索引擎最有前途的軟件開發(fā)技術(shù)搜索引擎技術(shù)開源爬蟲:Heritrix1.14.4安裝/使用1、整體思路整個課程，按照一個從無到有的過程來展開。所有的數(shù)據(jù)，來自于互聯(lián)網(wǎng)，用heritrix去抓取。對于抓取的數(shù)據(jù)，進(jìn)行去重，去標(biāo)簽，然后利用lucene和solr進(jìn)行索引和搜索。如下圖所示：整個課程的最大特點(diǎn)是內(nèi)容新穎全面而又通俗易懂。對于實(shí)際搜索引擎所涉及的各種核心技術(shù)都有全面細(xì)致的介紹，除了作為搜索系統(tǒng)核心的網(wǎng)絡(luò)爬蟲、索引系統(tǒng)、排序系統(tǒng)、鏈接分析及用戶分析外，還包括網(wǎng)頁反作弊、緩存管理、網(wǎng)頁去重技術(shù)等實(shí)際搜索引擎必須關(guān)注的技術(shù)，同時用相當(dāng)大的篇幅講解了云計(jì)算與云存儲的核心技術(shù)原理及實(shí)現(xiàn)。整個課程的另一亮點(diǎn)是：整個項(xiàng)目的構(gòu)建全部采用最新技術(shù)，包括但不限于以下技術(shù)：struts2.3.16+spring4.0.1+hibernate4.3.1+jquery-easyui1.3.5+lucene4.6.0+solr4.6.0+Heritrix1.14并對其做了二次封裝。為了增進(jìn)學(xué)員的理解，課程大量引入形象的圖片來講解算法原理，相信讀者會發(fā)現(xiàn)原來搜索引擎的核心技術(shù)理解起來比原先想象的要簡單得多。本課程適合于各個層次的有志于從事搜索引擎技術(shù)的Java開發(fā)人員，只要求開發(fā)人員具備基礎(chǔ)的JAVA基礎(chǔ)及B/S開發(fā)經(jīng)驗(yàn)即可，對于初級程序員來說，可以在短時間內(nèi)迅速提高開發(fā)能力，掌握流行的技術(shù)，把握搜索引擎技術(shù)的發(fā)展脈絡(luò)。對于中高級程序員來說，本課程可以在短時間內(nèi)快速提升個人的搜索引擎方面的開發(fā)能力。1想要從事搜索引擎開發(fā)的Java技術(shù)人員2學(xué)習(xí)該課程你可以快速掌握到網(wǎng)絡(luò)爬蟲、中文分詞、網(wǎng)頁去重、搜索優(yōu)化、大數(shù)據(jù)處理等多方面的技能3加強(qiáng)開發(fā)的內(nèi)功修煉。4深入理解搜索引擎的原理與相關(guān)開發(fā)技術(shù)5掌握搜索引擎開發(fā)技術(shù)點(diǎn)，能夠獨(dú)立開發(fā)基于lucene技術(shù)的搜索系統(tǒng)亮點(diǎn)一、對heritrix進(jìn)一步封裝，可以按照需求配置，單獨(dú)運(yùn)行。亮點(diǎn)二、對lucene4.6.0與solr4.6.0進(jìn)行封裝，通過配置就可以對絕大多數(shù)的業(yè)務(wù)系統(tǒng)進(jìn)行數(shù)據(jù)庫及其文件的索引、搜索。亮點(diǎn)三、對目前最新的ssh（struts2.3.16spring4.0.1hibernate4.3.1）整合，并結(jié)合目前最新的版本的jquery-easyui1.3.5,構(gòu)建了一個完整的垂直搜索引擎。亮點(diǎn)四、整個課程的理論部分，參看了大量的核心期刊論文，并針對目前中文分詞，用純java代碼實(shí)現(xiàn)了一種基于無監(jiān)督的識別方法。另外，實(shí)現(xiàn)了文本的特征抽取TF*IDF算法，最小編輯距離算法，文本相似度算法（傳統(tǒng)的夾角余弦及指紋算法）。掌握此項(xiàng)技術(shù)后可以從事但不限于以下職位的工作：高級搜索引擎開發(fā)工程師行業(yè)（垂直）搜索引擎開發(fā)工程師搜索引擎后臺開發(fā)工程師搜索引擎Web開發(fā)工程師網(wǎng)絡(luò)爬蟲開發(fā)工程師學(xué)完此門課程后，您也可以參與或獨(dú)立完成具有以下功能的企業(yè)級應(yīng)用：一、桌面搜索引擎開發(fā)?二、百度文庫類資源庫項(xiàng)目三、開發(fā)自己的搜索門戶?四、利用網(wǎng)絡(luò)爬蟲抓取數(shù)據(jù)?一、Q:這門課程我沒有基礎(chǔ)可以學(xué)嗎？A:不行，學(xué)習(xí)這門課程必須得具體Java語言基礎(chǔ)，會使用SSH框架開發(fā)B/S應(yīng)用二、Q:這門課程適合于哪些人？A:本課程適合于各個層次的有志于從事搜索引擎技術(shù)的Java開發(fā)人員，只要求開發(fā)人員具備基礎(chǔ)的JAVA基礎(chǔ)及B/S開發(fā)經(jīng)驗(yàn)即可，對于初級程序員來說，可以在短時間內(nèi)迅速提高開發(fā)能力，掌握流行的技術(shù)，把握搜索引擎技術(shù)的發(fā)展脈絡(luò)。對于中高級程序員來說，本課程可以在短時間內(nèi)快速提升個人的搜索引擎方面的開發(fā)能力。三、Q：課程涉及到哪些技術(shù)，版本是多少？A：課程涉及到以下技術(shù)，且都是目前最新版本：1.lucene版本是4.6.02.solr版本是4.6.03.Heritrix版本是1.144.Struts2.3.165.Spring4.0.16.Hibernate4.3.17.jquery-easyui版本是1.3.5更多免費(fèi)資料視頻分享請加群106537671四、Q：學(xué)