統(tǒng)一搜索、檢索系統(tǒng)概要

1、統(tǒng)一搜索綜述 統(tǒng)一搜索產(chǎn)品是基于開源框架，針對(duì)網(wǎng)頁內(nèi)容，商品、多媒體以及應(yīng)用的搜索產(chǎn)品，包括爬蟲引擎，索引引擎、檢索引擎、智能推薦引擎、框計(jì)算接口平臺(tái)、運(yùn)營支撐平臺(tái)等子系統(tǒng)和應(yīng)用組件。有核心的搜索引擎算法和專業(yè)的技術(shù)架構(gòu)做有力的支撐。定義 面向搜索用戶，提供信息檢索的入口和渠道，完成從接受搜索詞到返回搜索結(jié)果的關(guān)鍵流程，同時(shí)還要完成對(duì)搜索內(nèi)容的采集與分析、建立索引的工作。定位 統(tǒng)一搜索對(duì)網(wǎng)頁引入爬蟲抓取機(jī)制，與傳統(tǒng)數(shù)據(jù)庫方式內(nèi)容搜索，形成最鮮明的差異化優(yōu)勢(shì)；對(duì)垂直搜索采用開放平臺(tái)接入方式，各種數(shù)據(jù)和應(yīng)用可以主動(dòng)與搜索平臺(tái)對(duì)接，使自己有機(jī)會(huì)來響應(yīng)搜索的需求。特點(diǎn) 統(tǒng)一搜索的主要發(fā)展方向有兩方面：

2、一是，擴(kuò)大搜索范圍，增加更多的專業(yè)垂直搜索；二是，向移動(dòng)端延伸，為移動(dòng)端提供更多支撐。發(fā)展搜索引擎的算法來到了以用戶體驗(yàn)至上的年代，我們選擇了在目前搜索引擎領(lǐng)域企業(yè)級(jí)應(yīng)用中最先進(jìn)的開源框架solr基礎(chǔ)上，通過對(duì)其核心算法的改造和優(yōu)化，將其搜索引擎第三代算法：相關(guān)性算法加入用戶體驗(yàn)元素，例如用戶點(diǎn)擊反饋因素及權(quán)重對(duì)網(wǎng)頁最終得分的影響等，實(shí)現(xiàn)了搜索引擎核心算法的升級(jí)和優(yōu)化。商城垂直搜索中的商品綜合排序算法從無到有，依據(jù)對(duì)商品排序需求的研究，結(jié)合已經(jīng)掌握的相關(guān)排序算法技術(shù)，創(chuàng)新出了適用于商品綜合排序的算法；商品智能推薦算法也已研究出一定規(guī)模。搜索引擎核心算法技術(shù)特點(diǎn)我們搜索引擎中的爬蟲引擎、日志采集

3、分析子系統(tǒng)、智能推薦引擎均采用的是以nutch、hadoop、redis、hbase、mahout等框架為基礎(chǔ)的分布式存儲(chǔ)、云計(jì)算的平臺(tái)和技術(shù)；索引引擎、檢索引擎等核心引擎采用的是以solr、Lucene為底層框架，包含了分布式集群部署、支撐高并發(fā)的主從式索引控制、根據(jù)配置文件定義數(shù)據(jù)解析等搜索引擎領(lǐng)域中最專業(yè)的技術(shù)手段。統(tǒng)一搜索產(chǎn)品賣點(diǎn)分析搜索引擎主體架構(gòu)采用的是面向接口，插件化、可擴(kuò)展的開放架構(gòu)，它對(duì)外提供類似于Web-service的API接口。搜索引擎支撐系統(tǒng)的管理平臺(tái)采用的是以jQueryEasyUI+spring3+mybatis為基礎(chǔ)框架的架構(gòu)，保證了對(duì)非重點(diǎn)功能的易于開發(fā)；重點(diǎn)

4、和核心功能的易于解耦、易于擴(kuò)展及性能上不增加額外開銷的保證。架構(gòu)特點(diǎn)產(chǎn)品特點(diǎn)搜索領(lǐng)域產(chǎn)品中框計(jì)算能力是一個(gè)非常重要的標(biāo)識(shí)。我們已經(jīng)實(shí)現(xiàn)了基本的框計(jì)算能力，在主流門戶已經(jīng)上線的搜索產(chǎn)品中實(shí)現(xiàn)了普通直達(dá)搜索、商品直達(dá)搜索、一鍵辦理業(yè)務(wù)搜索、網(wǎng)頁搜索等多種搜索服務(wù)能力?？蛴?jì)算背后的資源平臺(tái)，實(shí)現(xiàn)了基于普通業(yè)務(wù)直達(dá)的配置管理系統(tǒng)；一鍵辦理服務(wù)直達(dá)的接口規(guī)范，但離各種數(shù)據(jù)和應(yīng)用可以主動(dòng)與框計(jì)算平臺(tái)對(duì)接這個(gè)要求還有較大的距離，需要進(jìn)一步完善和包裝支撐框計(jì)算的后臺(tái)系統(tǒng)和工具。統(tǒng)一搜索產(chǎn)品賣點(diǎn)分析續(xù)統(tǒng)一搜索門戶綜合搜索功能架構(gòu)統(tǒng)一搜索門戶綜合搜索功能架構(gòu)搜索引擎子系統(tǒng)門戶搜索搜索框搜索首頁搜索結(jié)果頁高級(jí)搜索頁

5、面數(shù)據(jù)處理 網(wǎng)頁解析內(nèi)容分類數(shù)據(jù)去重?cái)?shù)據(jù)輸出索引維護(hù)文本分詞索引生成索引分發(fā)基礎(chǔ)檢索直達(dá)搜索搜索提示分類搜索搜索推薦自然語言檢索組合檢索漸進(jìn)檢索敏感詞過濾搜索結(jié)果匹配內(nèi)容提示檢索結(jié)果多維度排序搜索結(jié)果分類篩選數(shù)據(jù)源運(yùn)營管理子系統(tǒng)推薦管理搜索結(jié)果管理搜索SEO管理詞庫管理搜索平臺(tái)管理搜索應(yīng)用視圖管理搜索應(yīng)用配置運(yùn)行管理搜索應(yīng)用監(jiān)控維護(hù)統(tǒng)計(jì)分析權(quán)限管理參數(shù)配置工單管理統(tǒng)計(jì)分析搜索業(yè)務(wù)管理 直達(dá)管理推薦管理搜索結(jié)果管理搜索SEO管理詞庫管理信息采集爬蟲業(yè)務(wù)數(shù)據(jù)同步一級(jí)門戶移動(dòng)商城各省門戶一級(jí)WAP客戶端擴(kuò)展檢索接入層索引層應(yīng)用層展現(xiàn)層業(yè)務(wù)運(yùn)營人員客戶n統(tǒng)一搜索采用總部一點(diǎn)建設(shè)，包括搜索引擎子系統(tǒng)和運(yùn)

6、營管理子系統(tǒng)兩部分。n搜索引擎子系統(tǒng)包括：搜索門戶、數(shù)據(jù)處理、索引維護(hù)、信息采集、基礎(chǔ)檢索n運(yùn)營管理子系統(tǒng)包括：管理門戶、業(yè)務(wù)運(yùn)營管理、平臺(tái)運(yùn)營管理、系統(tǒng)運(yùn)營管理統(tǒng)一搜索門戶綜合搜索系統(tǒng)架統(tǒng)一搜索門戶綜合搜索系統(tǒng)架構(gòu)構(gòu)平臺(tái)運(yùn)營管理人員客戶商戶n截至目前，統(tǒng)一搜索實(shí)現(xiàn)了搜索提示詞、智能糾錯(cuò)、相關(guān)推薦、相關(guān)度排序、高級(jí)搜索、搜索直達(dá)、商品直達(dá)、熱門搜索詞、大家都在搜、搜索歷史、高亮提示、相關(guān)搜索詞、調(diào)研問卷、廣告等18項(xiàng)核心功能。搜索提示詞智能糾錯(cuò)相關(guān)推薦相關(guān)度排序高級(jí)搜索多媒體搜索與或非搜索site指令搜索直達(dá)商品直達(dá)熱門搜索詞大家都在搜搜索歷史高亮提示相關(guān)搜索詞調(diào)研問卷廣告一鍵辦理功能統(tǒng)一搜索統(tǒng)一搜索18項(xiàng)核心功能項(xiàng)核心功能搜索首頁承載方頁面搜索入口承載方搜索詳情頁省公司H5頁面統(tǒng)一搜索H5頁面搜索結(jié)果頁 嵌入方式和入口形式由統(tǒng)一搜索提供整體方案，由統(tǒng)一搜索和承載方雙方共同協(xié)商確認(rèn)。 搜索詳情頁，由省公司提供； 對(duì)于沒有開發(fā)能力的省公司，總部提供技術(shù)支持，指導(dǎo)開發(fā)。 除搜索框、搜索歷史、熱詞推薦、輸入提示等基本功能外，搜索首頁還主要承載直達(dá)內(nèi)容。 搜索結(jié)果頁作為核心頁面，對(duì)一鍵辦理、業(yè)務(wù)直達(dá)和商城商品接入等內(nèi)容都有不同的展現(xiàn)。n實(shí)現(xiàn)方式：統(tǒng)一搜索以嵌入的方式，為總部和省公司提供搜索服務(wù)能力，將統(tǒng)一