信息檢索導(dǎo)論

西安交通大學(xué)電子與信息工程學(xué)院?jiǎn)虂喣衠iaoyanan@信息檢索導(dǎo)論1互聯(lián)網(wǎng)搜索引擎搜索引擎是大家耳熟能詳?shù)漠a(chǎn)品搜索是一個(gè)古老的計(jì)算機(jī)科學(xué)問題，范圍和深度不斷加強(qiáng)隨著網(wǎng)絡(luò)的發(fā)展，成為一個(gè)重要的工具搜索引擎是信息檢索技術(shù)在大規(guī)模文本集合上的實(shí)際應(yīng)用2信息檢索起源信息檢索（InformationRetrieval）最早出現(xiàn)在圖書館領(lǐng)域，是指信息按一定的方式組織起來，并根據(jù)信息用戶的需要找出有關(guān)的信息的過程和技術(shù)互聯(lián)網(wǎng)的出現(xiàn)，豐富了信息檢索的內(nèi)涵。常常以搜索引擎的出現(xiàn)突出互聯(lián)網(wǎng)信息檢索概念搜索引擎(searchengine)是指根據(jù)一定的策略、運(yùn)用特定的計(jì)算機(jī)程序搜集互聯(lián)網(wǎng)上的信息，在對(duì)信息進(jìn)行組織和處理后，為用戶提供檢索服務(wù)的系統(tǒng)。3我們所使用的Web搜索系統(tǒng)TheWebWebspiderIndexerIndexesSearchUser4完整課程框架（32課時(shí)）信息檢索概述及評(píng)價(jià)信息檢索模型檢索的改進(jìn)技術(shù)查詢操作Web信息檢索文本分類與聚類信息過濾和問答系統(tǒng)前沿研究展望5緊湊課程框架概覽(2課時(shí))進(jìn)階(3課時(shí))最新研究進(jìn)展(3課時(shí))6參考書參考書信息檢索系統(tǒng)導(dǎo)論，機(jī)械工業(yè)出版社，2008搜索引擎-信息檢索實(shí)踐，BruceCroft等，2010RicardoBaeza-YatesandBerthierRibeiro-Neto,ModernInformationRetrieval,Addison-Wesley.1999.ChristopherD.Manning,PrabhakarRaghavanandHinrichSchütze,IntroductiontoInformationRetrieval,CambridgeUniversityPress.2007.李曉明，閆宏飛等。搜索引擎原理、技術(shù)與系統(tǒng)7信息檢索概述8在這一部分將介紹：信息檢索概念及意義信息檢索體系結(jié)構(gòu)歷史與現(xiàn)狀發(fā)展趨勢(shì)和面臨的挑戰(zhàn)國(guó)內(nèi)外主要搜索引擎9信息檢索的概念及意義10信息檢索定義信息檢索是從非結(jié)構(gòu)化的文檔集中找出與用戶需求相關(guān)的信息和其它相關(guān)技術(shù)的區(qū)別和數(shù)據(jù)庫的區(qū)別數(shù)據(jù)庫是結(jié)構(gòu)化數(shù)據(jù),IR的檢索結(jié)果也往往是不精確的，而不象數(shù)據(jù)庫查詢那樣正確率一定是100%。和情報(bào)檢索的區(qū)別情報(bào)檢索介紹如何利用信息檢索工具11典型的信息檢索任務(wù)給定條件自然語言的文檔集合用戶的提問(Query)查找結(jié)果和query相關(guān)的經(jīng)過排序(Rank)的文檔子集12用戶需求:Query及Profile形式關(guān)鍵詞帶布爾操作的關(guān)鍵詞自由文本事例文檔...13早期信息檢索系統(tǒng)IRSystemQueryStringDocumentcorpusRankedDocuments1.Doc12.Doc23.Doc3..14Web搜索系統(tǒng)提問IR系統(tǒng)排序后的文本1.第1頁2.第2頁3.第3頁

..文檔語料庫WebSpider15Web搜索將IR技術(shù)應(yīng)用于WorldWideWeb上的HTML網(wǎng)頁和純文本相比，網(wǎng)頁的特點(diǎn)如下：必須通過在網(wǎng)上“爬行”搜集網(wǎng)頁可以開發(fā)結(jié)構(gòu)布局信息文檔的更新是不可控的可以開發(fā)網(wǎng)頁之間的鏈接結(jié)構(gòu)16信息檢索處理的對(duì)象非結(jié)構(gòu)化數(shù)據(jù)文本數(shù)據(jù)：新聞、科技論文等網(wǎng)頁：HTML、XML多媒體數(shù)據(jù)：圖像、視頻、圖形、音頻目前最主要的處理對(duì)象是互聯(lián)網(wǎng)文字圖片17基于內(nèi)容的圖像查詢

基于內(nèi)容的圖像查詢：目標(biāo)，顏色，紋理圖像數(shù)據(jù)庫/互聯(lián)網(wǎng)用戶的提問查詢搜索引擎18基于文本的圖像查詢19信息檢索的重要性由信息匱乏到信息爆炸,需要有效的檢索方式傳統(tǒng)管理軟件需要嵌入IR技術(shù)在SQL數(shù)據(jù)庫中已采用文本檢索技術(shù)select*fromEmployeewhereNamelike’%Lee%’.在LotusNotes辦公平臺(tái)上同樣也已采用文本檢索技術(shù)互聯(lián)網(wǎng)數(shù)據(jù)的增長(zhǎng)和在線文檔（如聯(lián)機(jī)用戶手冊(cè)等）的增長(zhǎng)，向IR技術(shù)提出迫切需求檢索無處不在20信息檢索系統(tǒng)體系結(jié)構(gòu)21信息檢索系統(tǒng)的體系結(jié)構(gòu)文本數(shù)據(jù)庫數(shù)據(jù)庫管理建索引索引查詢操作搜索排序排序后的文檔用戶反饋文本操作用戶界面檢出的文檔用戶需求文本提問邏輯視圖倒排文檔分詞刪除停用詞Stemming（提取詞干）為文檔建立倒排索引表根據(jù)倒排索引表檢索出與提問相關(guān)的文檔將檢索出的文檔根據(jù)相關(guān)性排序Query輸入和文檔輸出相關(guān)反饋結(jié)果的可視化對(duì)query進(jìn)行變換，以改進(jìn)檢索結(jié)果22IR的歷史與現(xiàn)狀23圖書館卡片索引&智能問答系統(tǒng)24IR的歷史1960-70’s:最初的信息檢索系統(tǒng)面向小型的科學(xué)文摘數(shù)據(jù)庫、法律和商業(yè)文檔檢索模型為基本的布爾模型和向量空間模型CornellUniversity的Prof.Salton成為這個(gè)領(lǐng)域的先驅(qū)，著名的IR向量空間模型的創(chuàng)始人，開發(fā)了著名的SMART向量空間模型IR系統(tǒng)，并免費(fèi)開放源代碼，大大促進(jìn)了IR的發(fā)展25IR歷史1980’s:IR技術(shù)出現(xiàn)在大型文檔數(shù)據(jù)庫中Lexis-Nexis美國(guó)LEXIS-NEXIS公司創(chuàng)始于1973年，其數(shù)據(jù)庫內(nèi)容很廣，其中法規(guī)法律方面的數(shù)據(jù)庫是LEXIS-NEXIS的特色信息源，具有非常大的影響力，尤其在法律業(yè)界具有很高知名度Dialog目前世界上最大的聯(lián)機(jī)檢索檢索系統(tǒng)之一，包括各學(xué)科數(shù)據(jù)庫600多種，可查詢研究動(dòng)態(tài)，SCI,EI收錄以及專利等情況MEDLINEMEDLINE是美國(guó)國(guó)家醫(yī)學(xué)圖書館的文獻(xiàn)數(shù)據(jù)庫26IR歷史1990’s:在互聯(lián)網(wǎng)上對(duì)FTP服務(wù)器上的文檔進(jìn)行搜索ArchieArchie是一個(gè)可搜索的FTP文件名列表，用戶必須輸入精確的文件名搜索，然后Archie會(huì)告訴用戶哪一個(gè)FTP地址可以下載該文件WAIS代表“廣域信息服務(wù)”(WideAreaInformationService)，是一種能查詢500個(gè)檢索數(shù)據(jù)庫的工具27IR歷史1990’s（續(xù)）:在WorldWideWeb上進(jìn)行搜索Yahoo1994年4月，Stanford兩名博士生，美籍華人JerryYang（楊致遠(yuǎn)）和DavidFilo共同創(chuàng)辦了Yahoo。隨著訪問量和收錄鏈接數(shù)的增長(zhǎng)，Yahoo目錄開始支持簡(jiǎn)單的數(shù)據(jù)庫搜索?；谀夸浀臋z索AltavistaAltaVista是網(wǎng)上最早的爬行搜索引擎。AltaVista搜索技術(shù)從純文本搜索技術(shù)開始，發(fā)布于1995年；1997年，其搜索能力擴(kuò)展到25種語言搜索；1999年開始多媒體文件的搜索；2001年首次推出網(wǎng)上免費(fèi)新聞搜索，2003年AltaVista被Overture收購。

28IR歷史1990’s（續(xù)）:有組織地進(jìn)行評(píng)測(cè)美國(guó)標(biāo)準(zhǔn)與技術(shù)研究所NIST和國(guó)防部高級(jí)研究規(guī)劃局DARPA共同發(fā)起TREC,1992年開始智能推薦系統(tǒng)（個(gè)性化推薦，良好的互動(dòng)性，適應(yīng)性）RingoAmazon（亞馬遜網(wǎng)絡(luò)售書）NetPerceptions29IR歷史以雅虎初期為代表的第一代搜索引擎以人工目錄分類為基礎(chǔ)的網(wǎng)站搜索開辟了一個(gè)時(shí)代第一代搜索引擎指主要依靠人工分揀的分類目錄搜索，這種方式是被動(dòng)的搜索，更新慢、搜索能力不足第一代搜索引擎基本上已經(jīng)退出搜索舞臺(tái)。30IR歷史2000’s為Web搜索服務(wù)的鏈接分析Google自動(dòng)信息抽取WhizbangFetchBurningGlass問答系統(tǒng)TRECQ/Atrack31IR現(xiàn)狀近期的IR:多媒體檢索圖像(Image)視頻(Video)聲音(speech)和音頻(Audio)音樂(music)跨語言檢索DARPATides項(xiàng)目智能化、個(gè)性化檢索32IR現(xiàn)狀以Google為代表的第二代搜索引擎以超鏈分析技術(shù)為基礎(chǔ)的大規(guī)模網(wǎng)頁搜索，根據(jù)關(guān)鍵詞的分布情況對(duì)頁面進(jìn)行分類和排序優(yōu)點(diǎn)：只要網(wǎng)頁上出現(xiàn)了某個(gè)關(guān)鍵詞，就能夠使用全文檢索用關(guān)鍵詞匹配把該網(wǎng)頁查出來不足：返回的無用信息太多原因：僅采用機(jī)械的關(guān)鍵詞匹配來實(shí)現(xiàn)33IR現(xiàn)狀多數(shù)檢索系統(tǒng)是基于關(guān)鍵詞的搜索可能找不到同義詞“PRC”vs.“China”“電腦”vs.“計(jì)算機(jī)”可能檢索到一些不相關(guān)的多義詞“bat”(baseballvs.mammal)“Apple”(companyvs.fruit)保安（地名vs.保護(hù)安全的人員）同義詞詞義消岐3435發(fā)展趨勢(shì)互聯(lián)網(wǎng)正從提供信息服務(wù)向提供平臺(tái)服務(wù)延伸傳統(tǒng)互聯(lián)網(wǎng)正在向移動(dòng)互聯(lián)網(wǎng)延伸從服務(wù)模式看從傳播手段看互聯(lián)網(wǎng)正從信息傳播和娛樂消費(fèi)為主向商務(wù)服務(wù)領(lǐng)域延伸從應(yīng)用領(lǐng)域看362008年第三季度中國(guó)搜索引擎市場(chǎng)規(guī)模達(dá)14.29億人民幣，同比2007第三季度的8.38億人民幣，增長(zhǎng)70.5%。37搜索引擎用戶的抱怨搜索結(jié)果重復(fù)率高，搜索到的網(wǎng)頁打不開等令人煩惱個(gè)性化內(nèi)容少，結(jié)果雷同也是不可以忍受的專業(yè)搜索功能差信息更新速度慢73.3%54.1%48.3%49.1%多媒體搜索功能弱30.1%垂直實(shí)時(shí)跨媒體個(gè)性化精準(zhǔn)38搜索技術(shù)發(fā)展趨勢(shì)ThemeGalleryisaDesignDigitalContent&ContentsmalldevelopedbyGuildDesignInc.趨勢(shì)2.智能化1.個(gè)性化

多媒體化

垂直化

社區(qū)化

移動(dòng)化

個(gè)性化

智能化

精準(zhǔn)化搜索技術(shù)39各種趨勢(shì)的背景精準(zhǔn)化（個(gè)性化）：更有效地獲取信息智能化：更便捷地表達(dá)需求商務(wù)化：在產(chǎn)業(yè)鏈中尋找更高價(jià)值移動(dòng)化：移動(dòng)互聯(lián)網(wǎng)的迅猛發(fā)展社區(qū)化：社交媒體的崛起垂直化：深入行業(yè)多媒體化：整合多媒體數(shù)據(jù)40跨媒體檢索應(yīng)用體驗(yàn)輸入一類媒體，返回另一類媒體

輸入文本，返回圖片；輸入圖片，返回文本基礎(chǔ)處理各類媒體信息的集成同時(shí)利用圖片自身的圖像信息和圖片周圍的環(huán)繞文字對(duì)圖片內(nèi)容進(jìn)行分析，并建立索引41米歇爾·奧巴馬一群小學(xué)生草坪人臉識(shí)別與環(huán)繞文字分析相結(jié)合的圖片檢索42搜索引擎對(duì)大規(guī)模并行計(jì)算的需求計(jì)算搜索結(jié)果排序倒排索引生成日志統(tǒng)計(jì)和分析并行計(jì)算智能挖掘

統(tǒng)計(jì)詞頻43云計(jì)算當(dāng)今社會(huì)，PC依然是我們?nèi)粘９ぷ魃钪械暮诵墓ぞ咴凇霸朴?jì)算”時(shí)代，“云”會(huì)替我們做存儲(chǔ)和計(jì)算的工作是一種網(wǎng)絡(luò)服務(wù)可以在任何地點(diǎn)用任何設(shè)備，如電腦、手機(jī)等，快速地計(jì)算和找到這些資料，再也不用擔(dān)心資料丟失Google,Amazon,IBM，Intel都在這方面有所動(dòng)作阿里云44從自然語言處理入手，提高信息檢索質(zhì)量信息檢索數(shù)據(jù)庫并行處理網(wǎng)絡(luò)信息安全數(shù)據(jù)挖掘自然語言處理知識(shí)管理操作系統(tǒng)圖像、視頻、語音45百度框計(jì)算>>“請(qǐng)給我找出好聽的音樂”個(gè)性化用戶需求分析46百度框計(jì)算“框計(jì)算”到底意味著什么呢，“框計(jì)算”到底意味著什么呢？首先，“框”是一個(gè)功能強(qiáng)大的需求收集器和分析器其次，由于“框”能在互聯(lián)網(wǎng)可選范圍內(nèi)根據(jù)用戶需求自動(dòng)匹配最佳的應(yīng)用和服務(wù)，這個(gè)“框”又帶有典型的操作系統(tǒng)特性47PowersetPowerset是美國(guó)舊金山的一家搜索引擎公司，它的搜索引擎所使用的核心技術(shù)自然語言處理技術(shù)。這使得Powerset與Google從本質(zhì)上有區(qū)別。48WolframAlphaWolframAlpha是首個(gè)“計(jì)算知識(shí)搜索”引擎，其“父親”為美國(guó)計(jì)算機(jī)科學(xué)家史蒂芬·沃爾弗拉姆49WolframAlphaWolframAlpha的工作原理同谷歌網(wǎng)頁搜索有著較大區(qū)別在WolframAlpha服務(wù)中，用戶在搜索框鍵入需要查詢的問題后，該搜索引擎將直接向用戶返回答案，而不是返回一大堆網(wǎng)頁鏈接同Powerset的語義搜索一樣，用戶也可在WolframAlpha當(dāng)中鍵入符合語法意義的問題查詢句子50智能化以自然語言理解技術(shù)為基礎(chǔ)的新一代搜索引擎，我們稱之為智能搜索引擎由于它將信息檢索從目前基于關(guān)鍵詞層面提高到基于知識(shí)（或概念）層面，能夠?qū)崿F(xiàn)分詞技術(shù)、同義詞技術(shù)、詞義消歧、概念搜索以及機(jī)器翻譯技術(shù)等允許用戶采用自然語言進(jìn)行信息的檢索，為用戶提供更方便、更確切的搜索服務(wù)51個(gè)性化個(gè)性化趨勢(shì)是搜索引擎的一個(gè)未來發(fā)展的重要特征和必然趨勢(shì)之一通過搜索引擎的社區(qū)化產(chǎn)品（即對(duì)注冊(cè)用戶提供服務(wù)）的方式來組織個(gè)人信息分析特定用戶的搜索需求限定的范圍，然后按照用戶需求范圍擴(kuò)展到互聯(lián)網(wǎng)上其他的同類網(wǎng)站給出最相關(guān)的結(jié)果

52個(gè)性化用戶需求分析如何理解用戶的搜索意圖當(dāng)輸入城市名的時(shí)候，很可能要找：當(dāng)?shù)氐木频?、地圖、名勝等；當(dāng)輸入電影名時(shí)，很可能要找：影評(píng)、主要演員、在線觀看的地址；當(dāng)輸入手機(jī)型號(hào)時(shí)，很可能要找：評(píng)測(cè)對(duì)比、性能等；當(dāng)輸入某些癥狀時(shí)，很可能找的是疑似病的特征、原因、治愈方法、專家醫(yī)院等等。需要建立大型的詞匯語義關(guān)聯(lián)和領(lǐng)域本體搜索日志和用戶行為的挖掘53IBM沃森54沃森（Watson）"沃森"（Watson）是為了紀(jì)念I(lǐng)BM創(chuàng)始人ThomasJ.Watson而取的。IBM開發(fā)沃森旨在完成一項(xiàng)艱巨挑戰(zhàn)：建造一個(gè)能與人類回答問題能力匹敵的計(jì)算系統(tǒng)。這要求其具有足夠的速度、精確度和置信度，并且能使用人類的自然語言回答問題。這一系統(tǒng)沒有連接至互聯(lián)網(wǎng)，因此不會(huì)通過網(wǎng)絡(luò)進(jìn)行搜索，僅靠?jī)?nèi)存資料庫作答。55超強(qiáng)計(jì)算機(jī)沃森由90臺(tái)IBM服務(wù)器、360個(gè)計(jì)算機(jī)芯片驅(qū)動(dòng)組成，是一個(gè)有10臺(tái)普通冰箱那么大的計(jì)算機(jī)系統(tǒng)。它擁有15TB內(nèi)存、2880個(gè)處理器、每秒可進(jìn)行80萬億次運(yùn)算（這是目前的情況）。這些服務(wù)器采用Linux操作系統(tǒng)。IBM為沃森配置的處理器是Power7系列處理器，擁有八個(gè)核心、32個(gè)線程，主頻最高可達(dá)4.1GHz，其二級(jí)緩存更是達(dá)到了32MB。存儲(chǔ)了大量圖書、新聞和電影劇本資料、辭海、文選和《世界圖書百科全書》(WorldBookEncyclopedia)等數(shù)百萬份資料。56Siri57Siri功能Siri是蘋果公司在其產(chǎn)品iphone4S上應(yīng)用的一項(xiàng)語音控制功能。Siri可以令iPhone4S變身為一臺(tái)智能化機(jī)器人，利用Siri用戶可以通過手機(jī)讀短信、介紹餐廳、詢問天氣、語音設(shè)置鬧鐘等。Siri可以支持自然語言輸入，并且可以調(diào)用系統(tǒng)自帶的天氣預(yù)報(bào)、日程安排、搜索資料等應(yīng)用。還能夠不斷學(xué)習(xí)新的聲音和語調(diào)，提供對(duì)話式的應(yīng)答。58Siri技術(shù)總體，人工智能以及云計(jì)算前端，面向用戶，和用戶交互的技術(shù)，主要是語音識(shí)別以及語音合成技術(shù)后臺(tái)，基本的結(jié)構(gòu)猜測(cè)可能是分析用戶的輸入（已經(jīng)通過語音轉(zhuǎn)化），根據(jù)輸入類型，分別采用合適的技術(shù)（合適的技術(shù)后臺(tái)）進(jìn)行處理以Google為代表的網(wǎng)頁搜索技術(shù)；以WolframAlpha為代表的知識(shí)搜索技術(shù)（或者知識(shí)計(jì)算技術(shù)）；以Wikipedia為代表的知識(shí)庫（和WolframAlpha不同的是，這些知識(shí)來自人類的手工編輯）技術(shù)（包括其他百科，如電影百科等）；以Yelp為代表的問答以及推薦技術(shù)59社交網(wǎng)絡(luò)&實(shí)時(shí)搜索60社交網(wǎng)絡(luò)&實(shí)時(shí)搜索即時(shí)通訊,是微博客的典型應(yīng)用它允許用戶將自己的最新動(dòng)態(tài)和想法以短信息的形式發(fā)送給手機(jī)和個(gè)性化網(wǎng)站群，而不僅僅是發(fā)送給個(gè)人2006年，博客技術(shù)先驅(qū)創(chuàng)始人埃文·威廉姆斯(EvanWilliams)創(chuàng)建的新興公司Obvious推出了Twitter服務(wù)國(guó)外：Facebook，Twitter國(guó)內(nèi)：人人網(wǎng)，新浪、騰訊、網(wǎng)易微博等61垂直搜索垂直搜索是針對(duì)某一個(gè)行業(yè)的專業(yè)搜索引擎，是搜索引擎的細(xì)分和延伸，是對(duì)網(wǎng)頁庫中的某類專門的信息進(jìn)行一次整合，定向分字段抽取出需要的數(shù)據(jù)進(jìn)行處理后再以某種形式返回給用戶。垂直搜索引擎的應(yīng)用方向很多，比如企業(yè)庫搜索、供求信息搜索引擎、購物搜索、房產(chǎn)搜索、人才搜索、地圖搜索、mp3搜索、圖片搜索……幾乎各行各業(yè)各類信息都可以進(jìn)一步細(xì)化成各類的垂直搜索引擎

62垂直搜索垂直主題的搜索引擎以其高度的目標(biāo)化和專業(yè)化在各類搜索引擎中占據(jù)了一系席之地，比如象股票、天氣、新聞等類的搜索引擎，具有很高的針對(duì)性，用戶對(duì)查詢結(jié)果的滿意度較高Google宗旨是盡快讓用戶離開google，垂直搜索應(yīng)該是粘住用戶方式的變化，檢索方法沒有質(zhì)的變化63服務(wù)模式由單一向綜合過渡Google的gtalk，gmailMSN的搜索等由通用到專業(yè)垂直搜索由競(jìng)價(jià)排名到封口費(fèi)一定程度上影響搜索引擎的公正性64IR面臨的挑戰(zhàn)65Web搜索的事實(shí)是怎樣的？