第10章發(fā)現與搜索引擎技術-《物聯網技術基礎教程》

1、第第 10章章 發(fā)現與搜索引擎發(fā)現與搜索引擎 技術技術 學習任務學習任務WEBWEB搜索引擎工作原理搜索引擎工作原理 物聯網搜索引擎物聯網搜索引擎 服務發(fā)現技術服務發(fā)現技術 Click to add title in here 123本章主要涉及：本章主要涉及：10.1 搜索引擎技術概述搜索引擎技術概述搜索引擎（搜索引擎（search engine）是指根據一定的）是指根據一定的策略、運用特定的計算機程序搜集互聯網上的策略、運用特定的計算機程序搜集互聯網上的信息，在對信息進行組織和處理后，并將處理信息，在對信息進行組織和處理后，并將處理后的信息顯示給用戶，是為用戶提供檢索服務后的信息顯示給用戶

2、，是為用戶提供檢索服務的系統。的系統。10.1.1 搜索引擎的發(fā)展搜索引擎的發(fā)展 1990年，加拿大麥吉爾大學（年，加拿大麥吉爾大學（University of McGill）計算機學院的師生想到了開發(fā)一個可以）計算機學院的師生想到了開發(fā)一個可以用文件名查找文件的系統，開發(fā)出用文件名查找文件的系統，開發(fā)出Archie。 當時，萬維網（當時，萬維網（World Wide Web）還沒有出現，）還沒有出現，人們通過人們通過FTP來共享交流資源。來共享交流資源。 Archie能定期搜集并分析能定期搜集并分析FTP服務器上的文件名服務器上的文件名信息，提供查找分別在各個信息，提供查找分別在各個FTP主

3、機中的文件。主機中的文件。用戶必須輸入精確的文件名進行搜索，用戶必須輸入精確的文件名進行搜索，Archie告告訴用戶哪個訴用戶哪個FTP服務器能下載該文件。服務器能下載該文件。10.1.1 搜索引擎的發(fā)展搜索引擎的發(fā)展 雖然雖然Archie搜集的信息資源不是網頁（搜集的信息資源不是網頁（HTML文件），但和搜索引擎的基本工作方式是一樣文件），但和搜索引擎的基本工作方式是一樣的：自動搜集信息資源、建立索引、提供檢索的：自動搜集信息資源、建立索引、提供檢索服務。服務。 所以，所以，Archie被公認為現代搜索引擎的鼻祖。被公認為現代搜索引擎的鼻祖。 由于由于Archie深受歡迎，受其啟發(fā)，深受歡迎

4、，受其啟發(fā)，1993年又年又開發(fā)了一個開發(fā)了一個Gopher搜索工具。搜索工具。10.1.2 搜索引擎分類搜索引擎分類（1）全文索引）全文索引 全文搜索引擎是名副其實的搜索引擎，國外代全文搜索引擎是名副其實的搜索引擎，國外代表有表有Google，國內則有著名的百度搜索。，國內則有著名的百度搜索。 它們從互聯網提取各個網站的信息，建立起數它們從互聯網提取各個網站的信息，建立起數據庫，并能檢索與用戶查詢條件相匹配的記錄，據庫，并能檢索與用戶查詢條件相匹配的記錄，按一定的排列順序返回結果按一定的排列順序返回結果10.1.2 搜索引擎分類搜索引擎分類 根據搜索結果來源的不同，全文搜索引擎可根據搜索結果

5、來源的不同，全文搜索引擎可分為兩類分為兩類: 一類擁有自己的檢索程序（一類擁有自己的檢索程序（Indexer），俗稱），俗稱“爬蟲爬蟲”（Spider）程序或）程序或“機器人機器人”（Robot）程序，能自建網頁數據庫，搜索結果）程序，能自建網頁數據庫，搜索結果直接從自身的數據庫中調用，上面提到的直接從自身的數據庫中調用，上面提到的Google和百度就屬于此類；和百度就屬于此類； 另一類則是租用其他搜索引擎的數據庫，并按另一類則是租用其他搜索引擎的數據庫，并按自定的格式排列搜索結果，如自定的格式排列搜索結果，如Lycos搜索引擎。搜索引擎。10.1.2 搜索引擎分類搜索引擎分類（2）目錄索引）

6、目錄索引 目錄索引雖然有搜索功能，但嚴格意義上不能稱目錄索引雖然有搜索功能，但嚴格意義上不能稱為真正的搜索引擎，只是按目錄分類的網站鏈接為真正的搜索引擎，只是按目錄分類的網站鏈接列表而已。列表而已。 用戶完全可以按照分類目錄找到所需要的信息，用戶完全可以按照分類目錄找到所需要的信息，不依靠關鍵詞（不依靠關鍵詞（Keywords）進行查詢。）進行查詢。 目錄索引中最具代表性的有目錄索引中最具代表性的有Yahoo、新浪分類目、新浪分類目錄搜索。錄搜索。10.1.2 搜索引擎分類搜索引擎分類（3）元搜索引擎）元搜索引擎 元搜索引擎（元搜索引擎（META Search Engine）接受用）接受用戶查

7、詢請求后，同時在多個搜索引擎上搜索，戶查詢請求后，同時在多個搜索引擎上搜索，并將結果返回給用戶。并將結果返回給用戶。 著名的元搜索引擎有著名的元搜索引擎有InfoSpace、Dogpile、Vivisimo等。等。10.2 WEB搜索引擎工作原理搜索引擎工作原理web搜索引擎的原理通常為：搜索引擎的原理通常為：首先是用爬蟲（首先是用爬蟲（Spider）進行全網搜索，自動抓?。┻M行全網搜索，自動抓取網頁；網頁；然后將抓取的網頁進行索引，同時也會記錄與檢索然后將抓取的網頁進行索引，同時也會記錄與檢索有關的屬性，中文搜索引擎中還需要首先對中文進有關的屬性，中文搜索引擎中還需要首先對中文進行分詞；行分

8、詞；最后，接受用戶查詢請求，檢索索引文件并按照各最后，接受用戶查詢請求，檢索索引文件并按照各種參數進行復雜的計算，產生結果并返回給用戶。種參數進行復雜的計算，產生結果并返回給用戶。 10.2.1 Web搜索引擎的組成搜索引擎的組成 搜索引擎一般由搜索器、索引器、檢索器搜索引擎一般由搜索器、索引器、檢索器和用戶接口四個部分組成：和用戶接口四個部分組成： 搜索器搜索器： 其功能是在互聯網中漫游，發(fā)現和搜集信息；其功能是在互聯網中漫游，發(fā)現和搜集信息； 索引器索引器： 其功能是理解搜索器所搜索到的信息，從中抽其功能是理解搜索器所搜索到的信息，從中抽取出索引項，用于表示文檔以及生成文檔庫的取出索引項，

9、用于表示文檔以及生成文檔庫的索引表；索引表；10.2.1 Web搜索引擎的組成搜索引擎的組成檢索器：檢索器： 其功能是根據用戶的查詢在索引庫中快速檢索其功能是根據用戶的查詢在索引庫中快速檢索文檔，進行相關度評價，對將要輸出的結果排文檔，進行相關度評價，對將要輸出的結果排序，并能按用戶的查詢需求合理反饋信息；序，并能按用戶的查詢需求合理反饋信息；用戶接口：用戶接口： 其作用是接納用戶查詢、顯示查詢結果、提供其作用是接納用戶查詢、顯示查詢結果、提供個性化查詢項。個性化查詢項。10.2.1 Web搜索引擎的組成搜索引擎的組成搜索引擎組成搜索引擎組成 10.2.2 Web搜索引擎的工作模式搜索引擎的工

10、作模式 利用網絡爬蟲獲取網絡資源。利用網絡爬蟲獲取網絡資源。 網絡爬蟲訪問資源的過程，是對互聯網上信息網絡爬蟲訪問資源的過程，是對互聯網上信息遍歷的過程。遍歷的過程。 在實際的爬蟲程序中，為了保證信息收集的全在實際的爬蟲程序中，為了保證信息收集的全面性，及時性，還有多個爬蟲程序的分工和合面性，及時性，還有多個爬蟲程序的分工和合作問題，往往有復雜的控制機制。作問題，往往有復雜的控制機制。10.2.2 Web搜索引擎的工作模式搜索引擎的工作模式基本搜索器流程圖基本搜索器流程圖 10.2.2 Web搜索引擎的工作模式搜索引擎的工作模式 利用索引器從搜索器獲取的資源中抽取信利用索引器從搜索器獲取的資源

11、中抽取信息，并建立利于檢索的索引表：息，并建立利于檢索的索引表： 當用網絡爬蟲獲取資源后后，需要對這些進行當用網絡爬蟲獲取資源后后，需要對這些進行加工過濾，去掉網控制代碼及無用信息，提取加工過濾，去掉網控制代碼及無用信息，提取出有用的信息，并把信息用一定的模型表示，出有用的信息，并把信息用一定的模型表示，使查詢結果更為準確。使查詢結果更為準確。 其中信息的表示模型一般有布爾模型，向量模其中信息的表示模型一般有布爾模型，向量模型，概率模型和神經網絡模型等。型，概率模型和神經網絡模型等。10.2.2 Web搜索引擎的工作模式搜索引擎的工作模式 Web上的信息一般表現為網頁，對每個網頁，上的信息一般

12、表現為網頁，對每個網頁，須生成一個摘要，此摘要將顯示在查詢結果的須生成一個摘要，此摘要將顯示在查詢結果的頁面中，告訴查詢用戶各網頁的內容概要。頁面中，告訴查詢用戶各網頁的內容概要。 模型化的信息將存放在臨時數據庫中，由于模型化的信息將存放在臨時數據庫中，由于web數據的數據量極為龐大，為了提高檢索效數據的數據量極為龐大，為了提高檢索效率，須按照一定規(guī)則建立索引。率，須按照一定規(guī)則建立索引。 不同搜索引擎在建立索引時會考慮不同的選項，不同搜索引擎在建立索引時會考慮不同的選項，如是否建立全文索引，是否過濾無用詞匯，是如是否建立全文索引，是否過濾無用詞匯，是否使用否使用meta信息等。信息等。10.

13、2.2 Web搜索引擎的工作模式搜索引擎的工作模式索引的建立包括：索引的建立包括： 分析過程，處理文檔中可能的錯誤；分析過程，處理文檔中可能的錯誤； 文檔索引，完成分析的文檔被編碼進存儲桶，文檔索引，完成分析的文檔被編碼進存儲桶，有些搜索引擎還會使用并行索引；有些搜索引擎還會使用并行索引； 排序，將存儲桶按照一定的規(guī)則排序，排序，將存儲桶按照一定的規(guī)則排序， 生產全文存儲桶。最終形成的索引一般按照生產全文存儲桶。最終形成的索引一般按照倒排文件的格式存放。倒排文件的格式存放。10.2.2 Web搜索引擎的工作模式搜索引擎的工作模式 檢索及用戶交互：檢索及用戶交互： 用戶查詢（用戶查詢（query

14、）理解，即最大可能貼近的理解）理解，即最大可能貼近的理解用戶通過查詢串想要表達的查詢目的，并將用戶用戶通過查詢串想要表達的查詢目的，并將用戶查詢轉換化為后臺檢索使用的信息模型；查詢轉換化為后臺檢索使用的信息模型； 根據用戶查詢的檢索模型，在索引庫中檢索出結根據用戶查詢的檢索模型，在索引庫中檢索出結果集；果集； 結果排序：通過特定的排序算法，對檢索結果集結果排序：通過特定的排序算法，對檢索結果集進行排序。進行排序。10.2.2 Web搜索引擎的工作模式搜索引擎的工作模式現在用的的排序因素一般有查詢相關度，現在用的的排序因素一般有查詢相關度，google發(fā)明的發(fā)明的pagerank計術，計術，ba

15、idu的競價的競價技術等。技術等。由于由于web數據的海量性和用戶初始查詢的模糊數據的海量性和用戶初始查詢的模糊性，檢索結果集一般很大，而用戶一邊不會有性，檢索結果集一般很大，而用戶一邊不會有足夠的耐性逐個查看所有的結果，所以怎樣設足夠的耐性逐個查看所有的結果，所以怎樣設計結果集的排序算法，把用戶感興趣的結果排計結果集的排序算法，把用戶感興趣的結果排在前面就十分重要。在前面就十分重要。10.2.2 Web搜索引擎的工作模式搜索引擎的工作模式Web搜索引擎的工作模式搜索引擎的工作模式 10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法搜索引擎的評價指標有響應時間、查全率、查準搜索引擎

16、的評價指標有響應時間、查全率、查準率和用戶滿意度等。率和用戶滿意度等。其中響應時間是從用戶提交查詢請求到搜索引擎其中響應時間是從用戶提交查詢請求到搜索引擎給出查詢結果的時間間隔，響應時間必須在用戶給出查詢結果的時間間隔，響應時間必須在用戶可以接受的范圍之內。可以接受的范圍之內。查全率是指查詢結果集信息的完備性。查全率是指查詢結果集信息的完備性。查準率是指查詢結果集中符合用戶要求的數目與查準率是指查詢結果集中符合用戶要求的數目與結果總數之比。結果總數之比。10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法用戶滿意度是一個難以量化的概念，除了搜索用戶滿意度是一個難以量化的概念，除了搜索

17、引擎本身的服務質量外，它還和用戶群體，網引擎本身的服務質量外，它還和用戶群體，網絡環(huán)境有關系。絡環(huán)境有關系。在搜索引擎可以控制的范圍內，其核心是搜索在搜索引擎可以控制的范圍內，其核心是搜索結果的排序，即前文提到的如何把最合適的結結果的排序，即前文提到的如何把最合適的結果排到前面。果排到前面。10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法總的來說，總的來說，Web搜索引擎的搜索引擎的3個重要問題是：個重要問題是： 響應時間：一般來說合理的響應時間在秒這響應時間：一般來說合理的響應時間在秒這個數量級個數量級 關鍵詞搜索：得到合理的匹配結果關鍵詞搜索：得到合理的匹配結果 搜索結果排序

18、：如何對海量的結果數據排序搜索結果排序：如何對海量的結果數據排序10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法 所以搜索引擎的體系結構得設計時需要考慮信息所以搜索引擎的體系結構得設計時需要考慮信息采集、索引技術和搜索服務三個模塊的設計。采集、索引技術和搜索服務三個模塊的設計。1. 信息采集信息采集 Web搜索引擎的信息采集模塊的主要功能是：搜索引擎的信息采集模塊的主要功能是： 執(zhí)行基于超文本傳輸協議（執(zhí)行基于超文本傳輸協議（Hypertext Transfer Protocol, 簡稱簡稱HTTP），從），從Web上收集頁面信上收集頁面信息，即息，即Web機器人（爬蟲）程序。機

19、器人（爬蟲）程序。10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法基于超文本傳輸協議的網絡應答圖基于超文本傳輸協議的網絡應答圖 10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法2. 索引技術索引技術 網絡爬蟲程序的工作模式網絡爬蟲程序的工作模式 網絡爬蟲程序根據網絡爬蟲程序根據HTTP協議，發(fā)送請求，并通協議，發(fā)送請求，并通過過TCP連接接受服務器的應答。連接接受服務器的應答。 由于由于Web搜索引擎需要抓取數以億計的頁面，所搜索引擎需要抓取數以億計的頁面，所以建立快速分布式的網絡爬蟲程序才能滿足搜索以建立快速分布式的網絡爬蟲程序才能滿足搜索引擎對性能和服務的要求，

20、其物理實現可能是一引擎對性能和服務的要求，其物理實現可能是一組終端。組終端。10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法爬蟲程序物理設備架構圖爬蟲程序物理設備架構圖 10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法 網絡爬蟲程序的基礎結構網絡爬蟲程序的基礎結構 首先網絡爬蟲程序從首先網絡爬蟲程序從URL鏈接庫讀取一個或多鏈接庫讀取一個或多個個URL作為初始輸入并進行域名解析作為初始輸入并進行域名解析 然后根據域名解析結果（然后根據域名解析結果（IP）訪問）訪問Web服務器，服務器，建立建立TCP連接，發(fā)送請求，接受應答，儲存接連接，發(fā)送請求，接受應答，儲存接受數

21、據，并分析提取鏈接信息（受數據，并分析提取鏈接信息（URL）放入）放入URL連接庫里。連接庫里。 爬蟲程序遞歸執(zhí)行該過程直到爬蟲程序遞歸執(zhí)行該過程直到URL鏈接庫為空。鏈接庫為空。網絡爬蟲程序的基礎結構如下圖：網絡爬蟲程序的基礎結構如下圖：10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法網絡爬蟲程序的基礎結構網絡爬蟲程序的基礎結構 10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法3. 信息采集優(yōu)化信息采集優(yōu)化 信息采集優(yōu)化需要考慮到：信息采集優(yōu)化需要考慮到： 網絡連接優(yōu)化策略、持久性連接和多進程并發(fā)網絡連接優(yōu)化策略、持久性連接和多進程并發(fā)設計等方面的問題。設計等方面

22、的問題。 同時由于網絡爬蟲程序會頻繁調用域名系統，同時由于網絡爬蟲程序會頻繁調用域名系統，域名系統緩存可提高爬蟲程序性能需要使用域名系統緩存可提高爬蟲程序性能需要使用Web緩存技術緩存技術.10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法相關域名系統的緩存策略：相關域名系統的緩存策略： LRU（Least Recently Used）算法：將最）算法：將最近最少使用的內容替換出近最少使用的內容替換出Cache緩存；緩存； LFU（Lease Frequently Used）算法：將）算法：將訪問次數最少的內容替換出訪問次數最少的內容替換出Cache緩存；緩存； FIFO（Firs

23、t-In, First-Out）算法：在）算法：在Cache緩存中執(zhí)行數據的先進先出流程方法。緩存中執(zhí)行數據的先進先出流程方法。10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法4. 網頁抓取算法網頁抓取算法 深度優(yōu)先算法深度優(yōu)先算法 在在Web收集頁面信息時，使用一個或一組預定義收集頁面信息時，使用一個或一組預定義URL地址開始，然后根據頁面內容中的超鏈接深地址開始，然后根據頁面內容中的超鏈接深度抓取頁面，直到搜索結束（沒有新的度抓取頁面，直到搜索結束（沒有新的URL）。）。 廣度優(yōu)先算法廣度優(yōu)先算法 在在Web收集頁面信息時，使用一個或一組預定義收集頁面信息時，使用一個或一組預

24、定義URL地址開始，然后根據頁面內容中的超鏈接廣地址開始，然后根據頁面內容中的超鏈接廣度抓取頁面，抓取下一層的度抓取頁面，抓取下一層的URL直到這一層的直到這一層的URL完全被抓取，直到搜索結束時返回。完全被抓取，直到搜索結束時返回。10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法基于內容算法基于內容算法 根據關鍵字、主題文檔的相似度和鏈接文本（根據關鍵字、主題文檔的相似度和鏈接文本（Linked texts）估計鏈接值，并確定相應搜索策略的算法。）估計鏈接值，并確定相應搜索策略的算法。 鏈接文本是包含對鏈接文本是包含對URL鏈接解釋說明和內容摘要的文鏈接解釋說明和內容摘要的文字

25、信息。字信息?；诨贖ITS的算法的算法 主要思想：在抓取主要思想：在抓取Web頁面時，采用頁面時，采用Authority/Hub抓取策略。抓取策略。 Authority表示該頁面被其他頁面所引用的次數（頁面表示該頁面被其他頁面所引用的次數（頁面入度值，入度值，in-degree value）。）。Hub表示其他頁面引用表示其他頁面引用該頁面的次數（頁面出度值，該頁面的次數（頁面出度值，out-degree value）。）。10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法 PageRank（Google的專利技術）的專利技術） Google的的PageRank根據網站的外部鏈

26、接和內根據網站的外部鏈接和內部鏈接的數量和質量來衡量網站的價值。部鏈接的數量和質量來衡量網站的價值。 PageRank背后的概念是，每個到頁面的鏈接背后的概念是，每個到頁面的鏈接都是對該頁面的一次投票，被鏈接的越多，就都是對該頁面的一次投票，被鏈接的越多，就意味著被其他網站投票越多。意味著被其他網站投票越多。10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法 這個就是所謂的這個就是所謂的“鏈接流行度鏈接流行度”衡量多少衡量多少人愿意將他們的網站和你的網站掛鉤。人愿意將他們的網站和你的網站掛鉤。 PageRank這個概念引自學術中一篇論文的被這個概念引自學術中一篇論文的被引述的頻度引

27、述的頻度 即被別人引述的次數越多，一即被別人引述的次數越多，一般判斷這篇論文的權威性就越高。般判斷這篇論文的權威性就越高。 10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法Google有一套自動化方法來計算這些投票。有一套自動化方法來計算這些投票。Google的的PageRank分值從分值從0到到10；PageRank為為10表示最佳，但非常少見，類似里氏震級表示最佳，但非常少見，類似里氏震級（Richter scale），），PageRank級別也不是線性級別也不是線性的，而是按照一種指數刻度。的，而是按照一種指數刻度。這是一種奇特的數學術語，意思是這是一種奇特的數學術語，意思

28、是PageRank4不不是比是比PageRank3好一級好一級而可能會好而可能會好6到到7倍。因倍。因此，一個此，一個PageRank5的網頁和的網頁和PageRank8的網的網頁之間的差距會比你可能認為的要大的多頁之間的差距會比你可能認為的要大的多10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法PageRank的定義：的定義： 假設有假設有T1Tn個頁面指向頁面?zhèn)€頁面指向頁面A（即（即 引用）。引用）。 參數參數d是一個阻尼因子，其取值區(qū)間屬于是一個阻尼因子，其取值區(qū)間屬于(0,1)，我，我們通常取值為們通常取值為0.85。 C(A)定義為指向頁面定義為指向頁面A的其他頁面的連

29、接數，的其他頁面的連接數， 頁面頁面A的的PageRank或或PR(A)值可以通過下面的公值可以通過下面的公式得到：式得到：10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法5. 索引技術索引技術 索引建立：預處理索引建立：預處理 當當Web搜索引擎獲得數據信息以后，首先需要對搜索引擎獲得數據信息以后，首先需要對數據進行預處理，如將句子切分成有意義的詞匯。數據進行預處理，如將句子切分成有意義的詞匯。由于中文的特殊性在切分句子時會產生二義性，由于中文的特殊性在切分句子時會產生二義性，如何合理的切分詞匯是一個技術難題。如何合理的切分詞匯是一個技術難題。 中文分詞完全不同于英文分詞，英文

30、行文中，單中文分詞完全不同于英文分詞，英文行文中，單詞間以空格分隔；而中文只有字詞間以空格分隔；而中文只有字/句句/段有明顯分段有明顯分隔符，唯獨詞沒有形式上的分隔符存在。隔符，唯獨詞沒有形式上的分隔符存在。10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法 索引建立：倒排文件模型索引建立：倒排文件模型 倒排文件（倒排文件（inverted file），是指一個詞匯集合），是指一個詞匯集合W和一個文檔集合和一個文檔集合D之間對應關系的數據結構。之間對應關系的數據結構。10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法6. 搜索服務搜索服務 結果顯示結果顯示 接受用戶的輸

31、入，提交用戶搜索請求。接受用戶的輸入，提交用戶搜索請求。 然后根據搜索結果列表合理的展示給用戶。然后根據搜索結果列表合理的展示給用戶。 并在在保護隱私的前提下，記錄用戶使用行為的并在在保護隱私的前提下，記錄用戶使用行為的詳細信息，以便提高下次服務的滿意度。詳細信息，以便提高下次服務的滿意度。10.2.3 搜索引擎的技術設計與算法搜索引擎的技術設計與算法 網頁快照網頁快照 Web上的數據每時每刻都在變化著，所以隨時存上的數據每時每刻都在變化著，所以隨時存在著檢索到的頁面信息已經不存在的可能。在著檢索到的頁面信息已經不存在的可能。 Web搜索引擎為了提高服務質量，需要對搜索到搜索引擎為了提高服務質

32、量，需要對搜索到的頁面信息進行快照，以便在原來頁面信息失效的頁面信息進行快照，以便在原來頁面信息失效的情況下，保證用戶能夠通過快照功能查看頁面。的情況下，保證用戶能夠通過快照功能查看頁面。10.3 物聯網搜索引擎物聯網搜索引擎在物聯網時代，搜索引擎的新思考需要考慮到：在物聯網時代，搜索引擎的新思考需要考慮到：首先需要從智能物體角度思考搜索引擎與物體首先需要從智能物體角度思考搜索引擎與物體之間的關系，主動識別物體并提取有用信息。之間的關系，主動識別物體并提取有用信息。其次需要從用戶角度上的多模態(tài)信息利用，使其次需要從用戶角度上的多模態(tài)信息利用，使查詢結果更精確，更智能，更定制化。查詢結果更精確，

33、更智能，更定制化。10.3.1基于物品的搜索引擎技術基于物品的搜索引擎技術物聯網中存在海量的分布式資源（包括傳感器、物聯網中存在海量的分布式資源（包括傳感器、探測設備和驅動裝置等）探測設備和驅動裝置等）,未來物聯網中的物品可未來物聯網中的物品可以根據以根據:自身的特定能力、自身的特定能力、所處的環(huán)境情況（傳感器的類型、驅動裝置的狀所處的環(huán)境情況（傳感器的類型、驅動裝置的狀態(tài)以及服務的提供情況等）態(tài)以及服務的提供情況等）他們的位置他們的位置 對這些普遍存在的信息和數據進行獨立的或對這些普遍存在的信息和數據進行獨立的或者類別化的搜索與發(fā)現。者類別化的搜索與發(fā)現。10.3.1基于物品的搜索引擎技術基

34、于物品的搜索引擎技術物聯網的搜索與發(fā)現服務將不僅服務于我們人類，物聯網的搜索與發(fā)現服務將不僅服務于我們人類，方便我們進行各種操作。方便我們進行各種操作。同時，這些搜索與發(fā)現服務也將為各種軟件、系同時，這些搜索與發(fā)現服務也將為各種軟件、系統、應用以及自動化的物品所使用統、應用以及自動化的物品所使用.幫助他們收集各種分布于成千上萬組織、機構、幫助他們收集各種分布于成千上萬組織、機構、地點位置的完整信息和狀態(tài)數據，幫助他們明確地點位置的完整信息和狀態(tài)數據，幫助他們明確所處環(huán)境中的基礎設施配備情況，滿足智慧物品所處環(huán)境中的基礎設施配備情況，滿足智慧物品的運動、操作、加熱或者制冷，以及網絡通信與的運動、

35、操作、加熱或者制冷，以及網絡通信與數據處理等的需求。數據處理等的需求。10.3.1基于物品的搜索引擎技術基于物品的搜索引擎技術通用身份驗證機制與細粒度的訪問控制機制整通用身份驗證機制與細粒度的訪問控制機制整合到一起將可以允許物聯網中的資源持有者限合到一起將可以允許物聯網中的資源持有者限制具體物品的發(fā)現權限，制具體物品的發(fā)現權限，控制哪些物品或者人員可以使用他們的資源或控制哪些物品或者人員可以使用他們的資源或者和他們所持有的特定物品（比如一個存在唯者和他們所持有的特定物品（比如一個存在唯一標識的物品）之間建立起關聯。一標識的物品）之間建立起關聯。10.3.1基于物品的搜索引擎技術基于物品的搜索引

36、擎技術出于搜索與發(fā)現效率的考慮，未來物聯網中的信出于搜索與發(fā)現效率的考慮，未來物聯網中的信息將很可能是存在元數據結構或者語義標記的。息將很可能是存在元數據結構或者語義標記的。但是這樣做將使我們面對重大的挑戰(zhàn)，那就是如但是這樣做將使我們面對重大的挑戰(zhàn)，那就是如何保證未來物聯網中海量的自動生成信息可以被何保證未來物聯網中海量的自動生成信息可以被自動的、可靠的發(fā)現和查找出來，而無需人為參自動的、可靠的發(fā)現和查找出來，而無需人為參與其中。與其中。 10.3.1基于物品的搜索引擎技術基于物品的搜索引擎技術 還有幾件同樣重要的事情，那就是：還有幾件同樣重要的事情，那就是：如何在地球地理數據（當可用的時候）

37、與邏輯如何在地球地理數據（當可用的時候）與邏輯位置和地址（比如，郵政編碼、地名等）之間位置和地址（比如，郵政編碼、地名等）之間建立交叉引用關系；建立交叉引用關系；如何通過搜索和發(fā)現服務處理標準的幾何概念如何通過搜索和發(fā)現服務處理標準的幾何概念和位置規(guī)則（比如，空間位置的重疊、區(qū)域的和位置規(guī)則（比如，空間位置的重疊、區(qū)域的分割或者分離，等），等等。分割或者分離，等），等等。10.3.2 基于簡單標識的對象查找技術基于簡單標識的對象查找技術基于數據對象和到標識目的的用戶連接之間的確定基于數據對象和到標識目的的用戶連接之間的確定關系生成搜索結果，關系生成搜索結果，其中一種搜索系統基于將用戶上下文應用

38、于信息上其中一種搜索系統基于將用戶上下文應用于信息上下文和連接上下文來生成包括標識個人和數據對象下文和連接上下文來生成包括標識個人和數據對象的目的目標的排序列表。的目的目標的排序列表。使用用戶上下文標識與用戶的身份有關的搜索用戶使用用戶上下文標識與用戶的身份有關的搜索用戶正查找的信息，并且使用信息上下文標識用戶可訪正查找的信息，并且使用信息上下文標識用戶可訪問的目的（包括數據對象和基于通信的動作，例如問的目的（包括數據對象和基于通信的動作，例如語音電話呼叫、即時通信會話記錄等）。語音電話呼叫、即時通信會話記錄等）。 10.3.2 基于簡單標識的對象查找技術基于簡單標識的對象查找技術根據根據連接

39、上下文標識遍及系統的所選擇目的之連接上下文標識遍及系統的所選擇目的之間的關系，以及從所選擇目的的現象確定的那間的關系，以及從所選擇目的的現象確定的那些關系的強度：基于現象檢測來更新連接上下些關系的強度：基于現象檢測來更新連接上下文。文。連接上下文中的與用戶上下文有關的部分用于連接上下文中的與用戶上下文有關的部分用于對信息上下文中的與用戶上下文有關的部分進對信息上下文中的與用戶上下文有關的部分進行排序，從而產生目的目標的排序列表。行排序，從而產生目的目標的排序列表。10.4.1 Web服務發(fā)現服務發(fā)現（1）直接搜索）直接搜索 形式最簡單的服務發(fā)現是向服務提供者索要服務形式最簡單的服務發(fā)現是向服務

40、提供者索要服務描述的副本。描述的副本。 服務提供者接收到請求后，只要把服務描述作為服務提供者接收到請求后，只要把服務描述作為附件用電子郵件發(fā)送給服務請求者，或者將其放附件用電子郵件發(fā)送給服務請求者，或者將其放在可傳遞介質在可傳遞介質(例如磁盤例如磁盤)上提供給服務請求者。上提供給服務請求者。 服務請求者可以從以下幾個方式得到服務描述：服務請求者可以從以下幾個方式得到服務描述： 本地文件；本地文件； FTP站點；站點； Web站點站點10.4.1 Web服務發(fā)現服務發(fā)現（2）集中式架構搜索）集中式架構搜索 集中式架構提供一個中心目錄，服務提供者在其集中式架構提供一個中心目錄，服務提供者在其中注冊

41、服務，發(fā)布服務公告及引用。典型的架構中注冊服務，發(fā)布服務公告及引用。典型的架構是是UDDI。 UDDI 是一種目錄服務，企業(yè)可以使用它對是一種目錄服務，企業(yè)可以使用它對 Web services 進行注冊和搜索。進行注冊和搜索。UDDI，英文為，英文為 Universal Description, Discovery and Integration，可譯為，可譯為“通用描述、發(fā)現與集成通用描述、發(fā)現與集成服務服務”。10.4.1 Web服務發(fā)現服務發(fā)現 UDDI 始于始于2000年年,由由 Ariba, IBM, Microsoft 和和其他其他33家公司創(chuàng)立家公司創(chuàng)立.UDDI regist

42、ries 提供了一個提供了一個機制機制,以一種有效的方式來瀏覽以一種有效的方式來瀏覽,發(fā)現發(fā)現Web Services 以及它們之間的相互作用以及它們之間的相互作用. UDDI作為作為Web服務體系中的元服務服務體系中的元服務(Meta Service)，為，為Web服務體系提供基本的商業(yè)服務體系提供基本的商業(yè)Web服務的注冊和發(fā)現機制。服務的注冊和發(fā)現機制。 UDDI規(guī)范利用了規(guī)范利用了W3C和和IETF的很多標準作為實的很多標準作為實現基礎，比如擴展標注語言現基礎，比如擴展標注語言(XML)、HTTP等。等。 10.4.1 Web服務發(fā)現服務發(fā)現（3） 分布式架構搜索分布式架構搜索 分布式

43、服務發(fā)現方法，提供對服務提供者提供點處分布式服務發(fā)現方法，提供對服務提供者提供點處的服務描述的引用。的服務描述的引用。 通過指定檢查通過指定檢查Web站點獲得可用站點獲得可用Web服務的方法，服務的方法，Web服務檢查語言提供了這種分布式發(fā)現方法。服務檢查語言提供了這種分布式發(fā)現方法。 WS-Inspection提供此類分布式方法的方式，是通提供此類分布式方法的方式，是通過指定如何探察過指定如何探察Web服務提供站點來獲得可用的服務提供站點來獲得可用的Web服務技術信息。服務技術信息。WS-Inspection規(guī)范定義了如規(guī)范定義了如何在何在Web服務提供站點上查找服務提供站點上查找Web服務

44、技術描述的服務技術描述的位置。位置。10.4.2 傳感數據的語義發(fā)現技術傳感數據的語義發(fā)現技術1. 語義傳感器網絡語義傳感器網絡（Semantic Sensor Networks ） 語義語義Web預示著一種連接和標注的預示著一種連接和標注的Web、一種充、一種充滿自動和半自動軟件代理的滿自動和半自動軟件代理的Web。 這些軟件代理可以對標注、連接和數據進行解釋、這些軟件代理可以對標注、連接和數據進行解釋、推理并且動作。推理并且動作。 語義語義Web技術能夠使不同的域獲利，這些域中如：技術能夠使不同的域獲利，這些域中如：量大、復雜度和特異性等問題能夠克服傳統技術。量大、復雜度和特異性等問題能夠

45、克服傳統技術。10.4.2 傳感數據的語義發(fā)現技術傳感數據的語義發(fā)現技術據估計目前有四十億移動設備作為傳感器使用，據估計目前有四十億移動設備作為傳感器使用，固定傳感器的數目更大，美國研究機構預測到固定傳感器的數目更大，美國研究機構預測到2020年該數目將增長到萬億。年該數目將增長到萬億。這些傳感器設備越來越多的具有訪問這些傳感器設備越來越多的具有訪問Web的能力，的能力，由由OGC制定的制定的SWE（傳感器（傳感器Web訪問，訪問，Sensor Web Enablement）標準，已經被應用到工業(yè)、）標準，已經被應用到工業(yè)、政府和學術界。政府和學術界。 10.4.2 傳感數據的語義發(fā)現技術傳感

46、數據的語義發(fā)現技術另一方面，數據另一方面，數據Web的概念成為啟動語義的概念成為啟動語義Web的牽引力，它的目標是設計復雜、動態(tài)、多樣的牽引力，它的目標是設計復雜、動態(tài)、多樣性和分布式開放的信息系統。性和分布式開放的信息系統。語義被認為是將傳感器數據集成到語義被認為是將傳感器數據集成到Web中的主中的主要技術。由語義要技術。由語義Web提供的分析和推理能力對提供的分析和推理能力對于從觀察數據的獲取到事件認知和對復雜環(huán)境于從觀察數據的獲取到事件認知和對復雜環(huán)境的完全感知是非常重要的。的完全感知是非常重要的。 10.4.2 傳感數據的語義發(fā)現技術傳感數據的語義發(fā)現技術2. 語義搜索的局限語義搜索的

47、局限 完全采用語法和詞匯原則來理解文字信息完全采用語法和詞匯原則來理解文字信息的語義搜索的一大局限，是不能處理例如雙關的語義搜索的一大局限，是不能處理例如雙關語、多義詞等模糊信息。語、多義詞等模糊信息。 這是因為計算機本身缺乏理解能力，尤其是缺這是因為計算機本身缺乏理解能力，尤其是缺乏理解不確定性信息或模糊信息的能力，所以乏理解不確定性信息或模糊信息的能力，所以當計算機嘗試通過解析整段話來提取含義時，當計算機嘗試通過解析整段話來提取含義時，就會頗為棘手。就會頗為棘手。 10.4.2 傳感數據的語義發(fā)現技術傳感數據的語義發(fā)現技術 與基于關鍵字的搜索方法一樣，語義搜索方法也與基于關鍵字的搜索方法一

48、樣，語義搜索方法也不能確定思想的相對重要性。計算機會給一句話不能確定思想的相對重要性。計算機會給一句話中的不同詞匯分配相同的重要性值，而這與自然中的不同詞匯分配相同的重要性值，而這與自然語言的實際內涵可能大相徑庭。語言的實際內涵可能大相徑庭。 語義搜索方法可以處理少數簡單的句子，但在采語義搜索方法可以處理少數簡單的句子，但在采用包含大量概念的大型文件時，要從整段話、整用包含大量概念的大型文件時，要從整段話、整篇文章中提取含義，其語言模式就只能望洋興嘆篇文章中提取含義，其語言模式就只能望洋興嘆了。了。10.4.2 傳感數據的語義發(fā)現技術傳感數據的語義發(fā)現技術此外，語義分析都是基于特定語言及其語法

49、結此外，語義分析都是基于特定語言及其語法結構的，這意味著它在俚語或語法方面非常容易構的，這意味著它在俚語或語法方面非常容易出錯。出錯。而且一旦有新單詞或者變更出現，則必須對系而且一旦有新單詞或者變更出現，則必須對系統進行調整，從而保證系統能夠理解這些新單統進行調整，從而保證系統能夠理解這些新單詞或變更，對系統進行拓展是一項復雜的工程。詞或變更，對系統進行拓展是一項復雜的工程。 10.4.2 傳感數據的語義發(fā)現技術傳感數據的語義發(fā)現技術3. 另一種方法另一種方法 與完全基于語法結構分析的語義搜索不同，以與完全基于語法結構分析的語義搜索不同，以Autonomy為代表的核心概念匹配技術并不單純?yōu)榇?/p>

50、的核心概念匹配技術并不單純依賴于一種語言的語法結構，依賴于一種語言的語法結構， 而是把文字當作語意的抽象符號或者另一種而是把文字當作語意的抽象符號或者另一種“類類型型”的信息，采用可預測的統計詞方式表示概念的信息，采用可預測的統計詞方式表示概念和功能，和功能， 并通過有意義的概念詞出現的上下文環(huán)境并通過有意義的概念詞出現的上下文環(huán)境(而不是而不是通過嚴格的語法定義通過嚴格的語法定義)來形成對該概念詞的理解，來形成對該概念詞的理解，以此確定文檔中每個主題的相關性及重要性。以此確定文檔中每個主題的相關性及重要性。10.4.2 傳感數據的語義發(fā)現技術傳感數據的語義發(fā)現技術 由于其系統由所輸入的實際數

51、據驅動，而不是由與內由于其系統由所輸入的實際數據驅動，而不是由與內容無關的輔助規(guī)則所驅動，所以，容無關的輔助規(guī)則所驅動，所以，Autonomy的系統的系統可以支持基于俚語、行業(yè)術語、自然語言的檢索?？梢灾С只谫嫡Z、行業(yè)術語、自然語言的檢索。 還能夠不受語言語種限制還能夠不受語言語種限制(支持超過支持超過80種語言種語言)，支持，支持任意信息片斷的檢索，只要該語言的信息足夠多，就任意信息片斷的檢索，只要該語言的信息足夠多，就可以讓系統形成對該語言的理解?？梢宰屜到y形成對該語言的理解。 例如將一句話、一段或者整頁文本作為輸入的搜索條例如將一句話、一段或者整頁文本作為輸入的搜索條件，由此可返回與搜

52、索條件概念相關的結果，這些結件，由此可返回與搜索條件概念相關的結果，這些結果可按照概念相關性或文檔上下文關聯排序。果可按照概念相關性或文檔上下文關聯排序。 10.4.2 傳感數據的語義發(fā)現技術傳感數據的語義發(fā)現技術Autonomy的技術內核，是一個被稱為的技術內核，是一個被稱為IDOL的智能的智能信息處理層。信息處理層。IDOL由動態(tài)推理引擎由動態(tài)推理引擎 (DRE)、分類服、分類服務器、用戶服務器等模塊組成。務器、用戶服務器等模塊組成。DRE 可實現概念識別、自動摘要、有效識別、自動可實現概念識別、自動摘要、有效識別、自動超鏈接、自然語言檢索等核心操作，分類服務器可超鏈接、自然語言檢索等核心

53、操作，分類服務器可實現自動聚類、自動分類、自動目錄生成等功能操實現自動聚類、自動分類、自動目錄生成等功能操作，作，用戶服務器可以實現個人化信息創(chuàng)建、個性化信息用戶服務器可以實現個人化信息創(chuàng)建、個性化信息提示、個性化信息訓練、專家定位等個性化操作。提示、個性化信息訓練、專家定位等個性化操作。10.4.2 傳感數據的語義發(fā)現技術傳感數據的語義發(fā)現技術 Autonomy發(fā)展出一整套基于發(fā)展出一整套基于“模式匹配模式匹配”的功的功能應用，如：能應用，如：二維島圖、二維趨勢圖、三維立體圖等圖形化結果，二維島圖、二維趨勢圖、三維立體圖等圖形化結果，自動建檔、社區(qū)及協作、專家搜索、信息推送等行自動建檔、社區(qū)

54、及協作、專家搜索、信息推送等行業(yè)應用，業(yè)應用，電子通訊和管理技術的安全監(jiān)控、訴訟及風險管理電子通訊和管理技術的安全監(jiān)控、訴訟及風險管理自動化的自動化的Aungate，下一代呼叫中心技術，下一代呼叫中心技術，視頻關鍵幀識別技術和語音識別技術等等。視頻關鍵幀識別技術和語音識別技術等等。 10.4.3 數據挖掘數據挖掘隨著信息技術的高速發(fā)展，人們積累的數據量急劇增隨著信息技術的高速發(fā)展，人們積累的數據量急劇增長，動輒以長，動輒以TB計，如何從海量的數據中提取有用的知計，如何從海量的數據中提取有用的知識成為當務之急。識成為當務之急。數據挖掘就是為順應這種需要應運而生發(fā)展起來的數數據挖掘就是為順應這種需

55、要應運而生發(fā)展起來的數據處理技術。據處理技術。是知識發(fā)現是知識發(fā)現(knowledge discovery in database)的關的關鍵步驟。鍵步驟。 10.4.3 數據挖掘數據挖掘1. 數據挖掘技術發(fā)展需求數據挖掘技術發(fā)展需求（1）網絡之后的下一個技術熱點）網絡之后的下一個技術熱點 大量信息在給人們帶來方便的同時也帶來了問題：大量信息在給人們帶來方便的同時也帶來了問題： 第一是信息過量，難以消化；第一是信息過量，難以消化； 第二是信息真假難以辨識；第二是信息真假難以辨識； 第三是信息安全難以保證；第三是信息安全難以保證； 第四是信息形式不一致，難以統一處理。第四是信息形式不一致，難以統

56、一處理。 人們開始考慮：人們開始考慮：“如何才能不被信息淹沒，發(fā)現有如何才能不被信息淹沒，發(fā)現有用的知識、提高信息利用率？用的知識、提高信息利用率？” 面對這一挑戰(zhàn)，數面對這一挑戰(zhàn)，數據開采和知識發(fā)現（據開采和知識發(fā)現（DMKD）技術應運而生。）技術應運而生。 10.4.3 數據挖掘數據挖掘（2）數據爆炸但知識貧乏）數據爆炸但知識貧乏 激增的數據背后隱藏著許多重要的信息，激增的數據背后隱藏著許多重要的信息，人們希望能夠對其進行更高層次的分析，以便人們希望能夠對其進行更高層次的分析，以便更好地利用這些數據。更好地利用這些數據。 目前的數據庫系統可以高效地實現數據的錄入、目前的數據庫系統可以高效地

57、實現數據的錄入、查詢、統計等功能，但無法發(fā)現數據中存在的查詢、統計等功能，但無法發(fā)現數據中存在的關系和規(guī)則，無法根據現有的數據預測未來的關系和規(guī)則，無法根據現有的數據預測未來的發(fā)展趨勢。發(fā)展趨勢。 缺乏挖掘數據背后隱藏的知識的手段，導致了缺乏挖掘數據背后隱藏的知識的手段，導致了“數據爆炸但知識貧乏數據爆炸但知識貧乏”的現象。的現象。 10.4.3 數據挖掘數據挖掘（3）支持數據挖掘技術的基礎）支持數據挖掘技術的基礎- - 超大規(guī)模數據庫的出現，例如商業(yè)數據倉庫和超大規(guī)模數據庫的出現，例如商業(yè)數據倉庫和計算機自動收集的數據記錄；計算機自動收集的數據記錄； - - 先進的計算機技術，例如更快和更大

58、的計算能先進的計算機技術，例如更快和更大的計算能力和并行體系結構；力和并行體系結構； - - 對巨大量數據的快速訪問；對巨大量數據的快速訪問； - - 對這些數據應用精深的統計方法計算的能力。對這些數據應用精深的統計方法計算的能力。 10.4.3 數據挖掘數據挖掘（4）從商業(yè)數據到商業(yè)信息的進化）從商業(yè)數據到商業(yè)信息的進化 數據挖掘的核心模塊技術歷經了數十年的發(fā)展，數據挖掘的核心模塊技術歷經了數十年的發(fā)展，其中包括數理統計、人工智能、機器學習。其中包括數理統計、人工智能、機器學習。 今天，這些成熟的技術，加上高性能的關系數據今天，這些成熟的技術，加上高性能的關系數據庫引擎以及廣泛的數據集成，讓

59、數據挖掘技術在庫引擎以及廣泛的數據集成，讓數據挖掘技術在當前的數據倉庫環(huán)境中進入了實用的階段。當前的數據倉庫環(huán)境中進入了實用的階段。 10.4.3 數據挖掘數據挖掘（5） 數據挖掘逐漸演變的過程數據挖掘逐漸演變的過程 電子數據處理的初期電子數據處理的初期,人們就試圖通過某些方人們就試圖通過某些方法來實現自動決策支持法來實現自動決策支持,當時機器學習成為人當時機器學習成為人們關心的焦點們關心的焦點. 機器學習的過程就是將一些已知的并已被成功機器學習的過程就是將一些已知的并已被成功解決的問題作為范例輸入計算機解決的問題作為范例輸入計算機,機器通過學機器通過學習這些范例總結并生成相應的規(guī)則習這些范例

60、總結并生成相應的規(guī)則,這些規(guī)則這些規(guī)則具有通用性具有通用性,使用它們可以解決某一類的問題使用它們可以解決某一類的問題.10.4.3 數據挖掘數據挖掘 隨后隨后,隨著神經網絡技術的形成和發(fā)展隨著神經網絡技術的形成和發(fā)展,人們的注意人們的注意力轉向知識工程力轉向知識工程,知識工程不同于機器學習那樣給知識工程不同于機器學習那樣給計算機輸入范例，讓它生成出規(guī)則，而是直接給計算機輸入范例，讓它生成出規(guī)則，而是直接給計算機輸入已被代碼化的規(guī)則，而計算機是通過計算機輸入已被代碼化的規(guī)則，而計算機是通過使用這些規(guī)則來解決某些問題。使用這些規(guī)則來解決某些問題。 專家系統就是這種方法所得到的成果，但它有投專家系統