第2講檢索語言與檢索技術(shù)

1、第二講第二講 檢索語言與檢索技術(shù)檢索語言與檢索技術(shù)信息環(huán)境改變了，我們痛并快樂著 德國柏林圖書館門前有這樣一段話：“這里是知識的寶庫，你若掌握了它的鑰匙，這里的全部知識都是屬于你的。”這里所說的“鑰匙”即是指信息檢索的方法，包括信息檢索語言和信息檢索技巧。 主要內(nèi)容主要內(nèi)容 信息檢索語言信息檢索語言 信息檢索途徑信息檢索途徑 信息檢索技術(shù)信息檢索技術(shù) 信息檢索一般步驟信息檢索一般步驟 我們在社會生活中必須學(xué)習(xí)運(yùn)用自然語言，學(xué)程序設(shè)計必須掌握各種程序設(shè)計語言，同理，學(xué)檢索就必須對“檢索語言”有較為深入的了解。信息檢索語言 檢索語言是根據(jù)信息檢索的需要而創(chuàng)造的專供信息存儲和信息檢索使用的規(guī)范化的一

2、種人工語言，是溝通信息存儲和信息檢索的一種約定語言。信息檢索語言 基本功能對文獻(xiàn)信息內(nèi)容(及某些外表特征)加以標(biāo)引；對內(nèi)容相同及相關(guān)的信息加以集中或揭示其相關(guān)性；對大量信息加以系統(tǒng)化或組織化；便于將標(biāo)引用語和檢索用語進(jìn)行相符性比較。信息檢索語言 整個信息檢索過程刻畫為三個方面：即信息的存儲與組織、信息的檢索實(shí)施、信息的展示。其中的關(guān)系如下圖所示：信息檢索對象 數(shù)據(jù)庫編排結(jié)構(gòu)：文檔記錄字段o文檔（file）：數(shù)據(jù)庫中一部分記錄的有序集合。o記錄（record）：數(shù)據(jù)庫的信息單元，每條記錄描述了一個原始信息的外部特征和內(nèi)部特征。o字段（field）：比記錄更小的單位，是組成記錄的數(shù)據(jù)項(xiàng)目。存取號存

3、取號基本索引字段基本索引字段輔助索引字段輔助索引字段基本索引字段基本索引字段表達(dá)文獻(xiàn)內(nèi)容特征表達(dá)文獻(xiàn)內(nèi)容特征輔助索引字段輔助索引字段表達(dá)文獻(xiàn)外部特征表達(dá)文獻(xiàn)外部特征檢索語言有多種分類方式，其中就其描述文獻(xiàn)的有關(guān)特征而言，可分為描述文獻(xiàn)外部特征的“外部特征語言”和描述文獻(xiàn)內(nèi)容特征的“內(nèi)容特征語言”，這兩大范疇的語言又可細(xì)分為若干具體的語言。檢索語言的類型檢索語言的類型表述文獻(xiàn)外表表述文獻(xiàn)外表特征的語言特征的語言表述文獻(xiàn)內(nèi)容表述文獻(xiàn)內(nèi)容特征的語言特征的語言題名題名責(zé)任者責(zé)任者號碼號碼 分類語言分類語言主題語言主題語言關(guān)鍵詞關(guān)鍵詞標(biāo)題詞標(biāo)題詞單元詞單元詞敘詞敘詞 分類語言是一種用“分類號”來表達(dá)各種

4、概念，將各種概念按學(xué)科性質(zhì)進(jìn)行系統(tǒng)排列。它集中體現(xiàn)學(xué)科的系統(tǒng)性，反映事物的從屬、派生關(guān)系，由上至下，從總體到局部層層展開，是一種等級體系。由類目（語言文字）及其相對應(yīng)的類號（字母、數(shù)字或其組合）來表達(dá)各種概念，構(gòu)成一個完整的分類類目表。如中國圖書館分類法、國際專利分類表等都屬于分類檢索語言。中圖法 所謂圖書分類圖書分類是按照圖書內(nèi)容的學(xué)科性質(zhì)或其他特征將館藏圖書予以揭示并分門別類組織排列的一種手段。圖書分類法則是將許多類目根據(jù)一定原則組織起來，通過標(biāo)記符號代表各級類目和固定先后次序的分類體系。它是圖書館收藏并揭示館藏文獻(xiàn)的依據(jù)。我館文獻(xiàn)采用中國圖書館圖書分類法中國圖書館圖書分類法進(jìn)行分類排架。

5、中圖法簡表 中國圖書館分類法子類目隸屬與派生關(guān)系為例： T 工業(yè)技術(shù) TP 自動化技術(shù)、計算機(jī)技術(shù) TP3 計算技術(shù)、計算機(jī)技術(shù) TP31 計算機(jī)軟件 TP311 軟件工程 TP311.1 程序設(shè)計 TP311.11 程序設(shè)計方法 TP311.12 數(shù)據(jù)結(jié)構(gòu) TP311.13 數(shù)據(jù)庫理論與系統(tǒng) TP311.132 數(shù)據(jù)庫系統(tǒng)：按類型分 TP311.132.1 層次數(shù)據(jù)庫 TP311.132.2 網(wǎng)狀數(shù)據(jù)庫 TP311.132.3 關(guān)系數(shù)據(jù)庫 TP311.132.4 面向?qū)ο髷?shù)據(jù)庫 級級派生級級派生層層隸屬層層隸屬信息存儲過程：信息存儲過程： 信息主題信息主題分類號分類號信息檢索過程：信息檢索過

6、程： 分類號分類號信息主題信息主題 中圖法中圖法從大類到小類，層層展開，不斷細(xì)分，形成完整的從大類到小類，層層展開，不斷細(xì)分，形成完整的知識體系。知識體系。 舉例：舉例： 要查找要查找“研究研究紅樓夢紅樓夢”方面的文獻(xiàn)，我們應(yīng)該遵循以下步方面的文獻(xiàn)，我們應(yīng)該遵循以下步驟：驟： 第第1 1步：步：“研究研究紅樓夢紅樓夢”所屬類別應(yīng)該是社會科學(xué)中的所屬類別應(yīng)該是社會科學(xué)中的“文學(xué)文學(xué)”（I I大類）；大類）； 第第2 2步：通過見表進(jìn)一步查找所需文獻(xiàn)的二級分類號和類目名步：通過見表進(jìn)一步查找所需文獻(xiàn)的二級分類號和類目名稱，即稱，即 I2 I2 中國文學(xué)中國文學(xué) 第第3 3步：通過主題逐級詳細(xì)查閱便

7、可找到其準(zhǔn)確的類號和類名：步：通過主題逐級詳細(xì)查閱便可找到其準(zhǔn)確的類號和類名： I207 I207 文學(xué)評論和研究文學(xué)評論和研究 I207.4 I207.4 小說研究小說研究 I207.41 I207.41 古代小說研究古代小說研究 I207.411 I207.411 紅樓夢紅樓夢研究與評論研究與評論 所以所以“研究研究紅樓夢紅樓夢”方面的文獻(xiàn)的分類號即為方面的文獻(xiàn)的分類號即為I207.411 I207.411 第第4 4步：利用標(biāo)引的結(jié)果（分類號步：利用標(biāo)引的結(jié)果（分類號I207.411 I207.411 ）就去查找館藏，圖）就去查找館藏，圖書館書庫里的書都是按分類號進(jìn)行排架，同學(xué)們在檢索到

8、這本書書館書庫里的書都是按分類號進(jìn)行排架，同學(xué)們在檢索到這本書的信息后，根據(jù)分類號在書庫中找到它的位置。的信息后，根據(jù)分類號在書庫中找到它的位置。 索書號是圖書館賦予每一種館藏圖書的號碼。這種號碼具有一定結(jié)構(gòu)并帶有特定的意義。在館藏系統(tǒng)中，每種圖書的索書號是唯一的，可借以準(zhǔn)確地確定館藏圖書在書架上的排列位置，是讀者查找圖書非常必要的代碼信息。在通常情況下，索書號由兩部分組成 ：分類號+流水號分類號流水號V2-49/1030-4 2、圖書在書架上的排序：由左至右，由上至下 如何通過索書號找到圖書？1、索書號的排序：以單個字母或數(shù)字為單位，先左后右，先橫后點(diǎn)，先上后下 OPAC使用簡單檢索書目信息

9、： 題名作者出版社出版年代索書號我的圖書館30讀者薦購讀者薦購 主題語言主題語言不像“分類語言”那樣需要借助于分類號來標(biāo)識信息，而是直接以代表信息內(nèi)容特征和科學(xué)概念的主題詞來表達(dá)各種概念，并將這些概念詞按字順方式組織起來的一種檢索語言。特點(diǎn)： 按主題(信息所論述涉及的事物)集中 以自然語言作為標(biāo)識符號 ，概念與標(biāo)識合二為一，不存在轉(zhuǎn)換工序主題語言又可進(jìn)一步細(xì)分為關(guān)鍵詞語言、標(biāo)題詞語言、單元詞語言、敘詞語言以及。 關(guān)鍵詞語言是直接選用文獻(xiàn)中的自然語言作基本詞匯，并將那些能夠揭示文獻(xiàn)題名或主要意旨的關(guān)鍵性自然語詞作為關(guān)鍵詞進(jìn)行標(biāo)引的一種檢索語言。 例如：“國際聯(lián)機(jī)檢索概論”中的“國際聯(lián)機(jī)檢索”、“

10、國際聯(lián)機(jī)”、“聯(lián)機(jī)”、“檢索”都是能描述這篇文獻(xiàn)主題的關(guān)鍵詞，都可以作為檢索詞。 標(biāo)題詞語言標(biāo)題詞語言是最早使用的一種主題語言，它以規(guī)范化的自然語義作為標(biāo)識，來表達(dá)信息涉及的主題概念，并將全部標(biāo)識按字母順序排列。 例如：一篇文章用“微型計算機(jī)”這個術(shù)語來敘述它的研究對象，另一篇文章用“微型電腦” 來敘述，第三篇文章用“微機(jī)” 來敘述，雖然都表示同一概念，這時就不能直接用“微型電腦”或“微機(jī)”來作標(biāo)題詞，這三篇文章都必須用用“微型計算機(jī)微型計算機(jī)”作標(biāo)題詞作標(biāo)題詞（實(shí)際上是“主標(biāo)題詞”，根據(jù)主題詞表決定）。 單元詞語言單元詞語言是在標(biāo)題詞語言基礎(chǔ)上發(fā)展起來的一種規(guī)范化檢索語言。單元詞單元詞（un

11、iterm）是一種最基本的、不能再分的詞匯單位，亦稱元元詞詞。它也是從文獻(xiàn)內(nèi)容中抽出，并經(jīng)過規(guī)范化處理，代表一個獨(dú)立的概念。 例如：“計算機(jī)計算機(jī)”、“軟件軟件”、“固相固相”、“相相”。 敘詞語言敘詞語言是以自然語言為基礎(chǔ)，以概念組配為基本原理，并經(jīng)過規(guī)范化處理，表達(dá)主題的最小概念單元，作為信息存儲和檢索依據(jù)的一種檢索語言。只有經(jīng)過規(guī)范化處理，滿足一詞一義一型要求的詞才能稱為敘詞（descriptor）。 例如：在敘詞語言的檢索系統(tǒng)中用“計算機(jī)計算機(jī)”這個詞進(jìn)行檢索，即使題名字段沒有“計算機(jī)”這個詞（如有同義詞“電腦”）的文章，也可以被檢索出來，不必進(jìn)行同義詞替換同義詞替換即可查全。 主題語

12、言（標(biāo)題詞、單元詞、敘詞）的規(guī)范化處理：主題語言（標(biāo)題詞、單元詞、敘詞）的規(guī)范化處理： 詞義規(guī)范：詞義規(guī)范：對同義詞（如計算機(jī)與電腦）、近義詞（如實(shí)驗(yàn)與試驗(yàn)）、學(xué)名和俗名（如發(fā)動機(jī)與馬達(dá)）、不同譯名（激光與萊塞）、簡稱與全稱（如中國與中華人民共和國）、不同寫法（如X射線與愛克斯射線）等進(jìn)行選擇；對多義詞、同形異義詞進(jìn)行限定說明，如杜鵑既表示一種鳥，也表示一種花，就須限定說明為，杜鵑（動物）、杜鵑（植物）。詞類規(guī)范：詞類規(guī)范：即確定詞類的范圍。能用作敘詞的詞類一般要求控制在具有實(shí)質(zhì)意義的名詞或動名詞的范圍之內(nèi)。詞形規(guī)范：詞形規(guī)范：即對詞的繁簡體、詞序、字母符號等的規(guī)定。 著錄者需要使用該詞表、規(guī)

13、范進(jìn)行著錄，用戶檢索時可以使用詞表著錄者需要使用該詞表、規(guī)范進(jìn)行著錄，用戶檢索時可以使用詞表提供的規(guī)范詞。提供的規(guī)范詞。舉例： 漢語主題詞表是我國第一部大型綜合性主題詞表。全表共分3卷10分冊，由主表、詞族索引、范疇索引、英漢對照索引等組成。是我國應(yīng)用最廣的一部主題標(biāo)引和檢索的工具。其款目(條目)格式如下： Xian XiangGuan（款目主題詞的漢語拼音） 顯象管（款目主題詞） 56CE Picture tube（款目主題詞的英文譯名）同義 D 電視顯象管 監(jiān)視管下位 F 彩色顯象管 固體顯象管 黑白顯象管 上位 S 電子束管詞族的族首詞 Z 電子管相關(guān)的其他敘詞 C 顯示管 指示管其他檢

14、索語言 自然語言自然語言是直接從原始信息中抽取出來的未經(jīng)規(guī)范化處理，用以揭示信息主題概念的檢索語言。抽取出來的詞包括自由詞、關(guān)鍵詞、事物名稱、科學(xué)術(shù)語、俗名、商品型號和縮寫等，及時跟上事物發(fā)展，準(zhǔn)確表達(dá)事物新概念，選詞靈活方便，專指性強(qiáng)，標(biāo)引和檢索速度快等優(yōu)點(diǎn)。 主題語言和分類語言的區(qū)別揭示對象不同揭示對象不同 主題法揭示文獻(xiàn)論述的具體事物或主題概念主題法揭示文獻(xiàn)論述的具體事物或主題概念(“(“是什么是什么”) )； 分類法揭示的是文獻(xiàn)內(nèi)容的學(xué)科屬性分類法揭示的是文獻(xiàn)內(nèi)容的學(xué)科屬性(“(“屬什么屬什么”) )。使用標(biāo)識使用標(biāo)識 主題法直接用詞語表示主題法直接用詞語表示文獻(xiàn)主題文獻(xiàn)主題； 分類法

15、則以抽象化的分類法則以抽象化的類目代號類目代號“分類號分類號”作為文獻(xiàn)內(nèi)作為文獻(xiàn)內(nèi)容標(biāo)識和檢索標(biāo)識。容標(biāo)識和檢索標(biāo)識。 前者直觀易懂，后者較簡潔，但也較費(fèi)解。前者直觀易懂，后者較簡潔，但也較費(fèi)解。 主題語言和分類語言的區(qū)別主題語言和分類語言的區(qū)別排列方式排列方式 主題法按詞語主題法按詞語字順排列字順排列，如同詞典，易學(xué)易查；，如同詞典，易學(xué)易查； 分類法按分類法按分類號分類號( (學(xué)科或?qū)I(yè)門類的代號學(xué)科或?qū)I(yè)門類的代號) )排列，系統(tǒng)性較排列，系統(tǒng)性較強(qiáng)，但不熟悉有關(guān)分類表則難以有效地利用強(qiáng)，但不熟悉有關(guān)分類表則難以有效地利用. .用途用途 主題法較適合于對單篇文獻(xiàn)的組織和檢索，且更適于主題

16、法較適合于對單篇文獻(xiàn)的組織和檢索，且更適于計算計算機(jī)機(jī)組織和檢索組織和檢索; ; 分類法則比較適合于分類法則比較適合于圖書或文集圖書或文集的組織和檢索的組織和檢索. . 檢索途徑：又稱檢索點(diǎn)或檢索入口，包括信息源外表特征與內(nèi)容特征外表特征：從構(gòu)成文獻(xiàn)信息源的載體、符號系統(tǒng)和記錄方式三要素中提取出的特征構(gòu)成。內(nèi)容特征：由分析構(gòu)成文獻(xiàn)信息源的信息內(nèi)容要素的特征與學(xué)科屬性形成。信息檢索途徑內(nèi)容特征途徑內(nèi)容特征途徑主題途徑主題途徑代碼途徑代碼途徑分類途徑分類途徑 外表特征途徑外表特征途徑題名途徑題名途徑責(zé)任者途徑責(zé)任者途徑機(jī)構(gòu)名稱途徑機(jī)構(gòu)名稱途徑編號途徑編號途徑其他途徑其他途徑 文獻(xiàn)外部特征的檢索途徑

17、 ：題名途徑 即直接利用圖書的書名、期刊的刊名、標(biāo)準(zhǔn)文獻(xiàn)的標(biāo)準(zhǔn)名來查找所需信息的方法途徑。著者途徑 即從個人著者名或者團(tuán)體著者名出發(fā)，查找他們所發(fā)表或者主持的文獻(xiàn)。代碼途徑如專利號、標(biāo)準(zhǔn)書號(ISBN)、標(biāo)準(zhǔn)刊號(ISSN)、館藏號等。在已知文獻(xiàn)特定代碼的前提下，利用代碼途徑檢索文獻(xiàn)是最為快捷的方法之一。 文獻(xiàn)外部特征的檢索途徑 ：機(jī)構(gòu)名稱途徑主要包括作者所在的單位，以及圖書期刊的出版發(fā)行單位等。信息源類型途徑即直接利用信息資源的類型作為檢索入口的方法。其他途徑根據(jù)某些信息的特殊標(biāo)識進(jìn)行檢索的方法，如化學(xué)分子式，地域名稱等。 內(nèi)容特征檢索途徑 分類途徑 指按照文獻(xiàn)所屬的類別來檢索文獻(xiàn)的途徑。優(yōu)

18、點(diǎn)：能夠從學(xué)科或?qū)I(yè)角度廣泛地獲得較系統(tǒng)的文獻(xiàn)，能夠達(dá)到較高的查全率。 主題途徑指通過能表達(dá)文獻(xiàn)內(nèi)容的主題詞來檢索文獻(xiàn)的一種途徑。主題檢索的實(shí)施，需要用到各種主題詞索引，如主題索引、關(guān)鍵詞索引、敘詞索引等。優(yōu)點(diǎn)：主題途徑表達(dá)概念直接、準(zhǔn)確、靈活，適合于檢索復(fù)雜、專深或較為具體的文獻(xiàn)資料。 內(nèi)容特征檢索途徑關(guān)鍵詞途徑 把對信息主題內(nèi)容起關(guān)鍵作用的詞抽取出來，并利用它來檢索文獻(xiàn)的一種途徑。優(yōu)點(diǎn)：由于關(guān)鍵詞是一種很靈活的單詞或詞組，它不需規(guī)范詞表，使用比較方便。在計算機(jī)檢索系統(tǒng)中應(yīng)用比較廣泛。信息檢索技術(shù)信息檢索技術(shù)檢索用詞信息來源檢索結(jié)果檢索題目的詞語切分檢索技術(shù)布爾邏輯檢索布爾邏輯檢索截詞檢索截

19、詞檢索短語檢索短語檢索限域檢索限域檢索常用的檢索技術(shù) 布爾邏輯檢索 通過布爾邏輯運(yùn)算符來表達(dá) 檢索詞與檢索詞間邏輯關(guān)系布爾邏輯運(yùn)算符檢索包含所有關(guān)鍵字的數(shù)據(jù)。TOPIC: “stem cell*” AND lymphoma返回含有詞語“stem cell”及“l(fā)ymphoma”的文檔，等效于檢索“stem cell*” lymphoma檢索的數(shù)據(jù)中必須至少含有一個所給關(guān)鍵字?？捎脕頇z索變體及同義詞。TOPIC: aspartame OR saccharine OR sweetener* 返回至少含有一個關(guān)鍵字的文檔。排除含有某一特定關(guān)鍵字的數(shù)據(jù)TOPIC: aids NOT hearing返回

20、含有“aids”的文檔，排除含有“hearing”的部分。用截詞符號表示檢索詞的某一部分允許有詞形的變化，廣泛用于西文檢索 截詞檢索截詞檢索截詞符/通配符符號符號意義意義*零個或多個字符gene*-gene, genetics, generation$零個或一個字符colo$r -color, colour?只代表一個字符en?oblast -entoblast, endoblast有限截斷“?”無限截斷“*”organi？tion：organization；orgnasationeconom*：economic；economics；economism；economize右截詞中間截詞左截詞p

21、hysic*：physic physical physicianDefen?e：defence defense*magnetic：Magnetic；electro-magnetic通常用雙引號“ ”將一個詞組括起，作為一個不可分的檢索整體來進(jìn)行檢索 短語檢索短語檢索近似運(yùn)算符關(guān)鍵字檢索關(guān)鍵字檢索希望精確地檢索某個短語，將其放置在引號內(nèi)。范例：“stem cell”stem cell”SameSame不同關(guān)鍵字必須在同一句話內(nèi)。“文句”通常是一個有限長度的字串，關(guān)鍵字前后順序不限。在檢索時，“SAME”運(yùn)算符將檢索含有所有關(guān)鍵字且這些關(guān)鍵字均出現(xiàn)在同一句話中的文檔。范例： stem SAME c

22、ellstem SAME cell 運(yùn)用位置算符表示兩個檢索詞間的位置鄰近關(guān)運(yùn)用位置算符表示兩個檢索詞間的位置鄰近關(guān)系，又叫鄰接檢索。這種檢索技術(shù)通常只出現(xiàn)系，又叫鄰接檢索。這種檢索技術(shù)通常只出現(xiàn)在西文數(shù)據(jù)庫中，在全文檢索中應(yīng)用較多。在西文數(shù)據(jù)庫中，在全文檢索中應(yīng)用較多。 如果說布爾邏輯算符是表示兩個概念之間的邏如果說布爾邏輯算符是表示兩個概念之間的邏輯關(guān)系的話，位置算符表示的是兩個概念在信輯關(guān)系的話，位置算符表示的是兩個概念在信息中的息中的實(shí)際物理位置關(guān)系實(shí)際物理位置關(guān)系。 位置算符檢索位置算符檢索算符算符 功能功能 表達(dá)式表達(dá)式 檢索結(jié)果檢索結(jié)果 W, with兩詞相鄰，按輸入時兩詞相鄰，

23、按輸入時順序排列順序排列（也有數(shù)據(jù)庫允許順（也有數(shù)據(jù)庫允許順序顛倒）序顛倒） Education(W)school, 或或Education with school Education schoolEducation schools（school of educationschools of education） nW 同上，兩詞中間允許同上，兩詞中間允許插入插入n個詞個詞Education (1W) school Education schoolEducation schoolsEducation and music schoolSchool of continued education P

24、re 兩詞相鄰，按輸入順兩詞相鄰，按輸入順序排列序排列 Education Pre school Education schoolEducation schools N, near兩詞緊密相鄰，中間兩詞緊密相鄰，中間不能插入其他詞，順不能插入其他詞，順序可以顛倒序可以顛倒 Education (N) school, 或或Education near school Education schoolEducation schoolsSchool of education nN 同上，兩詞中間可以同上，兩詞中間可以插入插入n個詞個詞 Education (1N) school Education s

25、choolSchool of educationEducation and music school F 兩個詞同在一個字段兩個詞同在一個字段中中Education (F) school例如同時出現(xiàn)在題名或文摘字段中例如同時出現(xiàn)在題名或文摘字段中Same 兩個詞同在一個段落兩個詞同在一個段落中中 Education Same school 同時出現(xiàn)在一個段落中同時出現(xiàn)在一個段落中 限域檢索限域檢索 如：如：rice in ti （只在題目字段中查找文獻(xiàn)）（只在題目字段中查找文獻(xiàn)） rice in de（只在主題詞字段中查找）（只在主題詞字段中查找） rice in ab（只在文摘字段中查找）（只在文摘字段中查找） 利用利用字段代碼字段代碼來限制檢索詞出現(xiàn)的來