面向文獻(xiàn)搜索系統(tǒng)的用戶實(shí)時(shí)需求發(fā)現(xiàn)方法

面向文獻(xiàn)搜索系統(tǒng)的用戶實(shí)時(shí)需求發(fā)現(xiàn)方法摘要：針對(duì)當(dāng)前文獻(xiàn)搜索系統(tǒng)不能理解用戶實(shí)時(shí)需求的問題，提出了一種面向文獻(xiàn)搜索系統(tǒng)的用戶實(shí)時(shí)需求發(fā)現(xiàn)方法。首先，分析用戶瀏覽、下載等個(gè)性化搜索行為；其次，根據(jù)用戶搜索行為與用戶需求的關(guān)系構(gòu)建用戶實(shí)時(shí)需求文檔（RD）；然后，從用戶需求文檔中提取用戶需求關(guān)鍵詞網(wǎng)絡(luò)；最后，運(yùn)用隨機(jī)游走的方法提取出關(guān)鍵詞網(wǎng)絡(luò)的核心節(jié)點(diǎn)構(gòu)成用戶需求圖。實(shí)驗(yàn)結(jié)果表明：在模擬用戶需求的環(huán)境下，提取需求圖的方法比Kmedoids算法在檢索指標(biāo)F值上平均高2.5%；在用戶搜索文獻(xiàn)真實(shí)情況下，提取需求圖的方法比DBSCAN算法在檢索指標(biāo)F值上平均高5.3%，因此，在用戶需求比較穩(wěn)定的文獻(xiàn)搜索中，該方法能夠獲取用戶需求從而提升用戶體驗(yàn)。

關(guān)鍵詞：用戶行為分析；實(shí)時(shí)需求；文獻(xiàn)搜索系統(tǒng)；個(gè)性化；關(guān)鍵詞網(wǎng)絡(luò)

中圖分類號(hào)：TP391.3文獻(xiàn)標(biāo)志碼：A

0引言

隨著互聯(lián)網(wǎng)技術(shù)的發(fā)展，在線文獻(xiàn)數(shù)量急劇增長(zhǎng)，學(xué)術(shù)研究者可以通過使用文獻(xiàn)搜索系統(tǒng)來減少獲取文獻(xiàn)的時(shí)間和成本。然而當(dāng)前文獻(xiàn)搜索系統(tǒng)呈現(xiàn)出搜索不準(zhǔn)確、返回結(jié)果有效信息稀疏等缺點(diǎn)，而用戶潛意識(shí)地希望只付出較少的檢索代價(jià)就能準(zhǔn)確獲得想要的結(jié)果，因此，用戶希望搜索系統(tǒng)能夠提供從有效信息稀疏的返回結(jié)果中挑選出用戶所需要文獻(xiàn)的個(gè)性化檢索服務(wù)。為用戶不同的檢索需求定制個(gè)性化檢索結(jié)果來提高搜索質(zhì)量的個(gè)性化的搜索將是一種有發(fā)展前景的方法[1]。

造成文獻(xiàn)搜索系統(tǒng)呈現(xiàn)出上述缺點(diǎn)的主要原因在于搜索系統(tǒng)不能理解用戶的實(shí)時(shí)需求。目前大多數(shù)文獻(xiàn)搜索系統(tǒng)的入口都是條件搜索框，而用戶在向系統(tǒng)輸入需求時(shí)由于他們的表述能力的不足和搜索框的功能限制，通常只以少數(shù)檢索詞來表示自己的需求。而目前搜索系統(tǒng)的重點(diǎn)仍然停留在關(guān)鍵詞的匹配方面，因此對(duì)于不同用戶不同場(chǎng)景搜索，搜索系統(tǒng)仍然提供相同的結(jié)果。特別地，在學(xué)術(shù)搜索系統(tǒng)中，用戶大部分是學(xué)術(shù)研究者，他們有著各自的研究領(lǐng)域，每個(gè)用戶熟悉的專業(yè)知識(shí)也不一樣，對(duì)相同的查詢?cè)~匯，不同用戶有著不同的理解，因此要提高用戶的搜索體驗(yàn)為用戶提供個(gè)性化服務(wù)，首先就要對(duì)用戶的查詢意圖進(jìn)行識(shí)別和提取出用戶的需求。

1研究現(xiàn)狀

目前很多研究者都對(duì)學(xué)術(shù)文獻(xiàn)搜索方面進(jìn)行了研究：Kaya等[2]著重從個(gè)性化、可伸縮性和探索性搜索的三個(gè)重要屬性方面改進(jìn)學(xué)術(shù)推薦服務(wù)來提供更好的學(xué)術(shù)搜索。文獻(xiàn)[3]通過采用能夠區(qū)別文檔相關(guān)性和位置偏好的檢驗(yàn)假設(shè)來建立用戶點(diǎn)擊模型，觀察用戶點(diǎn)擊行為是否能被相關(guān)性和位置偏好完全解釋。Griffiths等[4]在作者主題模型[5]的基礎(chǔ)上提出作者會(huì)議主題連接（AuthorConferenceTopicConnection，ACTC）模型來研究學(xué)術(shù)網(wǎng)絡(luò)，該模型在作者會(huì)議主題（AuthorConferenceTopic，ACT）模型上增加了會(huì)議主題和主題之間的潛在映射信息。文獻(xiàn)[6]在處理個(gè)性化信息檢索時(shí)進(jìn)行了用戶興趣建模，分析真實(shí)可以代表用戶興趣的瀏覽、保存、收集或打印網(wǎng)頁(yè)的用戶訪問行為；文章闡述了用戶興趣和訪問行為的關(guān)系，通過對(duì)文檔量化探討了文檔結(jié)構(gòu)和遺忘因子對(duì)用戶興趣度的影響，通過興趣模型來對(duì)結(jié)構(gòu)過濾，最終提高用戶的滿意度。

上述的工作大都是對(duì)文獻(xiàn)或用戶的研究，而本文研究的目的是增強(qiáng)文獻(xiàn)搜索系統(tǒng)對(duì)用戶需求的理解，從而為用戶提供個(gè)性化服務(wù)，提高用戶的搜索體驗(yàn)，因此本文的研究重點(diǎn)是用戶實(shí)時(shí)需求的獲取。用戶搜索文獻(xiàn)是一種有較強(qiáng)目的的行為，因此用戶的搜索過程存在著一定的規(guī)律，而目前搜索系統(tǒng)在理解用戶需求時(shí)通常忽略了用戶檢索文獻(xiàn)的個(gè)性化行為。用戶的搜索行為包括瀏覽、下載、略過、翻頁(yè)、收藏、分享等操作；這些行為準(zhǔn)確地反映了用戶的需求，而記錄這些行為只會(huì)增加很小負(fù)擔(dān)，分析這些行為有助于更好地理解用戶的偏好[7]。另一方面由于文獻(xiàn)文本有著半結(jié)構(gòu)化的特殊的形式，文獻(xiàn)搜索系統(tǒng)對(duì)文獻(xiàn)呈現(xiàn)方式也存在著特點(diǎn)，通常搜索系統(tǒng)將文獻(xiàn)的標(biāo)題、摘要、關(guān)鍵詞、引用、正文等都分開顯示，因此學(xué)術(shù)搜索系統(tǒng)的返回對(duì)象的格式十分統(tǒng)一。

由于用戶搜索文獻(xiàn)的行為和搜索系統(tǒng)返回文獻(xiàn)的格式都比較統(tǒng)一，因此可以在搜索系統(tǒng)的基礎(chǔ)上增加用戶需求分析模塊，在用戶搜索文獻(xiàn)時(shí)對(duì)用戶進(jìn)行需求分析并為用戶提供個(gè)性化服務(wù)。整個(gè)需求獲取流程如圖1所示，在文獻(xiàn)列表呈現(xiàn)后增加用戶需求分析模塊，該模塊首先對(duì)用戶瀏覽、下載的行為以及相應(yīng)的文獻(xiàn)進(jìn)行分析，并根據(jù)用戶搜索行為建立需求文檔并提取其關(guān)鍵詞網(wǎng)絡(luò)，再提取出用戶關(guān)鍵詞網(wǎng)絡(luò)的核心語(yǔ)義以圖的形式呈現(xiàn)給用戶并對(duì)用戶需求的表達(dá)進(jìn)行提示。從用戶搜索過程可以看出，在搜索系統(tǒng)呈現(xiàn)出文獻(xiàn)列表之后，不管用戶進(jìn)行了哪些操作，搜索系統(tǒng)都不會(huì)對(duì)用戶有任何響應(yīng)。而在增加需求分析模塊后，充分利用了用戶與搜索系統(tǒng)的交互信息，對(duì)用戶的每種檢索行為都能給出響應(yīng)和提示和當(dāng)前頁(yè)面文獻(xiàn)列表更新。

2用戶需求提取方法

用戶需求的提取過程包含3個(gè)步驟：首先，是能夠形式化的表示出文獻(xiàn)文本；其次，對(duì)用戶的搜索行為和與行為相關(guān)的文獻(xiàn)進(jìn)行分析；最后，提取并形式化地表示出用戶需求。

2.1文獻(xiàn)文本的表示

2.1.1文獻(xiàn)文本的特點(diǎn)

文獻(xiàn)文本不同于一般的長(zhǎng)文本：1）文獻(xiàn)文本中關(guān)鍵詞會(huì)隨所處領(lǐng)域的不同而表現(xiàn)出不同的含義，比如“LDA”在文本表示中就是潛在狄利克雷分布（LatentDirichletAllocation，LDA）的主題模型，而在模式識(shí)別領(lǐng)域一般為線性判別式分析（LinearDiscriminantAnalysis，LDA）。2）文獻(xiàn)文本由標(biāo)題、摘要、正文等多部分組成，每個(gè)部分的意義和作用都不一樣，通常標(biāo)題部分的信息比摘要部分的信息重要，而摘要部分的信息又比正文中的信息重要。

為了能夠合理地表示文獻(xiàn)文本，針對(duì)文獻(xiàn)文本的第一個(gè)特點(diǎn)本文使用圖表示模型，以關(guān)鍵詞作為圖的節(jié)點(diǎn)，關(guān)鍵詞與關(guān)鍵詞的關(guān)系作為圖的邊。關(guān)鍵詞的具體意義通過該關(guān)鍵詞與周邊詞匯的關(guān)系來體現(xiàn)。為了體現(xiàn)出文獻(xiàn)文本的半結(jié)構(gòu)化的特性，本文提出了基于結(jié)構(gòu)權(quán)重的文本表示方法，該方法把一篇文獻(xiàn)分為幾部分，每個(gè)部分賦予不同的權(quán)重，越重要的部分結(jié)構(gòu)權(quán)重越大。對(duì)標(biāo)題、摘要和正文處要賦予合理的權(quán)值將是一個(gè)難點(diǎn)，文獻(xiàn)[7]中的方法是對(duì)不同位置賦予人為的權(quán)重，那種方法太主觀，本文結(jié)合文獻(xiàn)文本的自身特點(diǎn)最終使用“關(guān)鍵詞密度”作為權(quán)值的衡量標(biāo)準(zhǔn)，某部分“關(guān)鍵詞密度”反映了該部分關(guān)鍵詞的密集程度，越重要的部分關(guān)鍵詞越密集。最終密度公式為：

其中：Density為該部分關(guān)鍵詞的密度，n為該部分所有關(guān)鍵詞的個(gè)數(shù)，N為該部分的所有詞的個(gè)數(shù)。結(jié)合以上兩種因素最后通過建立關(guān)鍵詞網(wǎng)絡(luò)來表示文獻(xiàn)文本。

2.1.2關(guān)鍵詞網(wǎng)絡(luò)的形式化表示

在獲得一篇文獻(xiàn)的標(biāo)題、摘要、關(guān)鍵詞、正文等信息后就很容易建立該篇文獻(xiàn)的關(guān)鍵詞網(wǎng)絡(luò)，最終關(guān)鍵詞網(wǎng)絡(luò)用四元組表示：

2.1.3關(guān)鍵詞網(wǎng)絡(luò)相似度

傳統(tǒng)的圖文本表示模型的相似度計(jì)算方法大都是將圖的節(jié)點(diǎn)與邊分開來考慮的，這樣很難表現(xiàn)出節(jié)點(diǎn)與邊對(duì)相似度的共同影響，本文在文獻(xiàn)[8]的基礎(chǔ)上提出了基于最大公共子圖的相似度計(jì)算方法，通過動(dòng)態(tài)地改變節(jié)點(diǎn)與邊的權(quán)衡因子，關(guān)鍵詞網(wǎng)絡(luò)相似度較小時(shí)主要考慮節(jié)點(diǎn)之間的關(guān)系，相似度較大時(shí)邊的影響就會(huì)較大，這樣使之在相似度較低的文獻(xiàn)中和相似度較高的文獻(xiàn)中都有很好的分辨能力，最終得到相似度計(jì)算公式：

2.2用戶需求文檔構(gòu)建方法

用戶在搜索文獻(xiàn)時(shí)總是按照自己的需求對(duì)搜索系統(tǒng)返回的結(jié)果進(jìn)行挑選，略過自己不感興趣的論文，瀏覽自己感興趣的論文，下載自己所需要的論文。用戶與搜索系統(tǒng)交互所產(chǎn)生的文獻(xiàn)序列就是用戶需求的一種體現(xiàn)，因此可以通過用戶的瀏覽、下載的文獻(xiàn)來表達(dá)出用戶的實(shí)時(shí)需求。然而用戶的需求是一種很模糊的抽象概念，面臨的問題就是如何通過用戶瀏覽、下載的文獻(xiàn)序列來合理地構(gòu)建出用戶需求。用戶搜索文獻(xiàn)的行為通常包含略過、瀏覽、下載、收藏、分享、保存等操作。文獻(xiàn)[9]通過提出了一種基于訪問時(shí)間的方法來區(qū)分這些行為，訪問時(shí)間越長(zhǎng)則認(rèn)為越重要；而文獻(xiàn)[10]在訪問時(shí)間的基礎(chǔ)上結(jié)合頁(yè)面大小和歷史記錄來計(jì)算用戶行為的重要程度。

用戶在搜索文獻(xiàn)時(shí)下載一篇文獻(xiàn)，說明該篇文獻(xiàn)內(nèi)容符合用戶的需求；用戶瀏覽一篇文獻(xiàn)時(shí)說明該篇文獻(xiàn)Title部分內(nèi)容用戶比較感興趣，而用戶放棄下載該篇文獻(xiàn)則說明Abstract部分內(nèi)容不是用戶的主要需求。用戶的收藏、分享、保存行為都是文獻(xiàn)內(nèi)容符合用戶的需求的表現(xiàn)歸屬于下載操作。最終為了能夠充分體現(xiàn)用戶的需求，本文根據(jù)用戶檢索流程采用文檔構(gòu)造法來建立用戶需求文檔（RequirementDocument，RD），再提取出用戶的需求。需求文檔可用四元組表示如下：

構(gòu)建過程如圖2所示，首先把用戶下載的所有文獻(xiàn)的Title合成為Part1；把用戶下載的所有文獻(xiàn)的Abstract部分合成Part2；把用戶只瀏覽未下載的所有文獻(xiàn)的Title部分合成Part3。這3部分最終構(gòu)成一個(gè)新的文檔為D。該文檔D的關(guān)鍵詞為所有下載的文獻(xiàn)關(guān)鍵詞的集合。最后提取出需求文檔關(guān)鍵詞網(wǎng)絡(luò)KWND。

2.3需求圖的提取方法

需求文檔的關(guān)鍵詞網(wǎng)絡(luò)雖然能夠反映出用戶的需求，但是節(jié)點(diǎn)比較多并且包含很多冗余信息，如果直接用來作為用戶查詢意圖的上下文計(jì)算，不但計(jì)算量很大而且不能突出用戶的主要需求點(diǎn)，因此本文從需求文檔的關(guān)鍵詞網(wǎng)絡(luò)中提取核心節(jié)點(diǎn)來構(gòu)成需求圖作為用戶的需求上下文。提取思想：把關(guān)鍵詞網(wǎng)絡(luò)節(jié)點(diǎn)按重要程度進(jìn)行排序，選取前K個(gè)節(jié)點(diǎn)作為需求圖的節(jié)點(diǎn)。

關(guān)鍵詞網(wǎng)絡(luò)節(jié)點(diǎn)重要程度取決于兩個(gè)因素：1）節(jié)點(diǎn)的權(quán)重，節(jié)點(diǎn)權(quán)重越高則越重要。2）網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)中節(jié)點(diǎn)的關(guān)鍵程度。目前傳統(tǒng)的網(wǎng)絡(luò)節(jié)點(diǎn)排序方法很多，例如局部中心性排序方法[11]、k殼分解法[12]以及PageRank[13]等方法。這些方法大都只考慮網(wǎng)絡(luò)的某一指標(biāo)，而且關(guān)鍵詞網(wǎng)絡(luò)邊和節(jié)點(diǎn)都含有權(quán)重，很難直接運(yùn)用上述方法。本文為了綜合考慮節(jié)點(diǎn)權(quán)重和拓?fù)浣Y(jié)構(gòu)關(guān)鍵程度兩種因素，最終使用隨機(jī)游走方法對(duì)網(wǎng)絡(luò)節(jié)點(diǎn)進(jìn)行排序，方法描述如下：

假設(shè)一個(gè)Agent在關(guān)鍵詞網(wǎng)絡(luò)節(jié)點(diǎn)間隨機(jī)游走，Agent只能選擇跳轉(zhuǎn)和游走。當(dāng)Agent處于節(jié)點(diǎn)vi，則Agent下一步選擇跳轉(zhuǎn)的概率為pvi→jump=1/（Degree（vi）+1）；如果Agent選擇跳轉(zhuǎn)，則跳到節(jié)點(diǎn)vj的概率為pjump→vj=wvj；如果選擇游走則只能游走到相鄰節(jié)點(diǎn)，游走到節(jié)點(diǎn)vj的概率為pwalk→vj=weij/（∑wei·）這個(gè)“we.”中的點(diǎn)號(hào)表示什么含義，請(qǐng)明確一下。，其中∑wei·為節(jié)點(diǎn)vi組成的所有的邊權(quán)重之和。

節(jié)點(diǎn)重要度求取步驟如下：

1）Agent以概率pjump→vi跳轉(zhuǎn)到某一節(jié)點(diǎn)vi，Agent經(jīng)過節(jié)點(diǎn)vi次數(shù)加1。

2）Agent以概率pvi→jump選擇跳轉(zhuǎn)或以1-pvi→jump選擇游走，如果選擇跳轉(zhuǎn)則轉(zhuǎn)到步驟1），選擇游走則轉(zhuǎn)到步驟3）。

3）Agent以概率pwalk→vj從當(dāng)前節(jié)點(diǎn)vi游走到鄰節(jié)點(diǎn)vj，Agent經(jīng)過節(jié)點(diǎn)vj次數(shù)加1，轉(zhuǎn)到步驟2）。

一直循環(huán)上述步驟并記錄Agent經(jīng)過每個(gè)節(jié)點(diǎn)vi次數(shù)為n（vi），估算出Agent經(jīng)過該節(jié)點(diǎn)概率p（vi），在Agent經(jīng)過每個(gè)節(jié)點(diǎn)的概率波動(dòng)小于閾值時(shí)停止循環(huán)。最后p（vi）就為該節(jié)點(diǎn)的Rank值。

該隨機(jī)游走方法在循環(huán)過程直接運(yùn)用關(guān)鍵詞網(wǎng)絡(luò)節(jié)點(diǎn)的權(quán)重作為跳轉(zhuǎn)概率，不存在跳轉(zhuǎn)概率的更新因此計(jì)算規(guī)模只和關(guān)鍵詞網(wǎng)絡(luò)的規(guī)模相關(guān)，相比傳統(tǒng)的隨機(jī)游走方法[14]，該方法收斂速度更快。

提取出前K大個(gè)此處語(yǔ)句不通順，請(qǐng)作相應(yīng)調(diào)整。Rank值的節(jié)點(diǎn)

將所有的節(jié)點(diǎn)按照Rank值從大到小排序，提取出前K個(gè)節(jié)點(diǎn)

以及這些節(jié)點(diǎn)之間的邊來構(gòu)成需求圖，然后可以將需求圖直接展示給用戶，對(duì)用戶下一個(gè)查詢?cè)~進(jìn)行提示；計(jì)算當(dāng)前頁(yè)面文獻(xiàn)列表的文獻(xiàn)與需求圖的相似度，對(duì)文獻(xiàn)列表進(jìn)行排序。

3實(shí)驗(yàn)分析

3.1實(shí)驗(yàn)設(shè)置

需求圖的提取是一種半監(jiān)督學(xué)習(xí)。為了驗(yàn)證需求圖代表用戶需求的能力，實(shí)驗(yàn)采用一種比較需求圖的分類效果和半監(jiān)督聚類效果的方法。由于實(shí)驗(yàn)驗(yàn)證涉及到用戶的需求因此實(shí)驗(yàn)采用了兩種方案。

第1種方案描述如下。

實(shí)驗(yàn)數(shù)據(jù)選取了7個(gè)領(lǐng)域的論文，分別是JiaWeiHan在DataMining領(lǐng)域的論文；LingLiu在PeertoPeer領(lǐng)域的論文；FranciscoHerrera在FuzzyTheory領(lǐng)域的論文；EdwardFox在DigitalLibrary領(lǐng)域的論文；W.BruceCroft在InformationRetrieval領(lǐng)域的論文；HermannNey在MachineTranslation領(lǐng)域的論文和AmitSheth在SemanticWeb領(lǐng)域的論文，每類各50篇和50篇每類各50篇總共350篇，另外加上50篇

此處語(yǔ)句不太通順，容易讓人產(chǎn)生共700篇的論文，故請(qǐng)對(duì)此句進(jìn)行調(diào)整。作為實(shí)驗(yàn)數(shù)據(jù)雜質(zhì)的其余類別的論文，共計(jì)400篇論文，每領(lǐng)域的論文都是同一作者在同一研究課題所寫的文獻(xiàn)；每一類論文作為用戶的同一需求。

實(shí)驗(yàn)方案采用需求圖分類方法。每類隨機(jī)選擇n篇論文作為用戶下載的論文來模擬用戶行為，構(gòu)建需求文檔提取出需求圖；得到所有類的需求圖后，計(jì)算剩余論文與各需求圖的相似度，把論文歸到與之相似度最大的需求圖類別。半監(jiān)督聚類：每類也隨機(jī)選擇n篇論文，將400篇論文聚成7類，采用Kmedoids聚類方法，要求每類選擇的n篇論文必須聚到同一類，不同類論文不能聚到一類。最后，比較兩種方法在n分別取2，3，5，10的情況下檢索的準(zhǔn)確率、召回率和F值。

第2種方案描述如下。

實(shí)驗(yàn)數(shù)據(jù)獲取多名用戶在IEEEXploreDigitalLibrary搜索文獻(xiàn)的日志，選取20個(gè)下載量較高的查詢的前50篇文獻(xiàn)，其中包含用戶略過、瀏覽和下載的文獻(xiàn)。平均每個(gè)查詢50篇文獻(xiàn)中有7.4篇被下載。

實(shí)驗(yàn)方案采用需求圖分類方法。在用戶下載了n篇論文時(shí)，從日志中獲取用戶在該次搜索中前面下載和瀏覽的所有文獻(xiàn)，結(jié)合用戶下載和瀏覽的行為與相關(guān)文獻(xiàn)提取出需求圖；計(jì)算需求圖與列表中文獻(xiàn)的相似度，將相似度大于閾值的論文歸為用戶需求類。半監(jiān)督聚類：用DBSCAN（DensityBasedSpatialClusteringofApplicationswithNoise）[15]聚類方法將文獻(xiàn)列表中50篇文獻(xiàn)聚成若干個(gè)類。聚類時(shí)增加約束，保證下載的前n篇論文必須聚到同一類作為需求類；在下載的第n篇論文前的所有瀏覽和略過的論文都不能聚到需求類中。兩種方法都是把日志中用戶下載的所有論文作為用戶的需求標(biāo)準(zhǔn)論文集，比較需求類和需求標(biāo)準(zhǔn)集中的