信息檢索技術(shù)發(fā)展報告

1、信息檢索技術(shù)發(fā)展報告Report of Artificial Intelligence Development PAGE 2 PAGE 3目 錄 TOC o 1-3 h z u HYPERLINK l _Toc26823918 1.信息檢索與推薦 PAGEREF _Toc26823918 h 3 HYPERLINK l _Toc26823919 1.1.信息檢索與推薦概念 PAGEREF _Toc26823919 h 3 HYPERLINK l _Toc26823920 1.2.信息檢索和推薦技術(shù)發(fā)展歷史 PAGEREF _Toc26823920 h 5 HYPERLINK l _Toc268

2、23921 信息檢索 PAGEREF _Toc26823921 h 5 HYPERLINK l _Toc26823922 1.3.人才概況 PAGEREF _Toc26823922 h 345 HYPERLINK l _Toc26823923 1.4.論文解讀 PAGEREF _Toc26823923 h 347 HYPERLINK l _Toc26823924 1.5.信息檢索與推薦進展 PAGEREF _Toc26823924 h 362信息檢索與推薦信息檢索與推薦概念信息檢索R.Baeza-Yates 教授在其著作現(xiàn)代信息檢索中中指出， 信息檢索（Information Retrieva

3、l，IR）是計算機科學的一大領域，主要研究如何為用戶訪問他們感興趣的信息提供各種便利的手段，即：信息檢索涉及對文檔、網(wǎng)頁、聯(lián)機目錄、結(jié)構(gòu)化和半結(jié)構(gòu)化記錄及多媒體對象等信息的表示、存儲、組織和訪問， 信息的表示和組織必須便于用戶訪問他們感興趣的信息 HYPERLINK l _bookmark129 77。在范圍上，信息檢索的發(fā)展已經(jīng)遠超出了其早期目標，即對文檔進行索引并從中尋找有用的文檔。如今，信息檢索的研究包括用戶建模、Web 搜索、文本分析、系統(tǒng)構(gòu)架、用戶界面、數(shù)據(jù)可視化、過濾和語言處理等技術(shù)。信息檢索的主要環(huán)節(jié)包括信息內(nèi)容分析與編碼、組成有序的信息集合以及用戶提問處理和檢索輸出。其中信息提

4、問與信息集合的匹配、選擇是整個環(huán)節(jié)中的重要部分。當用戶向系統(tǒng)輸入查詢時，信息檢索過程開始，接著用戶查詢與數(shù)據(jù)庫信息進行匹配。返回的結(jié)果可能是匹配或不匹配查詢，而且結(jié)果通常被排名。大多數(shù)信息檢索系統(tǒng)對數(shù)據(jù)庫中的每個對象與查詢匹配的程度計算數(shù)值分數(shù)，并根據(jù)此值進行排名，然后向用戶顯示排名靠前的對象，信息檢索框架如下圖所示。圖 14-1 信息檢索系統(tǒng)流程推薦系統(tǒng)推薦系統(tǒng)（Recommendation System，RS）是指信息過濾技術(shù)，從海量項目（項目是推薦系統(tǒng)所推薦內(nèi)容的統(tǒng)稱，包括商品、新聞、微博、音樂等產(chǎn)品及服340341務）中找到用戶感興趣的部分并將其推薦給用戶，這在用戶沒有明確需求或者項目

5、數(shù)量過于巨大、凌亂時，能很好地為用戶服務，解決信息過載問題 HYPERLINK l _bookmark130 78。如下圖所示，一般推薦系統(tǒng)模型流程通常由 3 個重要的模塊組成：用戶特征收集模塊，用戶行為建模與分析模塊，推薦與排序模塊。推薦系統(tǒng)通過用戶特征收集模塊收集用戶的歷史行為，并使用用戶行為建模和分析模塊構(gòu)建合適的數(shù)學模型分析用戶偏好，計算項目相似度等，最后通過推薦與排序模塊計算用戶感興趣的項目，并將項目排序后推薦給用戶 HYPERLINK l _bookmark131 79。圖 14-2 推薦系統(tǒng)模型流程聯(lián)系與區(qū)別信息的檢索與推薦都是用戶獲取信息的手段，無論是在互聯(lián)網(wǎng)上，還是在線 下的

6、生活場景里，這兩種方式都大量并存，兩者之間的關(guān)系是互補的：搜索引擎 需要用戶主動提供準確的關(guān)鍵詞來尋找信息，因此不能解決用戶的很多其他需求， 比如當用戶無法找到準確描述自己需求的關(guān)鍵詞時，搜索引擎就無能為力了。和 搜索引擎一樣，推薦系統(tǒng)也是一種幫助用戶快速發(fā)現(xiàn)有用信息的工具。與搜索引 擎不同的是，推薦系統(tǒng)不需要用戶提供明確的需求，而是通過分析用戶的歷史行 為給用戶的興趣建模，從而主動給用戶推薦能夠滿足他們興趣和需求的信息。因 此，從某種意義上說，推薦系統(tǒng)和搜索引擎對于用戶來說是兩個互補的工具。搜 索引擎滿足了用戶有明確目的時的主動查找需求，而推薦系統(tǒng)能夠在用戶沒有明 確目的的時候幫助他們發(fā)現(xiàn)感

7、興趣的新內(nèi)容。在實際生活中也有很多運用。同時，信息的檢索與推薦也有著一定的區(qū)別，可以分為以下幾個方面：首先是主動與被動的不同。搜索是一個非常主動的行動，用戶的需求也十分明確，在搜索引擎提供的結(jié)果里，用戶也能通過瀏覽和點擊來明確的判斷是否滿足了用戶需求。然而，推薦系統(tǒng)接受信息是被動的，需求也都是模糊而不明確的。其次是個性化程度的高低。搜索引擎雖然也可以有一定程度的個性化，但是整體上個性化運作的空間是比較小的，因為當需求非常明確時，找到結(jié)果的好壞通常沒有太多個性化的差異。但是推薦系統(tǒng)在個性化方面的運作空間要大很多， 雖然推薦的種類有很多，但是個性化對于推薦系統(tǒng)是非常重要，以至于在很多時候大家索性就

8、把推薦系統(tǒng)稱為“個性化推薦”甚至“智能推薦”。再次就是需求時間不同。在設計搜索排序算法里，需要想盡辦法讓最好的結(jié)果排在最前面，往往搜索引擎的前三條結(jié)果聚集了絕大多數(shù)的用戶點擊。簡單來說，“好”的搜索算法是需要讓用戶獲取信息的效率更高、停留時間更短。但是推薦恰恰相反，推薦算法和被推薦的內(nèi)容往往是緊密結(jié)合在一起的，用戶獲取推薦結(jié)果的過程可以是持續(xù)的、長期的，衡量推薦系統(tǒng)是否足夠好，往往要依據(jù)是否能讓用戶停留更多的時間，對用戶興趣的挖掘越深入，越“懂”用戶，那么推薦的成功率越高，用戶也越愿意留在產(chǎn)品里。最后是評價方法不同。搜索引擎通?；?Cranfield 評價體系，整體上是將優(yōu)質(zhì)結(jié)果盡可能排到搜

9、索結(jié)果的最前面，讓用戶以最少的點擊次數(shù)、最快的速度找到內(nèi)容是評價的核心。而推薦系統(tǒng)的評價要寬泛很多，既可以用諸如 MAP（Mean Average Precision）的常見量化方法評價，也可以從業(yè)務角度進行側(cè)面評價 HYPERLINK l _bookmark132 80。信息檢索和推薦技術(shù)發(fā)展歷史信息檢索信息檢索的目的是獲取所需信息，而這要基于比較完善的檢索技術(shù)，用戶需 求的變化和信息技術(shù)的進步對信息檢索的發(fā)展有著重要的影響。根據(jù)技術(shù)的演化， 我們將信息檢索發(fā)展歷程分為三個階段：（1）數(shù)字圖書館文檔電子化時代 PAGE 348 PAGE 3491954 年，Vannevar Bush（范內(nèi)瓦

10、布什）在“Atlantic Monthly”7 月號發(fā)表了一篇名為“As We May Think”的文章，這篇文章影響了幾代的計算機科學家。文章提到：“未來人們能夠?qū)崿F(xiàn)對海量圖書資源（1M）進行快速的訪問”。概括出了信息檢索在數(shù)字圖書館時代的特征，即對文檔全文內(nèi)容的快速檢索。范內(nèi)瓦布什在擔任美國科學研究與發(fā)展辦公室主任期間推進了美國軍隊研究機構(gòu)與高校研究機構(gòu)的合作，正是當時在這種合作關(guān)系中發(fā)揮最重要影響的三所大學（哈佛大學、麻省理工學院、加州大學伯克利分校）與后來成立的美國國防部高等研究計劃署（ARPA）合作開發(fā)出了互聯(lián)網(wǎng)的雛形：ARPANET。圖 14-3 范內(nèi)瓦布什（1890-1974）

11、1957 年 ，Luhn 在 論 文 “A Statistical Approach to Mechanized Encoding and Searching of Literary Information”里提到“a writer chooses that level of subject specificity and that combination of words which he feels will convey the most meaning.”，這是一種以單詞作為索引單元的文檔檢索方法。20 世紀 60 年代，Gerard Salton 創(chuàng)造了信息檢索系統(tǒng) SMART（Sa

12、ltons Magic Automatic Retrieval of Text），推進了信息檢索相關(guān)研究的水平提升。SMART 系統(tǒng)并非搜索引擎，但它具備搜索引擎所具有的文本索引、查詢處理、結(jié)果排序等功能。20 世紀 60 年代后期另外兩個研究領域需要提及。第一個是 Julie Beth Lovins 于 1968 年在麻省理工學院開發(fā)的詞干算法（Stemming Algorithm）；另一個研究涉及評估指標，例如 William Cooper 在 1968 年提出的“Cooper”，這個度量標準目前已在多個應用程序中大量使用。在數(shù)字圖書館時代，信息檢索技術(shù)主要應用于封閉數(shù)據(jù)集合、單機模式或?qū)?/p>

13、網(wǎng)內(nèi)的主機-終點模式，在商業(yè)應用方面，則是提供軟件/解決方案，專網(wǎng)內(nèi)的查詢服務。（2）早期互聯(lián)網(wǎng)時代 隨著信息技術(shù)的爆炸式發(fā)展，信息檢索的發(fā)展發(fā)生了質(zhì)的飛躍。Tim Berners-Lee（蒂姆伯納斯李）基于尚未被商用的互聯(lián)網(wǎng)提出了萬維網(wǎng)（Web）的原型建議。1991 年 8 月，蒂姆伯納斯李在一臺 NeXT 電腦上建立了第一個網(wǎng)站 HYPERLINK http:/nxoc01.cern.ch/ http： HYPERLINK http:/nxoc01.cern.ch/ /nxoc01.cern.ch/。他一直堅持將公開和開放作為萬維網(wǎng)的靈魂。圖 14-4 蒂姆伯納斯李和他的 NeXT 電腦從

14、事檢索業(yè)務的公司隨著互聯(lián)網(wǎng)的發(fā)展而快速崛起，如雅虎、百度等。在眾多公司中，谷歌被公認為全球最大的搜索引擎公司，其業(yè)務包括互聯(lián)網(wǎng)搜索、云計算、廣告技術(shù)，開發(fā)并提供大量基于互聯(lián)網(wǎng)的產(chǎn)品與服務。隨著互聯(lián)網(wǎng)的發(fā)展， 面對眾多雜亂無章的信息，如何對數(shù)以億計的相關(guān)網(wǎng)頁進行排序成為搜索引擎算法的核心問題，為此谷歌開發(fā)出了著名的 PageRank 算法。PageRank 的主要原理是用鏈接數(shù)量作為搜索排序的一個因子。在互聯(lián)網(wǎng)上， 如果一個網(wǎng)頁被很多其他網(wǎng)頁所鏈接，說明它受到普遍的承認和信賴，那么它的排名就高，這就是 PageRank 的核心思想。PageRank 算法將互聯(lián)網(wǎng)中大多數(shù)的網(wǎng)頁通過基于鏈接來計算網(wǎng)

15、頁質(zhì)量的方式進行排名，為搜索引擎用戶提供較好的基于鏈接查詢的搜索結(jié)果，同時該算法能夠進行離線分析處理，大大縮短了搜索引擎用戶的服務響應時間，實屬計算機科學史上一項偉大成就，它以及其簡明的邏輯，發(fā)明了迄今為止在搜索引擎領域還相當有代表性的算法，解決了數(shù)以億計的網(wǎng)頁質(zhì)量評估問題，拋開它難以估量的商業(yè)價值不談，就說其學術(shù)方面，這種依靠數(shù)據(jù)自身結(jié)構(gòu)的學習方法，也依然還在當前很多信息檢索領域啟發(fā)著我們。業(yè)界主要表現(xiàn)為第一代搜索引擎和第二代搜索引擎的出現(xiàn)，國外有 AltaVista、Excite、WebCrawler 和 Yahoo！，國內(nèi)有應用于國防和安全領域的“天羅”和面向公眾提供服務的天網(wǎng)。第二代搜

16、索引擎的代表是 1998 年成立的 Google 和 2000年 1 月創(chuàng)建的中文搜索引擎百度。在百度之后，多家中文搜索引擎相繼出現(xiàn)， 例如中搜、搜狗、搜搜和有道。這個時期信息檢索的應用形態(tài)的特征是開放的、大規(guī)模的、實時的、多媒體的，尤其巨型搜索引擎采集到的公開數(shù)據(jù)和用戶訪問日志等非公開數(shù)據(jù)深刻地影響著這一時期信息檢索領域的創(chuàng)新模式。（3）Web 2.0 時代 在 Web 2.0 時代，用戶對 Web 有更深入的參與需求，這就對信息檢索提出了更高的要求。信息搜索的發(fā)展開始更加關(guān)注用戶需求，以實現(xiàn)內(nèi)容與行為的精準 Web 搜索。這個時期的信息檢索實現(xiàn)了內(nèi)容數(shù)據(jù)與社會各側(cè)面的電子化數(shù)據(jù)（萬維網(wǎng)、社

17、交網(wǎng)、物聯(lián)網(wǎng)、地理信息等）的全面融合；尤其是對社交網(wǎng)絡數(shù)據(jù)的采集和大數(shù)據(jù)處理技術(shù)出現(xiàn)了社會化趨勢。信息推薦上個世紀最后二十年以來，互聯(lián)網(wǎng)的發(fā)展和普及為人們提供了一個全新的信息存儲、加工、傳遞和使用的載體，網(wǎng)絡信息也迅速成為了社會成員獲取知識和信息的主要渠道之一。一般認為推薦系統(tǒng)的研究始于 1994 年明尼蘇達大學，Group Lens 研究組推出了 Group Lens 系統(tǒng)，該工作不僅首次提出了協(xié)同過濾的思想，并且為推薦問題建立了一個形式化的模型，為隨后幾十年推薦系統(tǒng)的發(fā)展帶來了巨大影響。之后，推薦系統(tǒng)的相關(guān)技術(shù)得到了進一步發(fā)展和重視。1995 年 3 月，卡耐基梅隆大學的 Robert A

18、rmstrong 等人在美國人工智能協(xié)會提出了個性化導航系統(tǒng) Web Watcher；斯坦福大學的 Marko Balabanovic 等人在同一會議上推出了個性化推薦系統(tǒng) LIRA；1997 年，AT&T 實驗室提出了基于協(xié)同過濾的個性化推薦系統(tǒng) PHOAKS 和 Referral Web；2000 年，NEC 研究院的 Kurt 等人為搜索引擎Cite Seer 增加了個性化推薦功能；2003 年，Google 開創(chuàng)了 AdWords 盈利模式， 通過用戶搜索的關(guān)鍵詞來提供相關(guān)的廣告。2007 年開始，Google 為 AdWords 添加了個性化元素，不僅僅關(guān)注單詞搜索的關(guān)鍵詞，而且對用

19、戶一段時間內(nèi)的推薦歷史進行記錄和分析，據(jù)此了解用戶的喜好和需求，更為精確地呈現(xiàn)相關(guān)的廣告內(nèi)容。信息推薦系統(tǒng)的演變始終伴隨著網(wǎng)絡的發(fā)展，第一代信息推薦系統(tǒng)使用傳統(tǒng)網(wǎng)站從以下三個來源收集信息：來自購買或使用過的產(chǎn)品的基礎內(nèi)容數(shù)據(jù)；用戶記錄中收集的人口統(tǒng)計數(shù)據(jù)；以及從用戶的項目偏好中收集的基于記憶的數(shù)據(jù)。第二代推薦系統(tǒng)通過收集社交信息，例如朋友、關(guān)注者、粉絲等。第三代推薦系統(tǒng)使用網(wǎng)上集成設備提供的信息。人才概況全球人才分布學者地圖用于描述特定領域?qū)W者的分布情況，對于進行學者調(diào)查、分析各地區(qū)競爭力現(xiàn)況尤為重要，下圖為信息檢索與推薦領域全球?qū)W者分布情況：圖 14-5 信息檢索與推薦領域全球人才分布地圖根

20、據(jù)學者當前就職機構(gòu)地理位置進行繪制，其中顏色越深表示學者越集中。從該地圖可以看出，美國的人才數(shù)量優(yōu)勢明顯且主要分布于其東西海岸；歐洲、亞洲也有較多的人才分布；其他諸如非洲、南美洲等地區(qū)的學者非常稀少； 信息檢索與推薦領域的人才分布與各地區(qū)的科技、經(jīng)濟實力情況大體一致。此外， 在性別比例方面，信息檢索與推薦領域中男性學者占比 90.6%，女性學者占比9.4%，男性學者占比遠高于女性學者。信息檢索與推薦領域?qū)W者的 h-index 分布如下圖所示，大部分學者的 h-index 分布在中低區(qū)域，其中 h-index 小于 20 區(qū)間的人數(shù)最多，有 870 人，占比 42.8%， 50-60 區(qū)間的人數(shù)

21、最少，有 82 人。1000900800700600人數(shù)50040030020010006050-6040-5030-4020-3020h-index圖 14-6 信息檢索與推薦領域?qū)W者 h-index 分布中國人才分布圖 14-7 信息檢索與推薦領域中國學者分布我國專家學者在信息檢索與推薦領域的分布如上圖所示，從中可以發(fā)現(xiàn)京津地區(qū)在本領域的人才數(shù)量最多，其次是長三角和珠三角地區(qū)，相比之下，內(nèi)陸地區(qū)的人才較為匱乏，這種分布與區(qū)位因素和經(jīng)濟水平情況不無關(guān)系。同時，通過觀察中國周邊國家的學者數(shù)量情況，特別是與日韓、東南亞等地相比，中國在信息檢索與推薦領域?qū)W者數(shù)量較多且優(yōu)勢較大。中國與其他國家在信息

22、檢索與推薦領域的合作情況可以根據(jù) AMiner 數(shù)據(jù)平臺分析得到，通過統(tǒng)計論文中作者的單位信息，將作者映射到各個國家中，進而統(tǒng)計中國與各國之間合作論文的數(shù)量，并按照合作論文發(fā)表數(shù)量從高到低進行了排序，如下表所示。表 14-1 信息檢索與推薦領域中國與各國合作論文情況合作國家 論文數(shù) 引用數(shù) 平均引用數(shù) 學者數(shù) 中國-美國 204685834443中國-新加坡 4910672284中國-英國 3310573244中國-澳大利亞 327462363中國-荷蘭 225022320中國-加拿大 195142742中國-日本 763917中國-印度 4581510中國-希臘 447127中國-德國 33

23、41111從上表數(shù)據(jù)可以看出，中美合作的論文數(shù)、引用數(shù)、平均引用數(shù)以及學者數(shù)遙遙領先，表明中美間在信息檢索與推薦領域合作之密切；此外，中國與歐洲的合作非常廣泛，前 10 名合作關(guān)系里中歐合作共占 4 席。論文解讀本節(jié)對本領域的高水平學術(shù)會議及期刊論文進行挖掘，解讀這些會議和期刊在 2018-2019 年的部分代表性工作。這些會議和期刊包括：International ACM SIGIR Conference on Research and Development in Information RetrievalACM Transactions on Information SystemsACM

24、 Recommender Systems我們對本領域論文的關(guān)鍵詞進行分析，統(tǒng)計出詞頻 Top20 的關(guān)鍵詞，生成本領域研究熱點的詞云圖，如下圖所示。其中，推薦（recommendation）、檢索（retrieval）、排序?qū)W習（learning to rank）是本領域中最熱的關(guān)鍵詞。論文題目：Adversarial Personalized Ranking for Recommendation中文題目：對抗式個性化推薦排名 論文作者：Xiangnan He, Zhankui He, Xiaoyu Du anTat-Seng Chua.論文出處 ： The 41st Internationa

25、l ACM SIGIR Conference on Research & Development in Information Retrieval - SIGIR 18論文地址： HYPERLINK /pdf/1808.03908.pdf /pdf/1808.03908.pdf 研究問題： 貝葉斯個性化排名（Bayesian Personalized Ranking, BPR）是一種成對學習的排序方法，用于優(yōu)化個性化排序的推薦模型。它以內(nèi)隱反饋學習為目標，假定觀察到的交互比未觀察到的交互排在更高的位置。矩陣因子分解（ Matrix Factorization, MF）是最基本也是最有效的推薦模

26、型。MF 將每個用戶和項表示為嵌入向量，通過嵌入向量之間的內(nèi)積來估計用戶對某一項的偏好程度。在信息檢索領域，貝葉斯個性化排名訓練的矩陣分解模型（MF-BPR）學習一個與訓練數(shù)據(jù)相適應的復雜函數(shù)，不能很好地泛化，且其魯棒性較差，易受參數(shù)的對抗性擾動。因此本文提出了一種新的個性化排名訓練方法- 對抗的個性化排名（Adversarial Personalized Ranking, APR）。研究方法：以 BPR 為基礎，APR 中引入一個額外的目標函數(shù)，對其進行優(yōu)化來量化推薦模型在參數(shù)擾動下的損失，使推薦模型既適合于個性化排序，又具有對抗性擾動的魯棒性。上式和下式分別是 BPR 和 APR 的目標函

27、數(shù)，adv 是對抗性擾動，旨在最大化BPR 目標函數(shù)的擾動。APR 可以看作是在玩一個極小極大的游戲，在這個游戲中，優(yōu)化擾動使 BPR 損失最大化，并且在對抗擾動的情況下訓練模型使 BPR 損失和附加損失最小化。APR 指定了一個與模型無關(guān)的通用學習框架，只要底層模型是可微的，就可以在 APR 框架下使用反向傳播或者基于梯度的優(yōu)化算法訓練模型。 具體地，由于 APR 的目標函數(shù)中含有非線性函數(shù)，且訓練實例數(shù)目龐大， 故使用隨機梯度下降法（Stochastic Gradient Descent, SGD）對 APR 進行優(yōu)化。SGD 的思想是隨機選擇一個訓練實例，并只針對單個實例更新模型參數(shù)，因

28、此如何根據(jù)一個隨機采樣實例（u, i, j）優(yōu)化模型參數(shù)是關(guān)鍵。本文提出的求解框架包括對抗性擾動構(gòu)建和模型參數(shù)學習兩步，具體步驟詳見算法 1。 350351為了說明 APR 是如何工作的，本文提出了一個基于 MF 的推薦解決方案。首先用 BPR 訓練 MF，然后在 APR 框架下進一步優(yōu)化它，因此把這種方法稱為對抗性矩陣分解（AMF）。AMF 如上圖所示。由于 MF 的參數(shù)是用戶和項的嵌入向量，故對嵌入向量加以對抗性擾動，再將算法 1 應用到 AMF 中，這需要對AMF 進行小批量訓練，直到 AMF 達到收斂狀態(tài)或性能開始下降。研究結(jié)果： 本文在 Yelp、Pinterest 和 Gowall

29、a 三個公共數(shù)據(jù)集上進行了大量的實驗，這三個數(shù)據(jù)集分別代表不同的應用場景。定量分析和定性分析都證明了對個性化排名進行對抗性訓練的有效性和合理性。AMF 優(yōu)于 MF-BPR，歸一化折現(xiàn)累積增益（NDCG）和命中率（HR）平均提高了 11%，它也優(yōu)于最近提出的推薦模型， 成為最前沿的推薦模型。論文題目：Neural Compatibility Modeling with Attentive Knowledge Distillation 中文題目：基于注意力知識蒸餾的神經(jīng)兼容性建模論文作者：Xuemeng Song, Fuli Feng, Xianjing Han, Xin Yang, Wei Li

30、u and Liqiang Nie.論文出處 ： The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval - SIGIR 18論文地址： HYPERLINK /pdf/1805.00313.pdf /pdf/1805.00313.pdf 研究問題： 服裝搭配與人們的日常生活息息相關(guān)，現(xiàn)有研究大多依賴深度神經(jīng)網(wǎng)絡來提取時尚單品的有效表征來解決服裝搭配問題。但作為純數(shù)據(jù)驅(qū)動方法的神經(jīng)網(wǎng)絡不僅具有較差的可解釋性，而且也忽視了搭配領域知識。即使從數(shù)據(jù)驅(qū)動和知識驅(qū)動的角度

31、對服裝單品之間的兼容性進行全面建模也面臨許多挑戰(zhàn)，如搭配領域知識是無結(jié)構(gòu)且模糊的，如何將搭配規(guī)則無縫地編碼到純數(shù)據(jù)驅(qū)動的學習框架中以及對于不同的樣本知識規(guī)則可能表現(xiàn)出不同的置信度，從而提供不同的搭配指導。為此，本文提出了一種基于注意力知識蒸餾的神經(jīng)兼容性建模方法（AKD-DBPR）。研究方法： AKD-DBPR 能夠從特定數(shù)據(jù)樣本和一般領域知識中學習，采用教師-學生模式來整合領域知識（教師）并提高神經(jīng)網(wǎng)絡（學生）的性能。其基本思想類似于人類教育，教師知道幾個專業(yè)規(guī)則，因此教師可以用自己對特定問題的解決方案指導學生。學生網(wǎng)絡 p 作為一種純數(shù)據(jù)驅(qū)動的神經(jīng)網(wǎng)絡，其目標是學習一個隱含的兼容空間，用雙

32、路徑神經(jīng)網(wǎng)絡將來自異構(gòu)空間的時尚單品統(tǒng)一起來。為了對不同模式之間的兼容性和語義關(guān)系全面建模，學生網(wǎng)絡通過在視覺和語境表示的連接向量上添加隱含層，無縫地集成時尚單品的視覺和語境模式。此外，為了更好地描述時尚單品之間的相對兼容性，構(gòu)建基于貝葉斯個性化排名（BPR）框架的學生網(wǎng) PAGE 359絡來研究互補單品之間的配對偏好。同時，用一組靈活的結(jié)構(gòu)化邏輯規(guī)則對領域知識進行編碼，并利用正則化器將這些知識規(guī)則編碼到教師網(wǎng)絡 q 中。但不同的規(guī)則對于不同的樣本可能有不同的置信水平，因此引入注意力機制來分配規(guī)則置信度，進一步用于指導學生網(wǎng)絡的訓練。上圖是注意力知識蒸餾的流程。v 和 c 分別表示單品的視覺和

33、上下文語境，,表示上裝 i 和下裝 j 的兼容性，r 表示規(guī)則。最后，鼓勵學生網(wǎng)絡達到良好的兼容性建模性能，而且能很好地模擬規(guī)則正則化的教師網(wǎng)絡。研究結(jié)果： 在真實數(shù)據(jù)集上進行的大量實驗證明了 AKD-DBPR 在服裝搭配領域具有良好性能且能應用到互補時尚單品檢索的實踐中，除此之外也證明了引入注意機制有助于克服人為定義的模糊規(guī)則的局限性。論文題目： Improving Sequential Recommendation with Knowledge-Enhanced Memory Networks 中文題目：基于知識增強記憶網(wǎng)絡的序列推薦論文作者：Jin Huang, Wayne Xin Zh

34、ao, Hong-Jian Dou, Ji-Rong Wen and Edward Y. Chang.論文出處 ： The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval - SIGIR 18論文地址： HYPERLINK https:/sci-hub.tw/10.1145/3209978.3210017 https:/sci-hub.tw/10.1145/3209978.3210017 研究問題： 推薦系統(tǒng)可以為用戶推薦其感興趣的內(nèi)容并給出個性化的建議。基于

35、RNN 的網(wǎng)絡可以將歷史交互記錄編碼為隱藏狀態(tài)向量，但是它很難從交互序列中捕獲細粒度的用戶偏好，而且隱向量表示的可解釋性也較差。為了以一種可解釋的方式增強細粒度用戶偏好建模的能力，本文提出一種知識增強的序列推薦（KSR） 模型。研究方法： KSR 模型將基于 RNN 的網(wǎng)絡（GRU）與鍵值記憶網(wǎng)絡（KV-MNs）相結(jié)合來增強推薦系統(tǒng)的特征捕獲能力與解釋性。GRU 部分用于捕捉用戶序列偏好特征，而 KV-MNs 用于捕捉基于屬性的用戶偏好特征。該模型如下圖所示。 給定一組用戶 u 的交互序列1, , 1，在表示好 GRU 模型的隱藏層和用戶u 的序列偏好向量之后，對每個對象使用基于貝葉斯后驗優(yōu)化

36、的個性化排序算法（BPR）進行預訓練，再通過下式計算排名得分對候選對象排名，將得分最高的對象推薦給目標用戶。KSR 模型的整體工作機制如上圖所示?；?RNN 的知識增強序列推薦模型的短期記憶能力有限，不適合長期存儲知識庫信息，因此通過 KV-MNs 來整合知識庫知識。KV-MNs 將鍵向量設置為從知識數(shù)據(jù)中學習的嵌入關(guān)系，對應于實體屬性。此外，對于給定的鍵向量設置一個特定于用戶的值向量來存儲相應屬性的用戶偏好特征。通過這種方式，外部知識庫知識被有效地整合到 KV-MNs 中。準備好 KV-MNs 后，將其與基于 RNN 的序列推薦模型集成。在每次推薦時使用來自 RNNs 的序列偏好作為查詢來

37、讀取特定于用戶的 KV-MNs 值向量相關(guān)內(nèi)容。值向量被組合到具有注意力權(quán)值的基于屬性的偏好表示中，基于屬性的偏好表示與序列偏好表示相結(jié)合形成用戶偏好的最終表示。研究結(jié)果： 本文在四個推薦系統(tǒng)數(shù)據(jù)集上進行實驗，結(jié)果表明 KSR 模型在每個數(shù)據(jù)集的推薦性能都比表現(xiàn)最好的基準推薦模型有所提升，能夠生成更高質(zhì)量的序列推薦。此外，還定量分析了 KSR 模型的可解釋性，結(jié)果表明該模型具有高度的可解釋性。 論文題目：Equity of Attention: Amortizing Individual Fairness in Rankings 中文題目：注意力的公平性：在排名中平攤個體公平論文作者：Asia

38、 J. Biega, Krishna P. Gummadi and Gerhard Weikum論文出處 ： The 41st International ACM SIGIR Conference on Research & Development in Information Retrieval - SIGIR 18論文地址： HYPERLINK /pdf/1805.01788.pdf /pdf/1805.01788.pdf 研究問題：從招聘網(wǎng)站到共享經(jīng)濟平臺，人員和對象的排名是選拔、配對和推薦系統(tǒng)的核心。由于排名位置會影響被排名對象受到的關(guān)注度，排名中的偏差會導致機會和資源的不公平分配。因

39、此，本文提出了新的措施和機制來量化和減輕所有排名的不公平性。一個對象得到的關(guān)注應該與其相關(guān)性成正比并且注意力在排名中需公平分配。所提出的方法關(guān)注的是個體對象層面的公平，并將群體公平作為一個特例納入其中，還設計了一種新的機制來確保排名中注意力平攤的公平性。研究方法：對象的關(guān)注受位置偏差的影響較大，即多個具有相似相關(guān)性的對象并沒有得到相同的排名位置和相近的關(guān)注度。本文定義的考慮位置偏差的注意力公平（equity of attention）認為一個序列排名中每個對象獲得的累積注意力（A）與其累積相關(guān)性（R）成比例。注意力公平是個體層次的，當個體的注意力達到公平時也會在群體層次上達到公平。注意力公平定

40、義如下：下式將不公平度量為累積注意力和累積相關(guān)性之間的距離（1, , 是一個序列排名）：當相關(guān)程度較低的對象排名高于相關(guān)程度較高的對象排名時，為了滿足公平標準而對排名進行過濾可能會導致質(zhì)量損失。因此使用 IR 評估的度量指標來量化排名質(zhì)量。解決公平性的方法是在原有排名的基礎上重新排名，可將原始排名作為參考來評估重新排名的質(zhì)量。即通過量化新排名與原始排名的差異來量化排名質(zhì)量，如下式所示：為了提高公平性，對基于相關(guān)性的排名加以擾動，這會導致排名質(zhì)量的下降， 為解決此問題，可通過在質(zhì)量約束下最小化不公平（即對可接受的排名質(zhì)量設置下限）來對二者進行權(quán)衡。 將此方法轉(zhuǎn)化為線上優(yōu)化問題，排名攤銷需要以線上

41、方式完成，在不了解未來查詢負載的情況下，就要對當前排名進行重新排序，從而在當前排名質(zhì)量受到約束的情況下，將排名中累積注意力和相關(guān)性分布的不公平性降到最低。此線上優(yōu)化問題可以通過整型線性規(guī)劃（ILP）來解決。假設要在一系列排名中重新排列第 l 位，引入2個決策變量,，如果對象分配到排名位置 j，設置決策變量的值為 1，否則為 0。對每個對象，累積注意力和相關(guān)性分別初始化為0 = 0，0 = 0，ILP 定義如下：第一項約束限制了排名質(zhì)量損失，其他約束確保解是對象到排名位置的雙向映射。當且僅當對象 ui 映射到位置 j 時，1 + 和1 + 這兩項分別更新累積注意力和相關(guān)性。還需注意的是 ILP

42、運行在一個巨大的組合空間中，所以又設計了過濾器來精簡 ILP 的組合空間。 研究結(jié)果： 實驗驗證在兩類數(shù)據(jù)集上進行，一是通過三個人工合成數(shù)據(jù)集來分析模型在不同相關(guān)性分布下（均勻分布、線性分布和指數(shù)分布）的性能，二是分析模型在真實場景中的性能，數(shù)據(jù)集采用世界不同地域三個城市的 Airbnb 公寓排名和基于 StackExchange 查詢?nèi)罩竞臀臋n集合構(gòu)建的數(shù)據(jù)集。實驗結(jié)果表明了提高注意力的公平性的重要性，在共享經(jīng)濟或排名影響人們經(jīng)濟生活的市場平臺中尤為重要，而且這是可以在不犧牲排名質(zhì)量的情況下做到的。 論文題目：Impact of Item Consumption on Assessment

43、of Recommendations in User Studies 中文題目：關(guān)于用戶是否消費過物品對推薦系統(tǒng)的評價影響研究論文作者：Benedikt Loepp, Tim Donkers, Timm Kleemann, Jrgen Ziegler論文出處：ACM Recommender Systems論文地址：/10.1145/3240323.3240375研究問題：在對推薦系統(tǒng)的用戶研究中，參與者通常不能消費推薦的商品。盡管如此， 他們還是被要求通過問卷的方式來評估推薦質(zhì)量和與用戶體驗相關(guān)的其他方面。然而，如果沒有聽過推薦的歌曲或看過推薦的電影，這可能是一個很容易出錯的任務，可能會限制這

44、些研究結(jié)果的有效性。在這篇文章中，作者調(diào)查了實際消費的推薦項目的影響。 研究方法： 作者提出了兩項在不同領域進行的用戶研究，研究表明在某些情況下，推薦評估和問卷調(diào)查結(jié)果存在差異。顯然，在不允許用戶消費項目的情況下，并不總能充分衡量出用戶體驗。另一方面，根據(jù)領域和提供的信息，參與者有時似乎很好地估計了推薦的實際價值。一項是在音樂領域，用聽歌做測試（記為 S），一項是在電影領域（記為 M）。通過對兩組 40 名平均年齡為二十幾歲的男女大致均衡的參與者，分別進行了音樂領域和電影領域的對照實驗?？刂频淖兞織l件是消費前（前）和消費后（后） 進行問卷調(diào)查，以及僅在消費后（后）進行問卷調(diào)查。研究結(jié)果：實驗結(jié)

45、果認為，我們有必要對推薦系統(tǒng)的問卷調(diào)查結(jié)果有所保留（即保持懷疑態(tài)度）。在某些情況下，如果不使用推薦的物品，參與者無法充分評估推薦系統(tǒng)的各個方面，特別是與用戶體驗相關(guān)的方面。 舉例來說，比如音樂領域的參與者通常傾向于低估歌曲，并且在只能從包含描述性信息做判斷，而不能夠聽歌時，對被要求在推薦列表中進行選擇時滿意度較低。聽歌對滿意度會產(chǎn)生正向影響，導致相關(guān)問卷項目的得分明顯更高。比如在對選擇滿意度的研究中表明人們會傾向于高估過去事件的影響，并且在某些情況下，幾周后滿意度會下降，因此有必要調(diào)查這些結(jié)果的穩(wěn)定性。 主觀系統(tǒng)方面，如感知的召回質(zhì)量的評價與是否消費過無關(guān)。對于電影而言，這在更多方面似乎是正確

46、的，尤其是在可以使用高質(zhì)量的文字說明的情況下，與具有抽象情感內(nèi)容的音樂相比，電影的推薦更生動具體。確實一些為人熟知的歌曲也有電影的這種效果，這會帶來一些推薦的偏差。還有就是，短電影在這方面是完全未知的， 被人耳熟能詳?shù)母枨鷶?shù)量也不多，所以也沒有產(chǎn)生出相關(guān)性。但對物品的熟悉程度及其對評估推薦的影響還是應該進行更詳細的研究。另外，需要更多地考慮廣泛使用問卷的一般影響，因為有意識地思考決策并不總是有益的（對于決策結(jié)果來說，結(jié)果越直觀、簡單越好）?？偟膩碚f，定量結(jié)果表明，實際經(jīng)驗是否足以被替代，在很大程度上取決于推薦的領域，以及推薦系統(tǒng)提供的信息的類型和數(shù)量。本文通過研究定性評論反映了這一點。因此，作

47、者建議避免不同設置之間的比較（注意控制變量），并在要求參與者在不消費的情況下對推薦進行評級時，要對用戶實驗更加注意才行（注重實踐和對結(jié)果的把控）。還有，現(xiàn)實世界中提供的物品評分不會抑制評分， 例如在看電影或烹飪食譜之前的評分，應該與看過后以及吃過后的評分謹慎的有機結(jié)合。只有當提供了足夠信息的時候，參與者的反應才可能是可靠的，在這種情況下，可能就不需要（用戶實際）消費過這個物品了。因為他們已經(jīng)在心里形成了一個模型，考慮了自己的喜好，使這個建議像他已經(jīng)真的買了或用了一樣可靠（也就是自己說服自己）。下圖是作者針對條件（S1, S2/M1, M2）和時間點（事前，事后）交互作用的用戶研究的混合模型結(jié)果

48、。正差異結(jié)果表明用戶消費后的結(jié)果會更好。 論文題目：Should I Follow the Crowd? A Probabilistic Analysis of the Effectiveness of Popularity in Recommender Systems中文題目：我應該跟隨潮流（人群）嗎？推薦系統(tǒng)中流行度有效性的概率分析論文作者：Roco Caamares ，Pablo Castells論文出處：International ACM SIGIR Conference on Research and Development in Information Retrieval論文地址：

49、/citation.cfm?id=3210014 研究問題： 近年來，在推薦系統(tǒng)的評價中使用 IR 方法已經(jīng)成為一種普遍的做法。然而， 人們發(fā)現(xiàn) IR 指標對推薦熱門物品的獎勵算法存在強烈的偏差（bias），這與目前最先進的推薦算法存在的偏差是相同的。最近也有一些研究證實并測量了這種偏差，并提出了避免這種偏差的方法?？墒牵罡镜膯栴}仍懸而未決一個物品的流行度（popularity）的偏差是否是我們應當避免的；無論這個偏差是一個對于推薦來說的好信號，還是可能因為受到實驗偏差而導致的壞信號。研究方法： 論文方法是根據(jù)關(guān)鍵隨機變量之間的依賴關(guān)系，識別和建模可以確定答案的條件，包括物品評級、發(fā)現(xiàn)和相

50、關(guān)性等。作者發(fā)現(xiàn)了保證流行有效或完全相反的條件，以及度量值反映真實有效性或在質(zhì)量上偏離真實有效性的條件。 作者構(gòu)建了一個眾包數(shù)據(jù)集，其中沒有公共可用數(shù)據(jù)顯示的常見偏差，在這個數(shù)據(jù)集中，作者說明了在一個常見的有偏差的離線實驗設置中所能測量的準確性與通過無偏差的觀察所能測量的實際準確性之間的矛盾。 研究結(jié)論： 本文作者通過研究證實了普遍流行的有效性趨勢，并用公式證明與解釋了原因。同時作者還發(fā)現(xiàn)，在許多情況下表觀的準確度可能會產(chǎn)生誤導（即與真實準確度不匹配）。這大多是因為推薦的物品出現(xiàn)與用戶興趣相差較大的情況。作者發(fā)現(xiàn)，通常的實驗（即觀察到的準確度為度量值）可能對平均評級（average ratin

51、g） 及其個性化衍生品（personalized derivatives）相當不公平。與目前文獻中觀察到的結(jié)果相反，平均評級在大多數(shù)情況下，相對于正評級（positive ratings），在真實的準確率上可能更好、更安全，魯棒性更強。 作者進一步發(fā)現(xiàn)，當涉及到流行度的有效性或平均評分及其度量時，喜歡的物品被評分的次數(shù)多少并不重要，重要的是評級是否依賴相關(guān)性，依賴是完全的還是部分的；當發(fā)現(xiàn)主要依賴于相關(guān)性，或者幾乎不依賴于相關(guān)性時，流行度和360361平均評分才是真正準確的理想條件。平均評級似乎比流行度對相關(guān)性獨立性的影響更大，因此在有高偏差的情況下（如營銷驅(qū)動），它比流行度更可取。論文題目：

52、Variance Reduction in Gradient Exploration for Online Learning to Rank中文題目：一種基于方差縮減梯度搜索的在線學習排序方法論文作者： Huazheng Wang, Sonwoo Kim, Eric McCord-Snook, Qingyun Wu,Hongning Wang論文出處：International ACM SIGIR Conference on Research and Development in Information Retrieval論文地址：/citation.cfm?id=3331264 研究問題：在

53、線學習排名（OL2R）算法從用戶的即時反饋中學習，算法的關(guān)鍵是對梯度的無偏估計，通常是通過從整個參數(shù)空間均勻采樣來實現(xiàn)的。然而，這導致了梯度估計的高方差，會使模型更新時的效果不佳，特別是在參數(shù)空間的維數(shù)較大的時侯。本文旨在降低 OL2R 算法中梯度估計的方差。 研究方法： 在交叉測試之后，作者將選擇的更新方向（如目標方向 winning direction） 投影到當前查詢下被檢索（examined）文檔的特征向量所跨越的空間（簡稱為“文檔空間 document space”）。作者的主要觀點是，交叉測試的結(jié)果完全由用戶對所檢索文檔的相關(guān)性評估控制。因此，該測試引入的真實梯度只反映在構(gòu)建的文檔

54、空間中，為了減少方差，我們可以安全地刪除與文檔空間正交的梯度分量。作者證明了這個投影梯度仍然是一個真實梯度的無偏估計，并且證明了這種低方差梯度估計能夠顯著減少 regret。在本文中，作者提出并發(fā)展了文檔空間投影（Document Space Projection，DSP）方法來減少梯度估計中的方差，提高在線學習的排序性能。DSP 的核心思想是認識到交叉測試只揭示了真實梯度在被檢文檔的跨空間上的投影。包含任何超出此空間的模型更新只會引入噪聲。因此，作者將選擇的模型更新方向投射回文檔空間以減少方差。作者同時證明了 DSP 保持著一個無偏的梯度估計，并且通過減少方差可以顯著提高 DBGD 類型算法

55、的 regret 界。通過大量的實驗，發(fā)現(xiàn)DSP 能夠在方差減少和整體性能方面，特別是在排序特征數(shù)量較大的情況下，對幾種最先進的 OL2R 模型提供統(tǒng)計上顯著的改進。下表是在線和離線 NDCG10， 經(jīng)過一萬次查詢，每種算法的文檔空間投影的標準差和相對改進。 研究結(jié)果： 本文通過與幾種最先進的 OL2R 算法的大量實驗比較，驗證了作者提出的方法在減少方差和提高整體排名性能方面的有效性（如表 2 和 3 所示）。但是觀察到在模擬用戶點擊反饋時，DSP 在不同點擊模式下的性能有所不同。未來，作者計劃合并不同的點擊模式解決方案，以更精確地構(gòu)建文檔空間。在交叉測試之前， 研究如何進行基于文檔空間的探索

56、性方向生成也是有意義的。探索性方向預選有望進一步加速梯度探索，提高在線學習過程中的用戶滿意度，不過同時也必須確保它是無偏差的。 信息檢索與推薦進展隨著互聯(lián)網(wǎng)中數(shù)字信息數(shù)量的增長，商品、書籍、新文章、歌、電影、研究文件等日?；A性事物，其數(shù)量和種類填滿了多個數(shù)據(jù)倉庫和數(shù)據(jù)庫。蘊含著智能推薦系統(tǒng)和強大的搜索引擎的在線商店、在線音樂、在線視頻和圖片庫等已成為人們快速尋找信息的主要方式。此類系統(tǒng)的流行程度和有用性在于它們能夠便捷地顯示幾乎無限的物品信息。比如，Amazon、Netflix 等推薦系統(tǒng)嘗試了解用戶興趣，并向用戶推薦他們感興趣的商品。盡管這些系統(tǒng)由于使用場景而各不相同，但其尋找用戶感興趣商

57、品的核心機制都是用戶興趣與商品匹配的機制。為了提高信息檢索與推薦系統(tǒng)中算法模型的準確性和可解釋性，研究人員近年來主要關(guān)注無偏的在線排序?qū)W習模型，以及利用知識信息增強推薦系統(tǒng)的表現(xiàn)和可解釋性等方面的研究。其中，無偏的在線排序?qū)W習模型是指自動利用大規(guī)模用戶點擊數(shù)據(jù)訓練搜索結(jié)果的排序模型。用戶點擊數(shù)據(jù)是現(xiàn)代搜索引擎的重要數(shù)據(jù)來源，具有成本低廉，并且對以用戶為中心的檢索應用程序（如搜索排名）特別有用等優(yōu)點。為了充分利用用戶點擊數(shù)據(jù)開發(fā)一個無偏的學習排名系統(tǒng)，研究人員試圖消除用戶偏見對排名模型訓練的影響。近年來，一種基于反事實學習和圖形模型的無偏學習排名框架引起了人們的廣泛關(guān)注。該框架側(cè)重于使用反事實學習直接訓練帶有偏倚點擊數(shù)據(jù)的排名模型。這個無偏的學習排名框架對待點擊偏差作為一個反事實的影響和去偏用戶反饋加權(quán)每點擊與他們的反向傾向加權(quán)。它使用傾向性模型來量化點擊的偏差，并沒有明確地估計查詢文檔與培訓數(shù)據(jù)的相關(guān)性。研究人員從理論上證明，在正確的偏差估計下，在該框架下使用