版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
基于深度學習的推薦系統(tǒng):綜述總結摘要:隨著在線信息量的不斷增長,推薦系統(tǒng)已成為克服此類信息過載的有效策略。鑒于其在許多網絡應用中的廣泛采用,以及其改善與過度選擇相關的許多問題的潛在影響,推薦系統(tǒng)的實用性不容小覷。近年來,深度學習在計算機視覺和自然語言處理等許多研究領域引起了相當大的興趣,不僅歸功于出色的表現(xiàn),而且還具有從頭開始學習特征表征的吸引人的特性。深度學習的影響也很普遍,最近證明了它在應用于信息檢索和推薦系統(tǒng)研究時的有效性。顯然,推薦系統(tǒng)中的深度學習領域正在蓬勃發(fā)展。本文旨在全面回顧最近基于深度學習的推薦系統(tǒng)的研究工作。更具體地說,我們提供并設計了基于深度學習的推薦模型的分類,并提供了最新技術的綜合摘要。最后,我們擴展了當前的趨勢,并提供了有關該領域新的令人興奮的發(fā)展的新觀點。介紹推薦系統(tǒng)是針對消費者過度選擇的直觀防線。鑒于網絡上可用信息的爆炸性增長,用戶經常受到無數(shù)產品,電影或餐館的歡迎。因此,個性化是促進更好用戶體驗的基本策略??偠灾?,這些系統(tǒng)在各種信息訪問系統(tǒng)中發(fā)揮著至關重要和不可或缺的作用,以促進業(yè)務和促進決策過程[69,121],并且在諸如電子商務和/或媒體網站等眾多網絡領域中普遍存在。通常,基于用戶偏好,物品特征,用戶與物品過去交互以及諸如時間(例如,序列感知推薦器)和空間(例如,POI推薦器)數(shù)據(jù)的一些其他附加信息來生成推薦列表。推薦模型主要分為協(xié)同過濾,基于內容的推薦系統(tǒng)和基于輸入數(shù)據(jù)類型的混合推薦系統(tǒng)[1]。深度學習目前正在大肆炒作。過去幾十年見證了深度學習(DL)在計算機視覺和語音識別等許多應用領域取得的巨大成功。學術界和工業(yè)界一直在競相將深度學習應用于更廣泛的應用,因為它能夠解決許多復雜的任務,同時提供最先進的結果[27]。最近,深度學習極大地改變了推薦架構,并為改進推薦器的性能帶來了更多機會?;谏疃葘W習的推薦系統(tǒng)的最新進展通過克服傳統(tǒng)模型的障礙和實現(xiàn)高推薦質量而獲得了顯著的關注。深度學習能夠有效地捕獲非線性和非平凡的用戶-物品關系,并且能夠將更復雜的抽象編碼為更高層中的數(shù)據(jù)表示。此外,它還從豐富的可訪問數(shù)據(jù)源(如上下文,文本和可視信息)中捕獲數(shù)據(jù)本身內的錯綜復雜的關系。推薦系統(tǒng)中深度學習的普遍性和普遍性。在行業(yè)中,推薦系統(tǒng)是增強用戶體驗和促進許多在線網站和移動應用程序的銷售/服務的關鍵工具[20,27,30,43,113]。例如,在Netfiix上觀看的電影中有80%來自推薦[43],60%的視頻點擊來自YouTube的主頁推薦[30]。最近,許多公司采用深度學習來進一步提高他們的推薦質量[20,27,113]。Covington等。[27]提出了一種基于深度神經網絡的推薦算法,用于在YouTube上進行視頻推薦。Cheng等。[20]提出了一個適用于GooglePlay的App推薦系統(tǒng),具有廣泛而深入的模型。Shumpei等人。[113]為雅虎新聞提供了基于RNN的新聞推薦系統(tǒng)。所有這些模型都經過了在線測試,并顯示出比傳統(tǒng)模型顯著的改進。因此,我們可以看到深度學習推動了工業(yè)推薦應用的顯著革命。近年來,基于深度學習的推薦方法的研究出版物數(shù)量呈指數(shù)級增長,為推薦系統(tǒng)研究中深度學習不可避免的普遍存在提供了有力證據(jù)。自2016年以來,領先的推薦系統(tǒng)國際會議RecSys1開始組織推薦系統(tǒng)2的深度學習定期研討會。該研討會旨在促進研究并鼓勵基于深度學習的推薦系統(tǒng)的應用。學術界和工業(yè)界深度學習的成功需要后續(xù)研究人員和從業(yè)人員進行全面的審查和總結,以便更好地了解這些模型的優(yōu)缺點和應用場景。這項調查與以前的調查有何不同?在基于深度學習的推薦領域已經進行了大量研究。然而,據(jù)我們所知,很少有系統(tǒng)的評論很好地塑造了這個領域,并定位了現(xiàn)有的工作和當前的進展。雖然有些作品已經探索了建立在深度學習技術基礎上的推薦應用程序,并試圖將這一研究領域正式化,但很少有人試圖深入總結當前的努力或詳細說明該領域存在的開放性問題。本次調查旨在提供有關基于深度學習的推薦系統(tǒng)的當前研究的全面總結,以識別當前限制現(xiàn)實世界實施的開放性問題,并指出沿此維度的未來方向。在過去幾年中,已經提出了許多傳統(tǒng)推薦系統(tǒng)的調查。例如,Su等人。[138]介紹了協(xié)同過濾技術的系統(tǒng)評價;伯克等人。[8]提出了混合推薦系統(tǒng)的綜合調查;Ferna'ndez-Tob'?as等。[40]和汗等人。[74]審查了跨域推薦模型;僅舉幾例。然而,基于深度學習的推薦系統(tǒng)缺乏廣泛的評論。據(jù)我們所知,只有兩項相關的簡短調查[7,97]正式公布。Betru等人。[7]介紹了三種基于深度學習的推薦模型[123,153,159]。雖然這三項任務在這一研究領域具有一定的影響力,但這項調查忽略了其他新興的高質量作品。劉等人。[97]審查了13篇關于深度學習建議的論文,并建議根據(jù)輸入的形式(使用內容信息的方法和沒有內容信息的方法)和輸出(評級和排名)對這些模型進行分類。然而,隨著新研究工作的出現(xiàn),這種分類框架不再適用,需要一個新的包容性框架來理解這一研究領域。鑒于推薦系統(tǒng)中深度學習的日益普及和潛力,系統(tǒng)調查將具有很高的科學和實用價值。我們從不同角度分析了這些作品,并對這一領域提出了一些新的見解。為此,超過100項研究入圍并列入調查。我們如何收集論文?在這次調查中,我們收集了一百多篇相關論文。我們使用GoogleScholar作為主要搜索引擎,我們還采用了數(shù)據(jù)庫WebofScience作為發(fā)現(xiàn)相關論文的重要工具。此外,我們篩選了大多數(shù)相關的高質量會議,如NIPS,ICML,ICLR,KDD,WWW,SIGIR,WSDM,RecSys等,僅舉幾例,以了解最近的工作。我們使用的主要關鍵詞包括:推薦系統(tǒng),推薦,深度學習,神經網絡,協(xié)同過濾,矩陣分解等。本次調查的貢獻。本次調查的目的是徹底審查有關基于深度學習的推薦系統(tǒng)的進展的文獻。它提供了一個全景圖,讀者可以快速了解并深入了解基于深度學習的推薦領域。該調查為推薦系統(tǒng)領域的創(chuàng)新奠定了基礎,并充分利用了該研究領域的豐富性。該調查為對推薦系統(tǒng)感興趣的研究人員,從業(yè)人員和教育工作者提供服務,希望他們在選擇深度神經網絡來解決手頭的推薦任務時有一個粗略的指導方針。總之,本次調查的主要貢獻有三方面:(1)我們對基于深度學習技術的推薦模型進行了系統(tǒng)評價,并提出了一種分類方案來定位和組織當前的工作;(2)我們提供現(xiàn)有技術的概述和總結。(3)我們討論挑戰(zhàn)和開放性問題,確定本研究領域的新趨勢和未來方向,分享愿景,拓展基于深度學習的推薦系統(tǒng)研究的視野。本文的其余部分安排如下:第2節(jié)介紹了推薦系統(tǒng)和深度神經網絡的預備,我們還討論了基于深度神經網絡的推薦模型的優(yōu)缺點。第3節(jié)首先介紹了我們的分類框架,然后詳細介紹了最新技術。第4節(jié)討論了挑戰(zhàn)和突出的開放研究問題。第5節(jié)總結了論文。推薦系統(tǒng)和深度學習的概述在我們深入研究本調查的細節(jié)之前,我們先介紹一下有關推薦系統(tǒng)和深度學習技術的基本術語和概念。我們還討論了將深度神經網絡引入推薦系統(tǒng)的原因和動機。推薦系統(tǒng)推薦系統(tǒng)估計用戶物品的偏好,并向用戶推薦可能主動喜歡的物品[1,121]。推薦模型通常分為三類[1,69]:協(xié)同過濾,基于內容和混合推薦系統(tǒng)。協(xié)同過濾通過學習用戶與物品歷史交互來做出推薦,無論是顯性的(例如用戶先前的評級)還是隱性反饋(例如瀏覽歷史)?;趦热莸耐扑]主要基于物品和用戶輔助信息的比較??梢钥紤]各種輔助信息,例如文本,圖像和視頻?;旌夏P褪侵刚蟽煞N或更多種推薦策略的推薦系統(tǒng)[8,69]。假設我們有個用戶和個物品,表示交互矩陣,表示預測的交互矩陣。令表示用戶對物品的偏好,表示預測得分。同時,我們使用部分觀察的向量(的行向量)來表示每個用戶,以及部分觀察到的向量(的列向量)代表每個項目。和表示觀察到的和未觀察到的相互作用集。我們使用和來表示用戶和物品潛在因素,是潛在因素的維度。此外,還可以考慮諸如時間戳之類的序列信息以產生序列感知推薦。其他符號和表示將在相應章節(jié)中介紹。深度學習技術深度學習通常被認為是機器學習的子領域。深度學習的典型定義本質是它學習深層表示,即從數(shù)據(jù)中學習多層次的表示和抽象。出于實際原因,我們將任何神經可微分結構視為“深度學習”,只要它使用隨機梯度下降(SGD)的變體優(yōu)化可微分目標函數(shù)。神經架構在監(jiān)督和非監(jiān)督學習任務中都取得了巨大的成功[31]。在本小節(jié)中,我們闡明了與本次調查密切相關的各種架構范式?!ざ鄬痈兄鳎∕LP)是前饋神經網絡,在輸入層和輸出層之間具有多個(一個或多個)隱藏層。這里,感知器可以采用任意激活函數(shù),并不一定代表嚴格的二元分類器。MLP可以被表示為非線性變換的堆疊層,學習分層特征表示。MLP也被稱為通用逼近器?!ぷ詣泳幋a器(AE)是一種無人監(jiān)督的模型,試圖在輸出層重建其輸入數(shù)據(jù)。通常,瓶頸層(最中間層)用作輸入數(shù)據(jù)的顯著特征表示。有許多自動編碼器變體,如去噪自動編碼器,邊緣化去噪自動編碼器,稀疏自動編碼器,壓縮自動編碼器和變分自動編碼器(VAE)[15,45]。·卷積神經網絡(CNN)[45]是一種特殊的前饋神經網絡,具有卷積層和池化操作。它可以捕獲全局和局部特征,并顯著提高效率和準確性。它在處理具有網格狀拓撲的數(shù)據(jù)方面表現(xiàn)良好。·遞歸神經網絡(RNN)[45]適用于對順序數(shù)據(jù)建模。與前饋神經網絡不同,RNN中存在循環(huán)和記憶以記住以前的計算。諸如長短期記憶(LSTM)和門控循環(huán)單元(GRU)網絡的變體通常在實踐中被部署以克服消失的梯度問題?!な芟薏柶澛鼨C(RBM)是一個由可見層和隱藏層組成的雙層神經網絡。它可以很容易地堆疊到深網。此處受限制意味著可見層或隱藏層中沒有層內通信?!ど窠涀曰貧w分布估計(NADE)[81,152]是一種在自回歸模型和前饋神經網絡之上構建的無監(jiān)督神經網絡。它是用于建模數(shù)據(jù)分布和密度的易處理且有效的估計器。·對抗網絡(AN)[46]是一個生成神經網絡,由一個鑒別器和一個發(fā)生器組成。通過在極小極大游戲框架中相互競爭來同時訓練兩個神經網絡?!ぷ⒁饽P停ˋM)是可區(qū)分的神經架構,其基于輸入序列(或圖像)上的軟內容尋址來操作。注意機制通常無處不在,并且在計算機視覺和自然語言處理領域中被接受。然而,它也是深度推薦系統(tǒng)研究的新興趨勢?!ど顚訌娀瘜W習(DRL)[106]。強化學習是在一種反復試驗的范例下運作的。整個框架主要由以下組成部分組成:代理,環(huán)境,狀態(tài),行動和獎勵。深度神經網絡和強化學習之間的結合形成了DRL,它在游戲和自動駕駛汽車等多個領域實現(xiàn)了人性化的表現(xiàn)。深度神經網絡使代理能夠從原始數(shù)據(jù)中獲取知識,并獲得高效的表示,而無需手工制作的特征和域啟發(fā)式。請注意,每年都有許多先進的模型出現(xiàn),這里我們只簡要列出一些重要的模型。對細節(jié)或更高級模型感興趣的讀者可參考[45]。為什么將深度神經網絡應用于推薦系統(tǒng)?在深入了解最新進展的細節(jié)之前,了解將深度學習技術應用于推薦系統(tǒng)的原因是有益的。很明顯,已經在短短幾年內提出了許多深度推薦系統(tǒng),這個領域確實充滿了創(chuàng)新。在這一點上,很容易質疑對這么多不同架構的需求和/或甚至神經網絡對問題域的效用。沿著相同的切線,它很容易提供一個明確的理由,說明為什么每個提出的架構以及它最有利的場景??偠灾?,這個問題與任務,域和推薦方案的問題高度相關。神經架構最吸引人的特性之一是它們(1)端到端可微分和(2)提供適合輸入數(shù)據(jù)類型的合適的歸納偏差。因此,如果模型可以利用固有結構,那么深度神經網絡應該是有用的。例如,CNN和RNN長期利用視覺(和/或人類語言)中的內在結構。類似地,會話或點擊日志的順序結構非常適合由循環(huán)/卷積模型提供的歸納偏差[56,143,175]。此外,深層神經網絡也是復合的,因為多個神經構建塊可以組成一個(巨大的)可微分函數(shù)并且訓練端到端。這里的關鍵優(yōu)勢是處理基于內容的推薦。在對Web上的用戶/物品建模時,這是不可避免的,其中多模態(tài)數(shù)據(jù)是常見的。例如,當處理文本數(shù)據(jù)(評論[202],推文[44]等),圖像數(shù)據(jù)(社交帖子,產品圖像),CNN/RNN成為不可或缺的神經構建塊。這里,傳統(tǒng)的替代方案(設計模態(tài)特定的特征等)變得明顯不那么有吸引力,因此,推薦系統(tǒng)不能利用聯(lián)合(端到端)表示學習。從某種意義上說,推薦系統(tǒng)領域的發(fā)展也與相關模式(如愿景或語言社區(qū))的進步研究緊密結合。例如,為了處理評論,人們將不得不執(zhí)行昂貴的預處理(例如,關鍵短語提取,主題建模等),而較新的基于深度學習的方法能夠端到端地攝取所有文本信息[202]??偠灾?,在這方面深度學習的能力可以被視為范式轉換,如果沒有這些最新的進展,在統(tǒng)一的聯(lián)合框架[197]中表達圖像,文本和交互的能力是不可能的。與僅交互設置(即矩陣完成或協(xié)作排序問題)有關,這里的關鍵思想是當存在大量復雜性或存在大量訓練實例時,深度神經網絡是合理的。在[53]中,作者使用MLP來近似交互函數(shù),并且比MF等傳統(tǒng)方法表現(xiàn)出合理的性能提升。雖然這些神經模型的表現(xiàn)更好,但我們也注意到,當使用基于動量的梯度下降訓練時,BPR,MF和CML等標準機器學習模型在僅交互數(shù)據(jù)上的表現(xiàn)相當不錯[145]。然而,我們也可以將這些模型視為神經架構,因為它們利用了最近的深度學習進展,例如Adam,Dropout或BatchNormalization[53,195]。同樣很容易看出,傳統(tǒng)的推薦算法(矩陣分解,分解機器等)也可以表示為神經/可微分結構[53,54],并且可以通過Tensorfiow或Pytorch等框架進行訓練,從而實現(xiàn)高效的GPU級訓練和自由自動分類。因此,在當今的研究環(huán)境(甚至是工業(yè))中,完全沒有理由不使用基于深度學習的工具來開發(fā)任何推薦系統(tǒng)。概括地說,我們總結了基于深度學習的推薦模型的優(yōu)勢,讀者在嘗試將它們用于實踐時可能會記住這些模型?!し蔷€性變換與線性模型相反,深度神經網絡能夠利用非線性激勵(例如relu,sigmoid,tanh等)對數(shù)據(jù)中的非線性建模。此屬性使捕獲復雜且復雜的用戶物品間交互模式成為可能。諸如矩陣分解,分解機器,稀疏線性模型的常規(guī)方法基本上是線性模型。例如,矩陣分解通過線性組合用戶和物品潛在因素來模擬用戶-物品交互[53];分解機器是多元線性族的一員[54];顯然,SLIM是一個具有稀疏性約束的線性回歸模型。作為許多傳統(tǒng)推薦者的基礎的線性假設過于簡單,并將極大地限制其建模表達性。眾所周知,神經網絡能夠通過改變激勵選擇和組合來以任意精度逼近任何連續(xù)函數(shù)[58,59]。此屬性可以處理復雜的交互模式并精確反映用戶的偏好?!け硎緦W習深度神經網絡在從輸入數(shù)據(jù)中學習潛在的解釋因素和有用的表示方面是有效的。通常,在實際應用程序中可以獲得有關物品和用戶的大量描述性信息。利用這些信息提供了一種方法來促進我們對物品和用戶的理解,從而產生更好的推薦者。因此,將深度神經網絡應用于推薦模型中的表示學習是一種自然的選擇。使用深度神經網絡來輔助表示學習的優(yōu)點有兩方面:(1)它減少了手工特征設計的工作量。特征工程是一項勞動密集型工作,深度神經網絡能夠在無人監(jiān)督或監(jiān)督的方法中自動從原始數(shù)據(jù)中學習特征;(2)它使推薦模型能夠包括異構內容信息,例如文本,圖像,音頻甚至視頻。深度學習網絡在多媒體數(shù)據(jù)處理方面取得了突破,并展示了從各種來源學習的表現(xiàn)形式的潛力。
·序列建模深度神經網絡已經在許多序列建模任務上展示了很好的結果,例如機器翻譯,自然語言理解,語音識別,聊天機器人等等。RNN和CNN在這些任務中發(fā)揮著關鍵作用。RNN通過內部存儲器狀態(tài)來實現(xiàn)這一點,而CNN通過隨著時間滑動的過濾器來實現(xiàn)這一點。它們在數(shù)據(jù)挖掘序列結構中都具有廣泛的適用性和靈活性。對序列信號建模是挖掘用戶行為和物品進化的時間動態(tài)的重要主題。例如,下個物品/籃子預測和基于會話的推薦是典型的應用。因此,深度神經網絡成為這種序列模式挖掘任務的完美契合?!れ`活性深度學習技術具有很高的靈活性,特別是隨著許多流行的深度學習框架的出現(xiàn),如Tensorfiow,Keras,Caffe,MXnet,DeepLearning4j,PyTorch,Theano等。這些工具大多以模塊化方式開發(fā),并具有活躍的社區(qū)和專業(yè)支持。良好的模塊化使開發(fā)和工程更有效。例如,很容易將不同的神經結構組合起來以形成強大的混合模型,或者用其他模塊替換一個模塊。因此,我們可以輕松地構建混合和復合推薦模型,以同時捕獲不同的特征和因素。潛在的局限性使用深度學習進行推薦是否有任何缺點和局限性?在本節(jié)中,我們的目標是解決幾個常用的反對使用深度學習進行推薦系統(tǒng)研究的論點。·可解釋性盡管取得了成功,但眾所周知深度學習表現(xiàn)為黑盒子,提供可解釋的預測似乎是一項非常具有挑戰(zhàn)性的任務。反對深度神經網絡的一個常見論點是隱藏的權重和激勵通常是不可解釋的,限制了可解釋性。然而,隨著神經注意模型的出現(xiàn),這種擔憂一般得到了緩解,并為世界范圍內的深層神經模型鋪平了道路,這些神經模型具有更高的可解釋性[126,146,178]。雖然解釋單個神經元仍然對神經模型(不僅在推薦系統(tǒng)中)構成挑戰(zhàn),但是現(xiàn)有的最先進模型已經能夠在一定程度上解釋,從而能夠提供可解釋的推薦。我們在公開問題部分更詳細地討論了這個問題?!?shù)據(jù)要求第二個可能的限制是已知深度學習是數(shù)據(jù)饑渴的感覺它需要足夠的數(shù)據(jù)才能完全支持其豐富的參數(shù)化。然而,與標記數(shù)據(jù)稀缺的其他領域(例如語言或視覺)相比,在推薦系統(tǒng)研究的背景下獲取大量數(shù)據(jù)相對容易。百萬/億比例的數(shù)據(jù)集不僅在工業(yè)中很常見,而且作為學術數(shù)據(jù)集發(fā)布?!V泛的超參數(shù)調整反對深度學習的第三個成熟論點是需要進行廣泛的超參數(shù)調整。然而,我們注意到,超參數(shù)調整不是深度學習的唯一問題,而是一般的機器學習(例如,正規(guī)化因子和學習速率同樣必須針對傳統(tǒng)的矩陣分解等進行調整)但是,在某些情況下,深度學習可能會引入額外的超參數(shù)。例如,最近的一項工作[145],傳統(tǒng)度量學習算法[60]的細心擴展僅引入了單個超參數(shù)。基于深度學習的推薦:最先進的技術在本節(jié)中,我們首先介紹基于深度學習的推薦模型的類別,然后突出最先進的研究原型,旨在確定近年來最顯著和最有希望的進步。3.1基于深度學習的推薦模型類別為了提供該領域的鳥瞰圖,我們根據(jù)所采用的深度學習技術的類型對現(xiàn)有模型進行分類。我們進一步將基于深度學習的推薦模型分為以下兩類。圖1總結了分類方案?!ど窠洏嫿▔K的推薦。在該類別中,模型根據(jù)上述八種深度學習模型分為八個子類別:MLP,AE,CNN,RNN,RBM,NADE,AM,AN和基于DRL的推薦系統(tǒng)。使用的深度學習技術決定了推薦模型的適用性。例如,MLP可以輕松地模擬用戶和項目之間的非線性交互;CNN能夠從異構數(shù)據(jù)源(例如文本和視覺信息)中提取本地和全局表示;RNN使推薦系統(tǒng)能夠對內容信息的時間動態(tài)和連續(xù)演進進行建模?!ど疃然旌夏P偷耐扑]。一些基于深度學習的推薦模型使用多種深度學習技術。深度神經網絡的靈活性使得將幾個神經構建塊組合在一起以相互補充并形成更強大的混合模型成為可能。這些夜間深度學習技術有許多可能的組合,但并非所有技術都被利用。請注意,它與[31]中的混合深度網絡不同,后者指的是利用生成和判別組件的深層體系結構。表1列出了所有評估的模型,我們按照上述分類方案對其進行組織。此外,我們還從表2中的任務角度總結了一些出版物。審查的出版物涉及各種任務。由于使用深度神經網絡(例如基于會話的推薦,圖像,視頻推薦),一些任務已開始受到關注。一些任務對于推薦研究領域可能并不新穎(有關推薦系統(tǒng)的輔助信息的詳細評論可以在[131]中找到),但DL提供了更多找到更好解決方案的可能性。例如,如果沒有深度學習技巧的幫助,處理圖像和視頻將是一項艱巨的任務。深度神經網絡的序列建模功能可以輕松捕獲用戶行為的序列模式。一些具體任務將在下文中討論。3.2基于多層感知器的推薦MLP是一個簡潔但有效的網絡,已被證明能夠將任何可測量的函數(shù)逼近任何所需的準確度[59]。因此,它是許多先進方法的基礎,并且在許多領域中被廣泛使用?;谏疃壬窠浘W絡的特定應用領域推薦模型。許多現(xiàn)有的推薦模型基本上是線性方法。MLP可用于向現(xiàn)有RS方法添加非線性變換并將其解釋為神經擴展。神經協(xié)同過濾。在大多數(shù)情況下,推薦被視為用戶偏好和物品特征之間的雙向交互。例如,矩陣分解將分級矩陣分解為低維用戶/物品潛在因子。構建雙神經網絡來模擬用戶和物品之間的雙向交互是很自然的。神經網絡矩陣分解(NNMF)[37]和神經協(xié)同過濾(NCF)[53]是兩個具有代表性的作品。圖2a顯示了NCF架構。讓和表示輔助信息(例如用戶畫像和物品特征),或僅表示用戶和物品的一個熱門標識符。評分函數(shù)定義如下:其中函數(shù)表示多層感知器,是該網絡的參數(shù)。傳統(tǒng)的MF可以被視為NCF的一個特例。因此,將矩陣因子分解的神經解釋與MLP融合起來以便制定更通用的模型是方便的,該模型利用MF的線性和MLP的非線性來提高推薦質量??梢允褂眉訖嗥椒綋p失(用于顯式反饋)或二進制交叉熵損失(用于隱式反饋)來訓練整個網絡。交叉熵損失定義為:可以使用負抽樣方法來減少未觀察到的訓練實例的數(shù)量。后續(xù)工作[112,134]建議使用成對排名損失來提高性能。何等人。[92,166]將NCF模型擴展到跨域推薦。薛等人。[184]和張等人。[195]表明,可以用交互矩陣的列或行替換單熱標識符,以保留用戶-物品交互模式。深度因子分解機。DeepFM[47]是一種端到端模型,可無縫集成分解機器和MLP。它能夠通過深度神經網絡和與分解機器的低階交互來建模高階特征相互作用。分解機器(FM)利用加法和內積運算來捕獲特征之間的線性和成對相互作用(更多細節(jié)參見[119]中的等式(1))。MLP利用非線性激活和深層結構來模擬高階交互。MLP與FM結合的方式受到廣泛而深入的網絡的啟發(fā)。它用分解機器的神經解釋取代了寬分量。與寬和深模型相比,DeepFM不需要繁瑣的特征工程。圖2b說明了DeepFM的結構。DeepFM的輸入是一個m字段數(shù)據(jù),由對組成的數(shù)據(jù)(用戶和物品的身份和特征)。為簡單起見,F(xiàn)M和MLP的輸出分別表示為和。預測分數(shù)通過計算:其中是sigmod形激活函數(shù)。連等人。[93]通過提出一種極限深度分解機器來共同模擬顯式和隱式特征交互,改進了DeepMF。通過壓縮交互網絡學習顯式高階特征交互。何等人提出的并行工作。[54]取代了與MLP的二階相互作用,并建議通過退出和批量歸一化使模型正規(guī)化。用MLP學習特征表示。使用MLP進行特征表示非常簡單且高效,即使它可能不像自動編碼器,CNN和RNN那樣具有表現(xiàn)力。廣泛而深入的學習。這個通用模型(如圖3a所示)可以解決回歸和分類問題,但最初是為GooglePlay中的App推薦引入的[20]。廣度學習組件是單層感知器,也可以視為廣義線性模型。深度學習組件是多層感知器。結合這兩種學習技術的基本原理是它使推薦者能夠捕獲記憶和概括。廣泛學習組件實現(xiàn)的記憶代表了從歷史數(shù)據(jù)中捕獲直接特征的能力。同時,深度學習組件通過產生更一般和抽象的表示來捕捉泛化。該模型可以提高推薦的準確性和多樣性。形式上,廣泛學習被定義為:,其中是模型參數(shù)。輸入是由原始輸入特征和變換組成的連接特征集(例如,跨產品變換以捕獲特征之間的相關性)特征。深層神經元的每一層都是的形式,其中表示第層,是激活函數(shù)。和是權重和偏差項。通過融合這兩個模型來獲得廣泛和深入的學習模型:其中是sigmoid函數(shù),是二進制等級標簽,是最終激活。該聯(lián)合模型使用隨機反向傳播(跟隨正則化引導算法)進行優(yōu)化?;陬A測的分數(shù)生成推薦列表。通過擴展這個模型,陳等人。[13]設計了一個局部連接的廣泛和深度學習模型,用于大規(guī)模的工業(yè)級推薦任務。它采用高效的本地連接網絡來取代深度學習組件,從而將運行時間減少一個數(shù)量級。部署廣泛和深入學習的一個重要步驟是選擇廣泛和深入部分的功能。換句話說,系統(tǒng)應該能夠確定哪些特征被記憶或概括。此外,還需要手工設計交叉產品轉換。這些預先步驟將極大地影響該模型的實用性。上述基于深度因子分解的模型可以減輕特征工程的工作量??莆念D等。[27]探討了在YouTube推薦中應用MLP。該系統(tǒng)將推薦任務分為兩個階段:候選生成和候選排名。候選生成網絡從所有視頻語料庫中檢索子集(數(shù)百個)。排名網絡基于來自候選者的最近鄰居分數(shù)生成前n個列表(數(shù)十個)。我們注意到工業(yè)界更關注特征工程(例如轉換,規(guī)范化,交叉)和推薦模型的可擴展性。Alashkar等。[2]提出了基于MLP的結構推薦模型。這項工作使用兩個相同的MLP分別為標記的示例和專家規(guī)則建模。通過最小化它們的輸出之間的差異,同時更新這兩個網絡的參數(shù)。它展示了采用專家知識指導MLP框架中推薦模型學習過程的功效。即使專業(yè)知識獲取需要很多人的參與,它也是高度精確的。協(xié)作度量學習(CML)。CML[60]用歐幾里德距離代替MF的點積,因為點積不滿足距離函數(shù)的三角不等式。通過最大化用戶與其不喜歡的物品之間的距離并最小化用戶與其優(yōu)選物品之間的距離來學習用戶和物品嵌入。在CML中,MLP用于學習項目特征(如文本,圖像和標簽)的表示。深度結構化語義模型的推薦。深度結構化語義模型(DSSM)[65]是一種深度神經網絡,用于學習公共連續(xù)語義空間中實體的語義表示并測量它們的語義相似性。它廣泛應用于信息檢索領域,非常適合于前n個推薦[39,182]。DSSM將不同的實體投射到一個共同的低維空間中,并用余弦函數(shù)計算它們的相似性?;綝SSM由MLP組成,因此我們將其放在本節(jié)中。請注意,更高級的神經層(如卷積和最大池層)也可以輕松集成到DSSM中?;谏疃日Z義相似性的個性化推薦(DSPR)[182]是標簽感知個性化推薦器,其中每個用戶和物品由標簽注釋表示并映射到公共標簽空間。余弦相似度用于決定物品和用戶的相關性(或用戶的偏好該物品)。DSPR的損失函數(shù)定義如下:其中是從負用戶物品對中隨機抽樣的負樣本。該作者[183]使用自動編碼器進一步改進DSPR,以從用戶/物品畫像中學習低維表示。多視圖深度神經網絡(MV-DNN)[39]專為跨域推薦而設計。它將用戶視為樞軸視圖,并將每個域(假設我們有Z域)視為輔助視圖。顯然,Z用戶域對有Z個相似度得分。圖3b示出了MV-DNN的結構。MV-DNN的損失函數(shù)定義為:其中是模型參數(shù),是平滑因子,是用戶視圖的輸出,a是活動視圖的索引。是視圖a的輸入域。MV-DNN能夠擴展到許多域。然而,它基于這樣的假設:用戶在一個域中具有相似的品味應該在其他域中具有相似的品味。直觀地說,在許多情況下,這種假設可能是不合理的。因此,我們應該對不同領域的相關性有一些初步了解,以充分利用MV-DNN。3.3基于自動編碼器的推薦將自動編碼器應用于推薦系統(tǒng)有兩種通用方式:(1)使用自動編碼器學習瓶頸層的低維特征表示;或(2)直接在重構層填充交互矩陣的空白。幾乎所有的自動編碼器變體,例如去噪自動編碼器,變分自動編碼器,接收自動編碼器和邊緣化自動編碼器都可以應用于推薦任務。表3總結了基于使用的自動編碼器類型的推薦模型?;谧詣泳幋a器的協(xié)同過濾。其中一個成功的應用是從自動編碼的角度考慮協(xié)同過濾。AutoRec[125]將用戶部分向量或物品部分向量作為輸入,并且旨在在輸出層中重構它們。顯然,它有兩種變體:基于物品的AutoRec(I-AutoRec)和基于用戶的AutoRec(U-AutoRec),對應于兩種類型的輸入。在這里,我們只介紹I-AutoRec,而U-AutoRec可以相應地輕松推導出來。圖4a說明了I-AutoRec的結構。給定輸入,重建為:,其中和是激活函數(shù),參數(shù)。I-AutoRec的目標函數(shù)公式如下:這里表示它只考慮觀察到的評級??梢酝ㄟ^彈性傳播(收斂更快并產生可比較的結果)或L-BFGS(限制記憶BroydenFletcherGoldfarbShanno算法)來優(yōu)化目標函數(shù)。有關AutoRec的四個要點在部署之前值得注意:(1)I-AutoRec執(zhí)行的比U-AutoRec要好,這可能是由于用戶部分觀察到的向量的方差較大。(2)激活函數(shù)和的不同組合將大大影響性能。(3)適度增加隱藏單元大小將改善結果,因為擴展隱藏層維度使AutoRec能夠更好地模擬輸入的特征。(4)添加更多層以形成深層網絡可以略微改進。CFN[136,137]是AutoRec的擴展,具有以下兩個優(yōu)點:(1)它采用了去噪技術,使CFN更加健壯;(2)它結合了諸如用戶畫像和物品描述之類的輔助信息,以減輕稀疏性和冷啟動的影響。CFN的輸入也是部分觀察到的向量,因此它也有兩種變體:I-CFN和U-CFN,分別以和作為輸入。掩蔽噪聲被強加為正規(guī)則,以更好地處理缺失的元素(它們的值為零)。作者介紹了三種廣泛使用的腐敗方法來破壞輸入:高斯噪聲,掩蔽噪聲和椒鹽噪聲。CFN的進一步擴展還包含輔助信息。然而,CFN不是僅僅在第一層中集成輔助信息,而是在每一層中注入輔助信息。因此,重建變?yōu)椋浩渲惺禽o助信息,表示和的串聯(lián)。結合輔助信息可提高預測準確性,加快訓練過程并使模型更加健壯。協(xié)同去噪自動編碼器(CDAE)。之前評估的三個模型主要用于評級預測,而CDAE[177]主要用于排名預測。CDAE的輸入是用戶部分觀察到的隱式反饋。如果用戶喜歡電影,則條目值為1,否則為0。它也可以被視為偏好向量反應用戶對物品的興趣。圖4b說明了CDAE的結構。CDAE的輸入被高斯噪聲破壞。損壞的輸入是從條件高斯分布中提取的。重建定義為:其中表示用戶節(jié)點的權重矩陣(見圖4b)。該權重矩陣對于每個用戶是唯一的,并且對模型性能具有顯著影響。通過最小化重建誤差也可以知道CDAE的參數(shù):其中損失函數(shù)可以是平方或者對數(shù)損失。CDAE最初使用SGD在所有反饋上更新其參數(shù)。然而,作者認為在實際應用中考慮所有評級是不切實際的,因此他們提出了一種負抽樣技術來從負集合(用戶沒有與之交互的物品)中抽取一小部分,這在減少了時間復雜度基礎上沒有降低排名質量。Muli-VAE和Multi-DAE[94]提出了一種變量自動編碼器,用于推薦隱式數(shù)據(jù),顯示出比CDAE更好的性能。作者介紹了一種用于參數(shù)估計的原理貝葉斯推理方法,并且顯示出比常用似然函數(shù)更好的結果。據(jù)我們所知,基于自動編碼器的協(xié)同過濾(ACF)[114]是第一個基于自動編碼器的協(xié)同推薦模型。它不是使用原始的部分觀察向量,而是通過整數(shù)等級對它們進行分解。例如,如果評分得分是[1-5]范圍內的整數(shù),則每個將被分成五個部分向量。與AutoRec和CFN類似,ACF的成本函數(shù)旨在減少均方誤差。但是,ACF有兩個缺點:(1)它無法處理非整數(shù)等級;(2)部分觀測矢量的分解增加了輸入數(shù)據(jù)的稀疏性,導致預測精度更差。基于Autoencoder特征表示學習。Autoencoder是一類功能強大的特征表示學習方法。因此,它還可以用在推薦系統(tǒng)中以從用戶/物品內容特征學習特征表示。協(xié)同深度學習(CDL)。CDL[159]是一種分層貝葉斯模型,它將堆疊去噪自動編碼器(SDAE)集成到概率矩陣分解中。為了無縫地結合深度學習和推薦模型,作者提出了一個通用的貝葉斯深度學習框架[161],它由兩個緊密聯(lián)系的組件組成:感知組件(深度神經網絡)和任務特定組件。具體而言,CDL的感知成分是序數(shù)SDAE的概率解釋,PMF充當任務特定成分。這種緊密的組合使CDL能夠平衡輔助信息和交互歷史的影響。CDL的生成過程如下:對于SDAE的每一層:(a)對于權重矩陣的每一列,繪制(b)繪制偏差矢量(c)對于的每一行,繪制。對于每個物品:(a)繪制一個干凈的輸入;(b)繪制潛在偏移矢量并設置潛在項目向量:。(3)為每個用戶繪制潛在用戶向量,。(4)為每個用戶-物品對,繪制評級。其中和是層的權重矩陣和偏移向量,表示層。是超參數(shù),是用于確定觀測置信度的置信參數(shù)[63]。圖5(左)說明了CDL的圖形模型。作者利用EM風格的算法來學習參數(shù)。在每次迭代中,它首先更新和,然后通過修復和來更新和。作者還介紹了一種基于抽樣的算法[161],以避免局部最優(yōu)。在CDL之前,Wang等人。[158]提出了一種類似的模型,關系堆疊去噪自動編碼器(RSDAE),用于標簽推薦。CDL和RSDAE的區(qū)別在于RSDAE用關系信息矩陣替換PMF。CDL的另一個擴展是協(xié)同變分自動編碼器(CVAE)[89],它用變分自動編碼器代替CDL的深層神經元件。CVAE學習內容信息的概率潛變量,并且可以輕松地合并多媒體(視頻,圖像)數(shù)據(jù)源。協(xié)作深度排名(CDR)。CDR[188]專門在成對框架中設計用于top-n推薦。一些研究表明,成對模型更適合排序列表生成[120,177,188]。實驗結果還表明,CDR在排名預測方面優(yōu)于CDL。圖5(右)給出了CDR的結構。CDR的第一和第二生成過程步驟與CDL相同。第三步和第四步由以下步驟代替:·對于每個用戶:(a)為繪制潛在用戶向量:;(b)對于每個成對偏好,其中,繪制估計量,。其中表示用戶對物品和物品的偏好的成對關系,是一個置信度值,表示用戶相比于物品更喜歡物品。優(yōu)化過程以與CDL相同的方式執(zhí)行。深度協(xié)同過濾框架。它是通過協(xié)同過濾模型統(tǒng)一深度學習方法的一般框架[88]。該框架使得利用深度特征學習技術輕松構建混合協(xié)作模型。上述[153,159,167]的工作可視為該一般框架的特例。形式上,深層協(xié)作過濾框架定義如下:其中和是權衡參數(shù),以平衡這三個組成部分的影響,和是輔助信息,是協(xié)同過濾模型的損失。和充當連接深度學習和協(xié)同過濾模型以及連接輔助信息與潛在因素的鉸鏈。在此框架的基礎上,作者提出了基于邊緣化去噪自動編碼器的協(xié)同過濾模型(mDA-CF)。與CDL相比,mDA-CF探索了一種計算效率更高的自動編碼器變體:邊緣化去噪自動編碼器[15]。它通過邊緣化損壞的輸入來節(jié)省搜索足夠損壞的輸入版本的計算成本,這使得mDA-CF比CDL更具可擴展性。此外,mDA-CF嵌入項目和用戶的內容信息,而CDL僅考慮項目功能的效果。AutoSVD++[196]利用收縮自動編碼器[122]來學習物品特征表示,然后將它們集成到經典推薦模型SVD++[79]中。所提出的模型具有以下優(yōu)點:(1)與其他自動編碼器變體相比,壓縮自動編碼器捕獲無窮小的輸入變化;(2)對隱式反饋進行建模,以進一步提高準確性;(3)設計了一種有效的訓練算法,以減少訓練時間。HRCD[170,171]是一種基于自動編碼器和timeSVD++的混合協(xié)同模型[80]。它是一種時間感知模型,它使用SDAE從原始特征中學習物品表示,旨在解決冷物品問題。3.4基于卷積神經網絡的推薦卷積神經網絡通過卷積和池操作處理非結構化多媒體數(shù)據(jù)非常強大。大多數(shù)基于CNN的推薦模型利用CNN進行特征提取?;贑NN特征表示學習。CNN可用于從多個來源學習特征表示,例如圖像,文本,音頻,視頻等。用于圖像特征提取的CNN。王等人。[165]研究了視覺特征對興趣點(POI)推薦的影響,并提出了視覺內容增強的POI推薦系統(tǒng)(VPOI)。VPOI采用CNN來提取圖像特征。通過探索以下之間的相互作用,建立在PMF上的推薦模型:(1)視覺內容和潛在用戶因素;(2)視覺內容和潛在位置因素。楚等人。[25]在餐館推薦中利用視覺信息(例如酒店的食物和家具的圖像)的有效性。CNN聯(lián)合提取的視覺特征與文本表示一起輸入到MF,BPRMF和FM中以測試它們的性能。結果表明,視覺信息在一定程度上改善了性能但不顯著。何等人。[50]通過將視覺特征(通過CNN學習)結合到矩陣分解中,設計了視覺貝葉斯個性化排序(VBPR)算法。何等人。[49]擴展VBPR,探索用戶的時尚意識和用戶在選擇物品時考慮的視覺因素的演變。Yu等人。[191]提出了一種基于美學的服裝推薦的耦合矩陣和張量因子分解模型,其中CNN用于學習圖像特征和美學特征。Nguyen等。[110]提出了一種基于CNN的個性化標簽推薦模型。它利用卷積和最大池化層從圖像塊中獲取視覺特征。注入用戶信息以生成個性化推薦。為了優(yōu)化該網絡,采用BPR目標來最大化相關和不相關標簽之間的差異。雷等人。[84]提出了一種具有CNN的比較深度傾斜模型用于圖像推薦。該網絡包括兩個用于圖像表示學習的CNN和一個用于用戶偏好建模的MLP。它將兩個圖像(一個正圖像用戶喜歡,一個負圖像用戶不喜歡)與用戶進行比較。訓練數(shù)據(jù)由三元組組成:(用戶,正圖像,負圖像)。假設用戶與正圖像之間的距離應該比用戶與負圖像之間的距離更近,其中是距離度量(例如歐幾里德距離)。ConTagNet[118]是一種上下文感知標簽推薦系統(tǒng)。圖像特征由CNN學習。上下文表示由兩層完全連接的前饋神經網絡處理。將兩個神經網絡的輸出連接起來并饋入softmax函數(shù)以預測候選標簽的概率。用于文本特征提取的CNN。DeepCoNN[202]采用兩個并行的CNN來模擬評論文本中的用戶行為和物品屬性。該模型通過利用CNN的評論文本的豐富語義表示來緩解稀疏性問題并增強模型可解釋性。它利用單詞嵌入技術將評論文本映射到低維語義空間,并保留單詞序列信息。然后,提取的評論表示連續(xù)地通過具有不同內核,最大池化層和全連接層的卷積層。最后將用戶網絡和物品網絡的輸出連接為預測層的輸入,其中應用分解機器以捕獲它們的相互作用以進行評級預測。凱瑟琳等人。[11]提到DeepCoNN只有在目標用戶為目標物品編寫的評論文本在測試可用時才能正常工作,這是不合理的。因此,他們通過引入潛在層來擴展它以表示目標用戶-目標-物品對。此模型在驗證/測試期間不訪問評論,并且仍然可以保持良好的準確性。沉等人。[130]建立了一個電子學習資源推薦模型。它使用CNN從學習資源的文本信息中提取項目特征,例如學習資料的介紹和內容,并按照[153]的相同程序進行推薦。ConvMF[75]以與CDL類似的方式將CNN與PMF相結合。CDL使用自動編碼器來學習物品特征表示,而ConvMF使用CNN來學習高層物品特征表示。ConvMF相對于CDL的主要優(yōu)點是CNN能夠通過字嵌入和卷積內核捕獲更準確的物品上下文信息。Tuan等。[148]建議使用CNN來學習物品內容信息(例如,名稱,描述,標識符和類別)的特征表示,以增強基于會話的推薦的準確性。用于音頻和視頻特征提取的CNN。范等人。[153]建議使用CNN從音樂信號中提取特征。卷積內核和池化層允許多個時間段的操作。這種基于內容的模型可以緩解音樂推薦的冷啟動問題(音樂尚未消耗)。李等人。[83]建議用突出的CNN模型ResNet提取音頻特征。該建議在類似于CML的協(xié)作度量學習框架中執(zhí)行?;贑NN的協(xié)同過濾。直接將CNN應用于vanilla協(xié)同過濾也是可行的。例如,He等人。[51]提出使用CNN來改進NCF并提出了ConvNCF。它使用外積而不是點積來模擬用戶項交互模式。CNN應用于外積的結果,并且可以捕獲嵌入維度之間的高階相關性。唐等人。[143]呈現(xiàn)了具有CNN的順序推薦(具有用戶標識符),其中兩個CNN(分層和垂直)用于對聯(lián)合級別順序模式進行建模并且跳過用于序列感知推薦的行為。用于推薦的圖像CNN。圖形卷積網絡是非歐幾里得的數(shù)據(jù)的強大工具,例如:社交網絡,知識圖,蛋白質相互作用網絡等[77]。推薦區(qū)域中的交互也可以被視為這樣的結構化數(shù)據(jù)集(二分圖)。因此,它也可以應用于推薦任務。例如,Berg等人。[6]提出將推薦問題視為具有圖CNN的鏈路預測任務。該框架使得將諸如社交網絡和物品關系的用戶/物品輔助信息集成到推薦模型中變得容易。Ying等。[190]提出使用圖CNN作為Pinterest中的推薦。該模型從圖形結構以及具有隨機游走和圖形CNN的物品特征信息生成物品嵌入,并且適用于非常大規(guī)模的網絡推薦器。所提出的模型已經部署在Pinterest中,以解決各種現(xiàn)實世界的推薦任務。3.5基于反饋神經網絡的推薦RNN非常適合順序數(shù)據(jù)處理。因此,它成為處理用戶行為的交互和順序問題的時間動態(tài)以及具有順序信號(如文本,音頻等)的輔助信息的自然選擇。無用戶標識的基于會話的推薦。在許多現(xiàn)實世界的應用程序或網站中,系統(tǒng)通常不會打擾用戶登錄,因此它無法訪問用戶的標識符及其長期消費習慣或長期興趣。但是,會話或cookie機制使這些系統(tǒng)能夠獲得用戶的短期偏好。由于訓練數(shù)據(jù)的極度稀疏,這在推薦系統(tǒng)中是相對未被認可的任務。最近的進展證明了RNN在解決這一問題方面的功效[56,142,176]。GRU4Rec。Hidasi等人。[56]提出了一種基于會話的推薦模型GRU4Rec,基于GRU(如圖6a所示)。輸入是具有1-N編碼的實際會話狀態(tài),其中N是物品數(shù)。如果相應的物品在此會話中處于活動狀態(tài),則坐標將為1,否則為0.輸出是每個物品在會話中成為下一個物品的可能性。為了有效地訓練所提出的框架,作者提出了一種會話并行的小批量算法和一種輸出的采樣方法。排名虧損也創(chuàng)造了TOP1并具有以下形式:其中是樣本大小,和是會話中負物品和正物品的分數(shù),是邏輯sigmoid函數(shù)。最后一項用作正則化。注意,BPR損失也是可行的。最近的一項工作[55]發(fā)現(xiàn)[56]中定義的原始TOP1損失和BPR損失受到梯度消失問題的影響,因此,提出了兩種新的損耗函數(shù):TOP1-max和BPR-max。后續(xù)工作[142]提出了幾種進一步改進該模型的策略:(1)通過序列預處理和丟失正則化來增加點擊序列;(2)通過預訓練適應時間變化,使用完整的訓練數(shù)據(jù),并使用最近的點擊序列微調模型;(3)用教師模型對具有特權信息的模型進行提升;(4)使用物品嵌入來減少參數(shù)數(shù)量,以便更快地計算。吳等人。[176]為現(xiàn)實世界的電子商務網站設計了基于會話的推薦模型。它利用基本RNN根據(jù)點擊歷史記錄預測用戶下次購買的內容。為了最小化計算成本,它只保留有限數(shù)量的最新狀態(tài),同時將舊狀態(tài)折疊為單個歷史狀態(tài)。該方法有助于平衡計算成本和預測準確性之間的權衡。Quadrana等。[117]提出了一種基于會話的分層遞歸神經網絡的推薦。當存在用戶標識符時,該模型可以處理會話感知推薦。上述三個基于會話的模型不考慮任何輔助信息。兩個擴展[57,132]表明輔助信息對增強會話推薦質量有影響。Hidasi等人。[57]引入了基于會話的推薦的并行架構,該架構利用三個GRU來學習來標識獨熱矢量,圖像特征矢量和文本特征矢量的表示。這三個GRU的輸出被加權連接并饋入非線性激活以預測該會話中的下一個物品。Smirnova等。[132]提出了一種基于條件RNN的基于上下文感知會話的推薦系統(tǒng)。它將上下文信息注入輸入和輸出層。這兩個模型的實驗結果表明,包含額外信息的模型優(yōu)于僅基于歷史相互作用的模型。盡管RNN在基于會話的推薦中取得了成功,但Jannach等人。[68]表明簡單的鄰域方法可以獲得與GRU4Rec相同的精確度結果。將鄰域與RNN方法相結合通??梢垣@得最佳性能。這項工作表明,最近的工作中的一些基線沒有充分證明和正確評估。更全面的討論可以在[103]中找到。用戶標識符的順序推薦。與基于會話的推薦器不同,其中通常不存在用戶標識符。以下研究涉及具有已知用戶標識的順序推薦任務。RecurrentRecommenderNetwork(RRN)[175]是一個建立在RNN上的非參數(shù)推薦模型(如圖6b所示)。它能夠模擬物品的季節(jié)性演變和用戶偏好隨時間的變化。RRN使用兩個LSTM網絡作為構建塊來模擬動態(tài)用戶狀態(tài)和物品狀態(tài)。同時,考慮到用戶長期興趣和物品靜態(tài)特征等固定屬性,該模型還包含用戶和物品的固定潛在特性:和。用戶在時間給出的物品的預測評級定義為:從LSTM得到和,通過標準矩陣分解得到和。優(yōu)化是最小化預測和實際評級值之間的平方誤差。吳等人。[174]通過同時對文本評論和評級進行建模,進一步改進了RRNs模型。與大多數(shù)文本評論增強型推薦模型[127,202]不同,該模型旨在使用具有用戶和物品潛在狀態(tài)的字符級LSTM網絡生成評論。審查生成任務可以被視為輔助任務以促進評級預測。該模型能夠提高評級預測的準確性,但不能生成連貫且可讀的評論文本。將在以下文本中引入的NRT[87]可以生成可讀的評論提示。Jing等。[73]提出了一個多任務學習框架,以同時預測用戶的返回時間和推薦物品。返回時間預測由設計用于估計患者生存概率的生存分析模型驅動。作者通過使用LSTM來估計客戶的返回時間來修改此模型。物品推薦也通過LSTM從用戶過去的會話動作執(zhí)行。與上述基于會話的建議不同,該建議側重于在同一會話中進行推薦,該模型旨在提供會話間建議。李等人。[91]提出了順序推薦的行為密集型模型。該模型由兩部分組成:神經項嵌入和判別行為學習。后一部分由兩個LSTM組成,分別用于會話和偏好行為學習。Christakopoulou等人。[24]設計了一個帶有RNN的交互式推薦器。擬議的框架旨在解決互動推薦中的兩個關鍵任務:提出問題并做出回應。RNN用于解決這兩項任務:根據(jù)用戶最近的行為(例如,監(jiān)視事件)預測用戶可能會問的問題并預測響應。Donkers等。[35]設計了一種新型的門控循環(huán)單元,以明確表示個人用戶的下一物品推薦。基于RNN的特征表示學習。對于具有順序模式的輔助信息,使用RNN作為表示學習工具是可取的選擇。戴等人。[29]提出了一個共同進化的潛在模型,以捕捉用戶和物品的潛在特征的共同進化性質。用戶和物品之間的交互在推動用戶偏好和物品狀態(tài)的變化方面起著重要作用。為了對歷史交互進行建模,作者提出使用RNN自動學習用戶和物品特征的驅動,進化和共同演化的影響的表示。Bansal等人。[5]提出使用GRU將文本序列編碼為潛在因子模型。這種混合模型解決了熱啟動和冷啟動問題。此外,作者采用了一個多任務正則化器來防止過度使用并減輕訓練數(shù)據(jù)的稀疏性。主要任務是評級預測,而輔助任務是項目元數(shù)據(jù)(例如標簽,流派)預測。Okura等。[113]建議使用GRU來學習用戶瀏覽歷史(瀏覽新聞)的更具表現(xiàn)力的聚合,并推薦具有潛在因素模型的新聞文章。與傳統(tǒng)的基于單詞的方法相比,結果顯示出顯著的改進。該系統(tǒng)已完全部署到在線生產服務,每天為超過一千萬的獨立用戶提供服務。李等人。[87]提出了一個多任務學習框架NRT,用于預測評級以及同時為用戶生成文本提示。生成的提示提供簡明的建議,并預測用戶對某些產品的體驗和感受。評級預測任務由物品上的非線性層和用戶潛在因子建模,其中和(不一定相等)是用戶和物品的潛在因素維度。將預測的評級和兩個潛在因子矩陣輸入GRU以生成提示。這里,用作上下文信息來決定生成的提示的情緒。多任務學習框架使整個模型能夠在端到端的范例中得到有效的訓練。宋等人。[135]設計了一個時間DSSM模型,該模型將RNN集成到DSSM中以供推薦?;趥鹘y(tǒng)的DSSM,TDSSM將物品靜態(tài)特征替換為左側網絡,將具有兩個子網絡的右側網絡替換為用戶靜態(tài)特征(具有MLP)和用戶時間特征(具有RNN)的建模。3.6基于限制玻爾茲曼機的推薦Salakhutdinov等。[123]提出了一種基于限制玻爾茲曼機的推薦器(如圖6c所示)。據(jù)我們所知,它是第一個建立在神經網絡上的推薦模型。RBM的可見單元限于二進制值,因此,評級得分以單熱矢量表示以適應有限制。例如,[0,0,0,1,0]表示用戶給該物品評分4。設表示固定大小為的隱藏單位。每個用戶都有一個具有共享參數(shù)的唯一RBM。假設用戶評定個電影,可見單位的數(shù)量是,設是矩陣,其中如果用戶將電影評為,則,否則,然后:其中表示電影和隱藏單元的評級之間的連接的權重,是電影的評級的偏差,是隱藏單元的偏差。RBM不易處理,但可以通過對比發(fā)散(CD)算法[45]學習參數(shù)。作者進一步提出使用條件RBM來結合隱式反饋。這里的本質是用戶通過給予隱含地告訴他們的偏好評級,不管他們如何評價物品。上面的RBM-CF是基于用戶的,其中給定用戶的評級被限制在可見層上。相似性,如果我們將給定物品的評級限制在可見層上,我們可以容易地設計基于物品的RBM-CF。Georgiev等人。[42]建議將基于用戶和基于物品的RBM-CF組合在一個統(tǒng)一的框架中。在這種情況下,可見單元由用戶和項隱藏單元確定。劉等人。[100]設計了混合RBM-CF,其中包含物品特征(物品類別)。該模型也基于條件RBM。這種混合模型與具有隱式反饋的條件RBM-CF之間存在兩個差異:(1)這里的條件層用二元項類型建模;(2)條件層影響具有不同連接權重的隱藏層和可見層。3.7基于神經注意力的推薦注意機制是由人類視覺注意力驅動的。例如,人們只需要關注視覺輸入的特定部分來理解或識別它們。注意機制能夠從原始輸入中濾除無信息特征,并減少噪聲數(shù)據(jù)的副作用。注意機制能夠從原始輸入中濾除無信息特征,并減少噪聲數(shù)據(jù)的副作用。這是一種直觀但有效的技術,近年來在計算機視覺[3],自然語言處理[104,155]和語音識別[22,23]等領域引起了相當多的關注。神經注意不僅可以與MLP,CNN和RNN結合使用,還可以獨立解決某些任務[155]。將注意機制集成到RNN中使RNN能夠處理長而有噪聲的輸入[23]。雖然LSTM可以在理論上解決長記憶問題,但在處理遠程依賴時仍然存在問題。注意機制提供了一個更好的解決方案,并幫助網絡記憶輸入?;谧⒁饬Φ腃NN能夠捕獲輸入中信息量最大的元素[127]。通過將注意機制應用于推薦系統(tǒng),可以利用注意機制來過濾無信息內容并選擇最具代表性的物品[14],同時提供良好的可解釋性。雖然神經注意機制并不完全是一種獨立的深度神經技術,但由于其廣泛使用,仍然值得單獨討論。注意模型通過注意力得分學習參與輸入。計算注意力分數(shù)是神經注意力模型的核心?;谟嬎阕⒁饬Φ梅值姆绞剑覀儗⑸窠涀⒁饬δP头譃椋?)標準vanilla注意力和(2)共同注意力。vanilla注意力利用參數(shù)化的背景向量來學習參與,而共同關注是從兩個序列學習注意力量。自我約束是共同作用的一個特例。最近的工作[14,14,127]證明了一種機制在提高推薦績效方面的能力。表4總結了基于注意力的推薦模型。關于vanilla注意力的推薦陳等人。[14]通過在潛在因子模型中引入兩級注意機制,提出了一種注意協(xié)同過濾模型。它由物品級別和組件級別的注意組成。物品級注意用于選擇最具代表性的物品來表征用戶。組件級別的關注旨在從每個用戶的多媒體輔助信息中捕獲最豐富的信息。Tay等人。[145]提出了基于記憶的協(xié)作度量學習的關注。它介紹了通過關注CML學習的潛在關系向量。Jhamb等人。[70]提出使用注意機制來改善基于自動編碼器的CF的性能。劉等人。[99]提出了一種基于短期注意和記憶優(yōu)先權的模型,其中長期和短期用戶興趣都集成在一起,用于基于會話的推薦。Ying等。[189]提出了一種用于順序推薦的分層注意模型。兩個關注網絡用于模擬用戶的長期和短期利益。向RNN引入注意機制可以顯著提高其性能。李等人。[90]提出了這種基于注意力的LSTM模型用于標簽推薦。這項工作利用RNN和注意機制的優(yōu)勢來捕獲順序屬性并識別來自微博帖子的信息詞。Loyala等。[101]提出了一種編碼器-解碼器架構,其注意用戶會話和意圖建模.該模型由兩個RNN組成,可以更具表現(xiàn)力的方式捕捉過渡規(guī)律。vanilla注意力也可以與CNN一起用于推薦任務。龔等人。[44]提出了一種基于注意力的CNNs系統(tǒng),用于微博中的#標簽推薦。它將主題標簽推薦視為多標簽分類問題。所提出的模型由全球頻道和本地關注頻道組成。全局通道由卷積濾波器和最大池層組成。所有單詞都在全局通道的輸入中編碼。本地注意力通道具有一個具有給定窗口大小和閾值的注意層,以選擇信息性詞語(在本工作中稱為觸發(fā)詞)。因此,只有觸發(fā)詞在后續(xù)層中起作用。在后續(xù)工作[127]中,Seo等人。利用與[44]相同的兩個神經網絡(沒有最后兩層)來學習來自用戶和物品評論文本的特征表示,并使用最終層中的點積來預測評分。王等人。[169]提出了一個文章推薦的組合模型,其中CNN用于學習文章表示,并且注意力被用于處理編輯選擇行為的多樣化差異。關于共同關注的推薦張等人。[194]提出了一個組合模型AttRec,它通過利用自我注意力和度量學習的強度來改進順序推薦性能。它利用自我關注從最近的交互中學習用戶的短期意圖,并利用度量學習的優(yōu)勢來學習更具表現(xiàn)力的用戶和物品嵌入。周等人。[205]提出使用自我意識進行用戶異構行為建模。自我關注是一種簡單而有效的機制,并且在順序推薦任務方面表現(xiàn)出優(yōu)于CNN和RNN的性能。我們相信它有能力取代許多復雜的神經模型,預計會有更多的調查。Tay等人。[146]提出了一種基于評論的推薦系統(tǒng),該系統(tǒng)具有多指針共同關注。共同關注使模型能夠通過用戶和物品評論的共同學習來選擇信息評論。張等人。[193]提出了一種基于共同注意的標簽推薦模型,該模型集成了視覺和文本信息。施等人。[62]提出了一種用于元路徑的個性化排名任務的神經共同關注模型。3.8基于神經自回歸的推薦如上所述,RBM不易處理,因此我們通常使用ContrastiveDivergence算法來近似參數(shù)[81]上的對數(shù)似然梯度,這也限制了RBM-CF的使用。所謂的神經自回歸分布估計器(NADE)是一種易處理的分布估計器,它為RBM提供了理想的替代方案。受RBM-CF的啟發(fā),鄭等人。[204]提出了一種基于NADE的協(xié)同過濾模型(CF-NADE)。CF-NADE模擬用戶評級的分布。在這里,我們提供一個詳細的例子來說明CF-NADE的工作原理。假設我們有4部電影:m1(評級為4),m2(評級為2),m3(評級為3)和m4(評級為5)。CF-NADE通過鏈模擬評級向量的聯(lián)合概率規(guī)則:,其中是用戶評價的物品數(shù),是中的元組(1,2,...,)的排列,是第個額定物品的索引,是用戶給物品的評級。更具體地說,該過程如下:(1)用戶給予m1四星級無條件的概率;(2)用戶在m1四星級的條件下給出m22星級的概率;(3)用戶在m1四星級和m2兩星級的條件下給出m33星級的概率;(4)用戶在m1四星級、m2兩星級和m3三星級的條件下給出m45星級的概率。理想情況下,電影的順序應遵循評級的時間戳。然而,實證研究表明,隨機抽取也會產生良好的性能。這個模型可以進一步擴展到深度模型。在后續(xù)論文中,鄭等人。[203]提出結合隱式反饋來克服評級矩陣的稀疏性問題。杜等人。[36]通過用戶物品共同自回歸方法進一步改進了這個模型,該方法在評級估計和個性化排名任務中都表現(xiàn)出色。3.9深入強化學習推薦大多數(shù)推薦模型將推薦過程視為靜態(tài)過程,這使得難以捕獲用戶的時間意圖并及時響應。近年來,DRL已經開始獲得個性化推薦[21,107,168,198-200]。趙等人。[199]提出了一個DRL框架,DEERS,用于在順序交互設置中提供負反饋和正反饋。趙等人。[198]探討了使用DRL的頁面推薦方案,建議的框架DeepPage能夠根據(jù)用戶的實時操作自適應地優(yōu)化項目頁面。鄭等人。[200]提出了一個帶有DRL的新聞推薦系統(tǒng)DRN,以應對以下三個挑戰(zhàn):(1)新聞內容和用戶偏好的動態(tài)變化;(2)納入用戶的退貨模式(對服務);(3)增加建議的多樣性。陳等人。[16]提出了一種健碩的深度Q學習算法,用兩種策略解決不穩(wěn)定的獎勵估計問題:分層抽樣重放和近似后悔獎勵。崔等人。[21]提出用RL和雙聚類解決冷啟動問題。Munemasa等[107]提出使用DRL進行商店推薦。強化學習技術,如情境強盜方法[86],在實際應用中表現(xiàn)出了卓越的推薦性能。深度神經網絡增加了RL的實用性,并且可以為設計實時推薦策略建模各種額外信息。3.10基于對抗網絡的推薦IRGAN[162]是第一個將GAN應用于信息檢索領域的模型。具體而言,作者展示了其在三個信息檢索任務中的能力,包括:網絡搜索,項目推薦和問題回答。在本次調查中,我們主要關注如何使用IRGAN推薦商品。首先,我們介紹IRGAN的一般框架。傳統(tǒng)的GAN由鑒別器和發(fā)生器組成??赡茉谛畔z索方面存在兩種思維流派,即生成檢索和判別檢索。生成檢索假設在文檔和查詢之間存在潛在的生成過程,并且可以通過在給定查詢q的情況下生成相關文檔d來實現(xiàn)檢索任務。判別式檢索學習預測給定標記的相關查詢-文檔對的相關性得分r。IRGAN的目標是將這兩個想法組合成一個統(tǒng)一的模型,并使它們在GAN中扮演像發(fā)電機和鑒別器這樣的極小極大游戲。生成檢索旨在生成類似于基本事實的相關文檔,以欺騙判別性檢索模型。形式上,讓指代用戶的相關性(偏好)分布。生成檢索模型試圖近似真實的相關性分布。判別性檢索試圖區(qū)分相關文件和非相關文件。類似于GAN的目標函數(shù),總體目標如下:其中代表sigmoid形函數(shù),和分別是生成和判別檢索的參數(shù)。參數(shù)和可以通過梯度下降交替學習。構造上述客觀方程用于逐點相關性估計。在某些特定任務中,應該采用成對范式來生成更高質量的排名列表。這里,假設由softmax函數(shù)給出:是從查詢生成文檔的概率。在實詞檢索系統(tǒng)中,和是任務特定的。它們可以具有相同或不同的配方。為方便起見,作者用相同的函數(shù)對它們進行建模,并將它們定義為:和。在物品推薦方案中,作者采用矩陣分解來制定。它可以用其他高級模型代替,例如分解機器或神經網絡。何等人。[52]提出了一種對抗性的個性化排名方法,通過對抗性訓練增強了貝葉斯個性化排名。它在原始BPR目標和對手之間進行極小極大游戲,增加噪音或排列以最大化BPR損失。蔡等人。[9]提出了一種基于GAN的異構書目網絡表示學習方法,可以有效地解決個性化的引文推薦任務。王等人。[164]提出使用GAN為基于存儲器網絡的流推薦器生成負樣本。實驗表明,所提出的基于GAN的采樣器可以顯著提高性能。3.11基于混合模型的推薦利用深度神經網絡的良好靈活性,可以集成許多神經構建塊來形式化更強大和更具表現(xiàn)力的模型。盡管有很多可能的組合方式,但我們建議混合模型應該針對特定任務進行合理而精心的設計。在這里,我們總結了已被證明在某些應用領域有效的現(xiàn)有模型。CNN和自動編碼器?;趨f(xié)作知識的嵌入(CKE)[192]將CNN與自動編碼器結合用于圖像特征提取。CKE可以被視為CDL的更近一步。CDL僅考慮物品文本信息(例如文章摘要和電影情節(jié)),而CKE利用不同嵌入技術的結構內容,文本內容和視覺內容。結構信息包括物品的屬性以及物品和用戶之間的關系。CKE采用TransR[96],一種異構網絡嵌入方法,用于解釋結構信息。同樣,CKE使用SDAE從文本信息中學習特征表示。至于視覺信息,CKE采用堆疊卷積自動編碼器(SCAE)。SCAE通過用卷積層替換完全連接的SDAE層來有效利用卷積。推薦過程以類似于CDL的概率形式完成。CNN和RNN。李等人。[82]提出了一個帶有RNN和CNN的深度混合模型,用于報價推薦。報價推薦被視為在給定查詢文本或對話的情況下生成排序的引用列表的任務(每個對話包含一系列推文)。它應用CNN從學習中學習重要的本地語義,并將它們映射到分布向量。LSTM進一步處理這些分布向量,以計算目標報價與給定推文對話的相關性。整體架構如圖12(a)所示。張等人。[193]提出了基于CNN和RNN的混合模型用于標簽推薦。給定帶有相應圖像的推文,作者利用CNN從圖像中提取特征,并利用LSTM從推文中學習文本特征。同時,作者提出了一種共同關注機制來模擬相關影響并平衡文本和圖像的貢獻。Ebsesu等人。[38]提出了一種神經引文網絡,它將CNN與RNN集成在一個編碼器-解碼器框架中,用于引用推薦。在此模型中,CNN充當編碼器,捕獲來自引用上下文的長期依賴性。RNN用作解碼器,其在所引用的論文的標題中學習單詞的概率,給出所有先前的單詞以及CNN獲得的表示。陳等人。[17]提出了一個具有CNN和RNN的集成框架,用于個性化關鍵幀(視頻中)推薦,其中CNN用于學習關鍵幀圖像的特征表示,RNN用于處理文本特征。RNN和自動編碼器。前面提到的協(xié)同深度學習模型缺乏健碩性,無法對文本信息序列進行建模。王等人。[160]進一步利用集成RNN和去噪自動編碼器來克服這種限制。作者首先設計了一種名為健碩循環(huán)網絡的RNN概括?;趶姶蟮难h(huán)網絡,作者提出了稱為CRAE的分層貝葉斯推薦模型。CRAE還包括編碼和解碼部分,但它用RNN替換前饋神經層,這使得CRAE能夠捕獲物品內容信息的順序信息。此外,作者設計了通配符去噪和beta池技術,以防止模型過度使用。具有DRL的RNN。王等人。[163]提出結合監(jiān)督深度強化學習和RNNs治療建議。該框架可以從指標信號和評估信號中學習處方政策。實驗表明,該系統(tǒng)可以自動推斷和發(fā)現(xiàn)最佳處理方法。我們相信這是一個有價值的話題,有益于社會利益。未來的研究方向和開放性問題雖然現(xiàn)有的工作為深度推薦系統(tǒng)研究奠定了堅實的基礎,但本節(jié)概述了幾個有前途的研究方向。我們還詳細闡述了幾個開放性問題,我們認為這些問題對該領域的現(xiàn)狀至關重要。4.1聯(lián)合代表學習用戶和物品內容信息提出準確的建議需要深入了解物品特征和用戶的實際需求和偏好[1,85]。當然,這可以通過利用豐富的輔助信息來實現(xiàn)。例如,上下文信息根據(jù)用戶的情況和環(huán)境定制服務和產品[151],并減輕冷啟動的影響;隱式反饋表明用戶的隱含意圖并且更容易收集,而收集明確的反饋是一項需要資源的任務。雖然現(xiàn)有的工作已經研究了深度學習模型在挖掘用戶和物品概況[92,196],隱式反饋[50,188,196,203],上下文信息[38,75,118,149,151]和評論文本[87,127,174,202]以獲得建議,他們不會全面利用這些不同的輔助信息,并充分利用現(xiàn)有數(shù)據(jù)。此外,很少有作品從社交媒體[61]和物理世界(例如物聯(lián)網)調查用戶的足跡(例如推文或Facebook帖子)[186]??梢詮倪@些輔助數(shù)據(jù)資源推斷用戶的時間興趣或意圖,而深度學習方法是用于整合這些附加信息的期望且強大的工具。深度學習處理異構數(shù)據(jù)源的能力也為使用非結構化數(shù)據(jù)(如文本,視覺,音頻和視頻功能)推薦不同物品帶來了更多機會。此外,特征工程尚未在推薦研究界進行過充分研究,但它在工業(yè)應用中必不可少并廣泛應用[20,27]。但是,大多數(shù)現(xiàn)有模型需要手動操作和選擇的功能,這既費時又乏味。深度神經網絡是一種通過減少人工干預來實現(xiàn)自動特征破解的有前途的工具[129]。還可以通過“野外”中存在的自由文本,圖像或數(shù)據(jù)進行表示學習,而無需設計復雜的特征工程管道。對推薦系統(tǒng)特有的深度特征工程進行更深入的研究,可以節(jié)省人力,提高推薦質量。一個有趣的前瞻性研究問題是如何設計最能利用其他數(shù)據(jù)模式可用性的神經架構。最近的一項工作可能為這種性質的模型鋪平道路,即聯(lián)合代表學習框架[197]。學習用戶和項目的聯(lián)合(可能是多模式表示)可能成為推薦系統(tǒng)研究的下一個新興趨勢。為此,深度學習這一方面將是如何以端到端的方式設計出感應偏差(混合神經架構)。例如,推理不同的模態(tài)(文本,圖像,交互)數(shù)據(jù)以獲得更好的推薦性能。4.2深度學習的可解釋建議一種常見的解釋是深度神經網絡是高度不可解釋的。因此,提出可解釋的建議似乎是一項艱巨的任務。同樣,假設大型,復雜的神經模型只是將數(shù)據(jù)與任何真正的理解相匹配也是很自然的(參見后面關于機器推理的推薦部分)。這正是為什么這個方向既令人興奮又至關重要的原因??山忉尩纳疃葘W習主要有兩種方法。第一個是對用戶做出可解釋的預測,讓他們了解網絡推薦背后的因素(即為什么推薦這個物品/服務?)[126,178]。第二個軌道主要側重于從業(yè)者的解釋能力,探測權重和激活以更多地了解模型[145]。截至今天,注意力模型[126,146,178]或多或少地緩解了神經模型的不可解釋的問題。如果有的話,注意力模型反而導致更大范圍的可解釋性,因為注意力量不僅提供關于模型的內部工作的見解,而且還能夠向用戶提供可解釋的結果。雖然
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業(yè)或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 湖北孝感美珈職業(yè)學院《食品貯運保鮮學》2023-2024學年第一學期期末試卷
- 2025年度行政救濟制度提升與執(zhí)行合同3篇
- 綿陽四川綿陽梓潼縣文化廣播電視和旅游局招募文化工作者2人筆試歷年參考題庫附帶答案詳解
- 2025年房產抵押貸款期限合同3篇
- 2025年度汽車銷售與汽車改裝合同范本2篇
- 株洲2025年湖南株洲市蘆淞區(qū)面向應屆生招聘教師30人筆試歷年參考題庫附帶答案詳解
- 杭州浙江杭州市上城區(qū)丁蘭街道衛(wèi)生服務中心編外工作人員招聘筆試歷年參考題庫附帶答案詳解
- 廣州廣東廣州市增城區(qū)合生育才學校2024學年第二學期招聘非編制教師筆試歷年參考題庫附帶答案詳解
- 2025年新型城鎮(zhèn)化建設項目施工單位招標投標合同匯編3篇
- 臺州浙江臺州路橋區(qū)農業(yè)農村和水利局招聘動物檢疫站編外工作人員筆試歷年參考題庫附帶答案詳解
- 巖土工程勘察課件0巖土工程勘察
- 《腎上腺腫瘤》課件
- 2024-2030年中國典當行業(yè)發(fā)展前景預測及融資策略分析報告
- 《乘用車越野性能主觀評價方法》
- 幼師個人成長發(fā)展規(guī)劃
- 2024-2025學年北師大版高二上學期期末英語試題及解答參考
- 批發(fā)面包采購合同范本
- 乘風化麟 蛇我其誰 2025XX集團年終總結暨頒獎盛典
- 2024年大數(shù)據(jù)分析公司與中國政府合作協(xié)議
- 一年級數(shù)學(上)計算題專項練習匯編
- 中醫(yī)基礎理論課件
評論
0/150
提交評論