數(shù)據(jù)中心培訓(xùn)

推薦系統(tǒng)數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第1頁(yè)。1.推薦系統(tǒng)&個(gè)性化推薦系統(tǒng)2.協(xié)同過(guò)濾3.SVD分解4.SVD+協(xié)同過(guò)濾5.基于latentfactormodel的矩陣分解模型數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第2頁(yè)。1.1推薦系統(tǒng)熱門推薦相關(guān)推薦個(gè)性化推薦推薦系統(tǒng)為什么個(gè)性化推薦？What

islongtail：由《連線》雜志主編ChrisAnderson在2004年10月“長(zhǎng)尾”一文中最早提出，用來(lái)描述諸如亞馬遜和Netflix之類網(wǎng)站的商業(yè)和經(jīng)濟(jì)模式。傳統(tǒng)的“80%的銷售額來(lái)自于20%的熱門品牌”賣出更多不熱門的商品，長(zhǎng)尾商品的總銷售額將是不可小覷的數(shù)字。主流商品代表了絕大多數(shù)用戶的需求，而長(zhǎng)尾商品代表了一小部分用戶的個(gè)性需求。因此，如果要通過(guò)發(fā)掘長(zhǎng)尾提高銷售額，必須充分研究用戶的興趣。長(zhǎng)尾互聯(lián)網(wǎng)加入數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第3頁(yè)。亞馬遜：20%-30%數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第4頁(yè)。2.1協(xié)同過(guò)濾（CollaborativeFilteringRecommendation）主要思想：和你興趣合得來(lái)的朋友喜歡的，你也很有可能喜歡；喜歡一件東西A，而另一件東西B與這件十分相似，就很有可能喜歡B；大家都比較滿意的，人人都追著搶的，我也就很有可能喜歡經(jīng)典著名的商業(yè)組織有：

1、Tapestry（1992）：電子郵件分類過(guò)濾，解決Xerox公司在PaloAlto的研究中心資訊過(guò)載問(wèn)題。

2、GroupLens（1994）：推薦系統(tǒng)，在線社區(qū)，移動(dòng)及普適技術(shù)，數(shù)字圖書(shū)館，和地理信息系統(tǒng)，見(jiàn)大名鼎鼎的MovieLens電影評(píng)分推薦。

3、Netflix：研究影視視頻在線推薦。

4、Amazon：亞馬遜網(wǎng)絡(luò)書(shū)城，為亞馬遜每年貢獻(xiàn)二三十個(gè)百分點(diǎn)的創(chuàng)收。數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第5頁(yè)。2.2協(xié)同過(guò)濾分類：

基于用戶協(xié)同過(guò)濾（User–based）：基于計(jì)算相似用戶用以推薦基于物品協(xié)同過(guò)濾（Item–based）：基于計(jì)算相似物品用以推薦數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第6頁(yè)。2.3基于用戶的協(xié)同過(guò)濾最古老的算法，標(biāo)志了推薦系統(tǒng)的誕生，在1992年被提出用于郵件過(guò)濾，1994年被Grouplens用于新聞過(guò)濾。通過(guò)不同用戶對(duì)item的評(píng)分來(lái)評(píng)測(cè)用戶之間的相似性，基于用戶之間的相似性做出推薦。步驟：（1）找到和目標(biāo)用戶興趣相似的用戶集合（2）找到這個(gè)集合中的用戶喜歡的，且目標(biāo)用戶沒(méi)有聽(tīng)說(shuō)過(guò)

的物品推薦給目標(biāo)用戶數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第7頁(yè)。2.3.1發(fā)現(xiàn)興趣相似用戶

數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第8頁(yè)。數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第9頁(yè)。2.3.2推薦物品首先需要從矩陣中找出與目標(biāo)用戶u最相似的K個(gè)用戶，用集合S(u,K)表示，將S中用戶喜歡的物品全部提取出來(lái)，并去除u已經(jīng)喜歡的物品。對(duì)于每個(gè)候選物品i，用戶u對(duì)它感興趣的程度用如下公式計(jì)算：其中rvi表示用戶v對(duì)i的喜歡程度，在一些需要用戶給予評(píng)分的推薦系統(tǒng)中，則要代入用戶評(píng)分。假設(shè)我們要給A推薦物品，選取K=3個(gè)相似用戶，相似用戶則是：B、C、D，那么他們喜歡過(guò)并且A沒(méi)有喜歡過(guò)的物品有：c、e，那么分別計(jì)算p(A,c)和p(A,e)：

數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第10頁(yè)。2.4.1基于物品的協(xié)同過(guò)濾（1）計(jì)算物品之間的相似度（2）根據(jù)物品的相似度和用戶的歷史行為給用戶生成推薦列表喜歡物品i的用戶中有多少比例的用戶也喜歡j如果j很熱門，值接近于1，對(duì)于挖掘長(zhǎng)尾信息不是一個(gè)好的特性。

數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第11頁(yè)。和用戶歷史上感興趣的物品越相似的物品，越可能在推薦表中獲得比較高的排名。

數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第12頁(yè)。行與行之間比較的是基于用戶的相似度，列與列之間比較的則是基于物品的相似度。到底使用哪一種相似度呢？這取決于用戶或物品的數(shù)目?；谖锲废嗨贫扔?jì)算的時(shí)間會(huì)隨物品數(shù)量的增加而增加，基于用戶的相似度計(jì)算的時(shí)間則會(huì)隨用戶數(shù)量的增加而增加。在Netflix大賽中，則會(huì)有480000個(gè)用戶和17700部電影。如果用戶的數(shù)目很多，那么我們可能傾向于使用基于物品相似度的計(jì)算方法。數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第13頁(yè)。3.SVD分解

數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第14頁(yè)。數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第15頁(yè)。如何知道僅需保留前3個(gè)奇異值的呢？確定要保留的奇異值的數(shù)目有很多啟發(fā)式的策略，其中一個(gè)典型的做法就是保留矩陣中90%的信息。為了計(jì)算總信息，我們將所有的奇異值求其平方和。于是可以將奇異值的平方和累加到總值的90%為止。通過(guò)三個(gè)矩陣對(duì)原始矩陣進(jìn)行了近似

數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第16頁(yè)。4.SVD+協(xié)同過(guò)濾SVD是一種強(qiáng)大的降維工具，我們可以利用SVD來(lái)逼近矩陣并從中提取重要特征。通過(guò)保留矩陣80%～90%的信息，就可以得到重要的特征并去掉噪聲。SVD已經(jīng)運(yùn)用到了多個(gè)應(yīng)用中，其中一個(gè)成功的應(yīng)用案例就是推薦系統(tǒng)。推薦系統(tǒng)將物品推薦給用戶，協(xié)同過(guò)濾則是一種基于用戶喜好或行為數(shù)據(jù)的推薦的實(shí)現(xiàn)方法。協(xié)同過(guò)濾的核心是相似度計(jì)算方法，有很多相似度計(jì)算方法都可以用于計(jì)算物品或用戶之間的相似度。通過(guò)在低維空間下計(jì)算相似度，SVD提高了推薦系系統(tǒng)的效果。數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第17頁(yè)。VozalisMG,MargaritisKG.ApplyingSVDonGeneralizedItem-basedFiltering[J].IJCSA,2006,3(3):27-51.

數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第18頁(yè)。5.基于梯度下降法的矩陣分解模型在時(shí)間復(fù)雜度和空間復(fù)雜度方面都有很大的優(yōu)勢(shì)`思想：讓變量沿著目標(biāo)函數(shù)負(fù)梯度的方向移動(dòng)，直到移動(dòng)到極小值點(diǎn)一個(gè)用戶u對(duì)一個(gè)物品i的打分rui可以通過(guò)用戶特征向量pu和物品特征向量qi的點(diǎn)乘來(lái)建模特征向量pu;qi可以通過(guò)優(yōu)化如下的損失函數(shù)進(jìn)行訓(xùn)練：

數(shù)據(jù)中心培訓(xùn)全文共20頁(yè)，當(dāng)前為第19頁(yè)。矩陣分解的思路是把評(píng)分矩陣通過(guò)分解，用一個(gè)低秩的矩陣來(lái)逼近原來(lái)的評(píng)分矩陣。優(yōu)點(diǎn)：容易編程實(shí)現(xiàn)較低的時(shí)間和空間復(fù)雜度預(yù)測(cè)的精度比較高缺點(diǎn)推薦的結(jié)果不具有很好的可解釋性。因?yàn)榘裷atingsmatrix分解成user-factormatrix和item-factormatrix，這里的factor很難用實(shí)際意義的概念來(lái)解釋。不過(guò)，矩陣分解的過(guò)程相當(dāng)于一個(gè)軟聚類的過(guò)程，得到的每一個(gè)factor相當(dāng)于每一個(gè)聚類后的分組，只是