第7章 用戶畫像及推薦系統(tǒng)

1、第7章 用戶畫像及 推薦系統(tǒng)溫浩宇 西安電子科技大學(xué)出版社商業(yè)智能：方法與應(yīng)用目 錄O N T E N T S7.1 用戶畫像7.2 推薦系統(tǒng)用戶畫像基本概念單個用戶畫像流程群體用戶畫像流程用戶畫像評估用戶畫像應(yīng)用推薦系統(tǒng)基本概念相似度度量方法及最近鄰確定基于用戶的最近鄰?fù)扑]基于物品的最近鄰?fù)扑]基于用戶與基于物品的方法的比較基于模型的協(xié)同過濾7.1 用戶畫像用戶畫像基本概念單個用戶畫像流程群體用戶畫像流程用戶畫像評估用戶畫像應(yīng)用用戶畫像基本概念定義特點 分類l單個用戶畫像 研究對象：某一特定場景下的具體用戶 目標(biāo)：對不同用戶做出個體區(qū)分，深入了解用戶需求l群體用戶畫像 研究對象：某一特定情境下

2、的特定用戶群體 目標(biāo)：將具有相似特征的用戶聚類，方便進(jìn)一步識別用戶群體l真實性l標(biāo)簽化l動態(tài)性l領(lǐng)域性 l用戶角色（User Persona）傾向于從不同群體中抽象出不同類型的用戶角色l用戶畫像（User Profile）用戶信息的標(biāo)簽化；側(cè)重于從不同維度對同一類用戶進(jìn)行刻畫，從而進(jìn)一步細(xì)分某一類用戶單個用戶畫像基本流程03 特征提取興趣屬性標(biāo)簽單個用戶畫像基本流程圖單個用戶畫像基本流程01 數(shù)據(jù)收集數(shù)據(jù)類型某電商網(wǎng)站數(shù)據(jù)分類圖行為類型搜索瀏覽購買發(fā)表點贊 接觸點帆布鞋匡威 雙 十 一大促頁 用戶數(shù)據(jù) 靜態(tài)信息數(shù)據(jù)商業(yè)屬性職業(yè)動態(tài)信息數(shù)據(jù)人口基本屬性性別年齡地域婚姻狀況消費等級消費周期行為數(shù)據(jù)

3、 消費數(shù)據(jù)消費商品消費總額單個用戶畫像基本流程01 數(shù)據(jù)收集數(shù)據(jù)收集方法123社會調(diào)查通過訪談、觀察、調(diào)研等社會調(diào)查的方法，直接收集獲取用戶畫像所需要的數(shù)據(jù)平臺數(shù)據(jù)庫直接從企業(yè)數(shù)據(jù)庫采集用戶數(shù)據(jù)或購買接口獲得數(shù)據(jù) 網(wǎng)絡(luò)數(shù)據(jù)采集使用網(wǎng)絡(luò)采集方法獲取用戶公開數(shù)據(jù)，如：網(wǎng)絡(luò)爬蟲等單個用戶畫像基本流程02 數(shù)據(jù)清洗01去除/補(bǔ)全有缺失的數(shù)據(jù)去除/修改格式和內(nèi)容錯誤的數(shù)據(jù)去除非必需數(shù)據(jù)02030504去除/修改邏輯錯誤的數(shù)據(jù)不同來源數(shù)據(jù)關(guān)聯(lián)性驗證03 特征提取人口屬性標(biāo)簽單個用戶畫像基本流程人口屬性標(biāo)簽內(nèi)容 性別、年齡、職業(yè)、收入等個人信息人口屬性標(biāo)簽特點 比較穩(wěn)定，且在實際應(yīng)用中不是全部用戶提供人口基

4、本屬性數(shù)據(jù)構(gòu)建人口屬性標(biāo)簽方法 標(biāo)簽擴(kuò)散模型用填寫信息的用戶作為樣本，對無標(biāo)簽用戶進(jìn)行屬性預(yù)測有信息的用戶行為特征模型無信息的用戶提取訓(xùn)練預(yù)測人口屬性標(biāo)簽建立過程示意圖03 特征提取興趣屬性標(biāo)簽單個用戶畫像基本流程 活躍用戶用戶畫像構(gòu)建方法 分析用戶發(fā)表文章生成相應(yīng)興趣畫像獲取文章關(guān)鍵詞構(gòu)建興趣偏好詞典賦予不同興趣偏好權(quán)重得到活躍用戶興趣愛好標(biāo)簽 非活躍用戶用戶畫像構(gòu)建方法 分析用戶關(guān)注賬戶或點贊文章計算用戶所關(guān)注賬戶信息或所點贊文章信息中每個實體概念所屬網(wǎng)站類別的權(quán)重得到由網(wǎng)站類別構(gòu)成的興趣愛好得到非活躍用戶的興趣愛好03 特征提取地理位置屬性標(biāo)簽單個用戶畫像基本流程常駐地屬性標(biāo)簽 基于用戶

5、的IP地址信息，對用戶的IP地址進(jìn)行接續(xù)，得到常駐城市標(biāo)簽GPS軌跡數(shù)據(jù) 從手機(jī)基于位置的服務(wù)（LBS）進(jìn)行收集導(dǎo)航類APP獲取LBS日志數(shù)據(jù)清洗與匯總 LBS位置與POI匹配用戶POI場景判斷POI類型到訪次數(shù)時間段分布天數(shù)分布居住工作購物就餐GPS地理位置畫像流程單個用戶畫像基本流程03 特征提取興趣屬性標(biāo)簽用戶畫像標(biāo)簽體系群體用戶畫像流程01n 單個用戶畫像獲取 數(shù)據(jù)收集、數(shù)據(jù)清洗和特征提取方法獲取用戶畫像數(shù)據(jù) 推薦系統(tǒng)的數(shù)據(jù)統(tǒng)計模塊獲得用戶畫像數(shù)據(jù)02n 用戶畫像相似度計算（1）定量標(biāo)簽相似度計算 計算公式： 不同定量標(biāo)簽數(shù)據(jù)歸一化處理方法：線性函數(shù)轉(zhuǎn)換、對數(shù)函數(shù)轉(zhuǎn)化、反正切函數(shù) 轉(zhuǎn)化

6、等 定量標(biāo)簽距離計算方法：歐式距離、曼哈頓距離、余弦相似度、Jacard系數(shù)等（2）定性標(biāo)簽相似度計算 將定性標(biāo)簽映射為定量標(biāo)簽，采用定量標(biāo)簽相似度計算方法 基于概念的相似度計算方法群體用戶畫像流程03n 用戶畫像聚類及群體用戶畫像生成 用戶畫像聚類：對單個用畫像根據(jù)相似度計算結(jié)果進(jìn)行分類 聚類原則：使類別內(nèi)差異最小，類別間差異最大 聚類目標(biāo)：發(fā)現(xiàn)用戶畫像建隱含關(guān)系，提取核心用戶畫像 群體用戶畫像生成：根據(jù)聚類結(jié)果，抽象出每個聚類群體的典型用戶畫像用戶畫像評估010203定義：被打上正確標(biāo)簽的用戶比例計算公式：準(zhǔn)確率定義：被打上標(biāo)簽的用戶占全量用戶的比例計算公式：覆蓋率不同特征標(biāo)簽時效性要求不

7、同，需要建立合理的更新機(jī)制，以保證標(biāo)簽時間上的時效性時效性用戶畫像應(yīng)用應(yīng)用二應(yīng)用一應(yīng)用三基礎(chǔ)信息查詢構(gòu)建用戶畫像的基礎(chǔ)上建立用戶標(biāo)簽庫及用戶關(guān)系庫，實現(xiàn)基礎(chǔ)信息查詢，便于企業(yè)深入了解用戶需求精準(zhǔn)營銷依托用戶畫像，分析用戶的行為習(xí)慣及消費習(xí)慣，為用戶的消費行為打上專屬標(biāo)簽，進(jìn)而實現(xiàn)精準(zhǔn)推送產(chǎn)品或服務(wù)優(yōu)化用戶畫像實現(xiàn)對不同特征的用戶進(jìn)行路徑分析，發(fā)現(xiàn)用戶從新用戶到流失用戶的隱含原因，進(jìn)而實現(xiàn)公司運營優(yōu)化用戶畫像應(yīng)用應(yīng)用四應(yīng)用五個性化業(yè)務(wù)定制主要包括個性化推薦、個性化支持和個性化信用評級，同時根據(jù)用戶實時行為，不斷調(diào)整用戶畫像，對定制內(nèi)容實時反饋調(diào)整企業(yè)戰(zhàn)略制定用戶畫像在宏觀層面的重要意義主要體現(xiàn)在

8、市場走向判斷、用戶群體劃分和產(chǎn)品定位三個方面7.2 推薦系統(tǒng)推薦系統(tǒng)基本概念相似度度量方法及最近鄰確定基于用戶的最近鄰?fù)扑]基于物品的最近鄰?fù)扑]基于用戶與基于物品的方法的比較基于模型的最近鄰?fù)扑]7.2.1.1 推薦系統(tǒng)基本概念定義推薦系統(tǒng)是為滿足電子商務(wù)發(fā)展和解決網(wǎng)絡(luò)信息超載而產(chǎn)生的。比如基于內(nèi)容的推薦算法、基于協(xié)同過濾的推薦算法、基于知識的推薦算法、基于社交網(wǎng)絡(luò)的推薦算法等。協(xié)同過濾推薦算法 ：推薦系統(tǒng)中最早、最成熟的技術(shù)。7.2.1.2 協(xié)同過濾推薦定義協(xié)同過濾推薦算法即根據(jù)用戶過往對物品或信息的偏好，發(fā)現(xiàn)物品或內(nèi)容本身的相關(guān)性，或者用戶間的相關(guān)性，基于這些相關(guān)性預(yù)測出當(dāng)前用戶對其它物品或信

9、息的喜好程度，以決定是否進(jìn)行推薦。從評分的角度可以解釋為，用已知的評分去估計未知的評分。分類 基于記憶(memory-based)的基于模型(model-based)的基于用戶(user-based)的最近鄰?fù)扑]基于物品(item-based)的最近鄰?fù)扑]7.2.2 相似度度量方法及最近鄰確定歐幾里得距離（Euclidean Distance）皮爾遜相關(guān)系數(shù)（Pearson Correlation Coefficient）余弦相似度（Cosine Similarity）相似度度量方法010203)(),(2iiyxyxd),(11),(yxdyxsim22)()()()(),(),(yixiy

10、ixiyxyxyxPearsonyxSim2222),(iiiiyxyxyxyxyxT7.2.2 相似度度量方法及最近鄰確定確定鄰居用戶/物品通常有以下兩種方法：給定鄰居數(shù)量來確定最近鄰（K-neighborhoods），如圖1.1左。以達(dá)到相似度門檻的鄰居作為最近鄰（Fix-size neighborhoods），如圖1.1右。圖7.4 最近鄰居的選擇7.2.3 基于用戶的最近鄰?fù)扑]定義基于用戶的最近鄰?fù)扑]算法是利用這些相似或同類用戶對商品評分的加權(quán)平均值，來預(yù)測目標(biāo)用戶對特定商品的喜好程度，從而根據(jù)這一喜好程度對目標(biāo)用戶進(jìn)行推薦。算法過程 ：（1）收集用戶的偏好（2）確定最近鄰居用戶（3）

11、評分預(yù)測7.2.3 基于用戶的最近鄰?fù)扑]（1）收集用戶的偏好 評分大體上可分為顯示評分（explicit feedback）和隱式評分（implicit feedback）兩種。評分是由用戶對物品的喜愛程度所決定的，可能是連續(xù)的值，也可以是離散的值。用戶行為用戶行為類型類型特征特征作用作用打分連續(xù)分值離散分值順序分值通常為整數(shù)量化的偏好，可能的取值是0,n, n為正整數(shù)通過用戶對物品的打分，精確得到用戶的偏好投票二元評分 布爾量化的偏好，取值是0或1通過用戶對物品的投票，可以較精確得到用戶的偏好轉(zhuǎn)發(fā)一元評分 布爾量化的偏好，取值是0或1通過用戶對物品的轉(zhuǎn)發(fā)，可以精確得到用戶的偏好；同時可以推理

12、得到被轉(zhuǎn)發(fā)人的偏好（不精確）點贊/收藏 一元評分 布爾量化的偏好，取值是0或1通過用戶對物品的點贊或收藏，可以精確得到用戶的偏好標(biāo)記標(biāo)簽文本一些詞語，需要對文本進(jìn)行分析，得到偏好通過分析用戶的標(biāo)簽，可以得到用戶對內(nèi)容的理解，同時可以分析出用戶的情感：喜歡還是厭惡評論文本一段文字，需要進(jìn)行文本分析，得到偏好通過分析用戶的評論，可以得到用戶的情感：喜歡或是厭惡（2）確定最近鄰居用戶 利用用戶的歷史喜好信息，通過上述相似度度量公式等計算相似度，計算出用戶之間的距離，即用戶之間的“近鄰”關(guān)系。下表是用戶Tom和其他兩名用戶對物品AD的評分?jǐn)?shù)據(jù)。分值從1到5分別表示“非常討厭”“討厭”“中立”“喜歡”和

13、非常喜歡。通過找出用戶1和用戶2中誰是與Tom更相似的用戶，進(jìn)而根據(jù)該鄰居用戶對物品D的評分去判斷是否應(yīng)該給Tom推薦物品D。用戶用戶/ /物品物品物品物品A A物品物品B B物品物品C C物品物品D DTom524推薦？用戶14153用戶224317.2.3 基于用戶的最近鄰?fù)扑] 設(shè)U=u1,un代表用戶集，P=p1,pm代表物品集。nm的評分矩陣R=rij，其中i1n，j1m。用Pearson相關(guān)系數(shù)來衡量兩用戶之間評分向量的相似度Sim（u1,u2），確定鄰居用戶集。相關(guān)系數(shù)的取值為-1,1，代表從強(qiáng)負(fù)相關(guān)到強(qiáng)正相關(guān)。7.2.3 基于用戶的最近鄰?fù)扑]首先，計算每位用戶的平均評分u：5 .

14、 2，25. 3，67. 321Tomuu 其次，計算Tom與用戶1的相似度：84. 025. 3525. 3125. 3467. 3467. 3267. 3525. 3567. 3425. 3167. 3225. 3467. 35)()()()(),(2222222211, 1,1, 1,）（）（）（）（）（）（）（）（）（）（）（）（-*-*-*-rrrruTomSimPpuuPpPpuupTompTompTompTom 同理可得到Tom與用戶2的相似度為-0.84。綜上，我們得出Tom的最近鄰用戶是用戶1，相似度為0.84，意味著用戶1 的評分行為與目標(biāo)用戶更為相似。7.2.3 基于用戶

15、的最近鄰?fù)扑]首先，用戶的評分需要按行進(jìn)行均值中心化（mean-centered）： 即以每個用戶對每一件物品的評分減去該用戶的平均評分得到均值中心化的矩陣，如下表：（3）評分預(yù)測upu,pu,-r=s用戶用戶/ /物品物品物品物品A A物品物品B B物品物品C C物品物品D DTom1.33-1.670.33推薦？用戶10.75-2.251.75-0.25用戶2-0.51.50.5-1.57.2.3 基于用戶的最近鄰?fù)扑]其次，令V表示目標(biāo)用戶u的k個近鄰的集合，故預(yù)測用戶對某一物品的評分，可使用如下預(yù)測函數(shù)： 示例中，Tom的鄰居用戶只有用戶1，故得到：VvVvpv,upu,v)Sim(u,s

16、v)Sim(u,r25. 0-s41,pu42. 384. 025. 084. 067. 3）（-*r4Tom,p 由此預(yù)測出Tom對物品D的評分為3.42，故不建議推薦。7.2.4 基于物品的最近鄰?fù)扑]定義基于物品的最近鄰?fù)扑]算法是利用“物品”而非“用戶”的相似度來預(yù)測目標(biāo)用戶還可能喜歡哪些物品或內(nèi)容。簡單來講，基于用戶是計算評分矩陣的行之間的相似度，而基于物品是計算列之間的相似度。算法過程 ：（1）收集用戶的偏好（同上）（2）確定最近鄰居物品（3）評分預(yù)測（2）確定最近鄰居物品 利用用戶的歷史喜好信息，通過上述相似度度量公式等計算相似度，計算出用戶之間的距離，即用戶之間的“近鄰”關(guān)系。仍是

17、以上述例子來說明。由余弦相似度公式，得到物品A與物品D的相似度（注意這里選擇的必須是對相同物品都做出評價的用戶）：7.2.4 基于物品的最近鄰?fù)扑]41. 0)5 . 1()25. 0()5 . 0(75. 0)5 . 1(*)5 . 0()25. 0(*75. 0),(22222,2,UupuUupuUupupu414141ssssppT（3）評分預(yù)測 同理，物品B與物品D的相似度： 物品C與物品D的相似度：預(yù)測用戶對某一物品的評分，依然可使用如下預(yù)測函數(shù)：7.2.4 基于物品的最近鄰?fù)扑]通過比較，顯然物品A是與物品D最相似的，物品B、C比較相近（余弦相似度均大于零）。15. 0),(42pp

18、T11. 0),(43ppTPpiPppiu,ipu,iip),T(prp),T(pr 故由所有鄰居物品的加權(quán)平均總和得到Tom對物品D的預(yù)測評分：16. 411. 015. 041. 011. 0415. 0241. 05*r4Tom,p4.16高于Tom的平均評分3.67，故可以選擇推薦?；谟脩艉突谖锲穬煞N算法共同存在的問題：數(shù)據(jù)稀疏與冷啟動長尾效應(yīng)當(dāng)物品的數(shù)量龐大而可用的評分?jǐn)?shù)據(jù)太小時，得到的評分矩陣一般都非常稀疏，被稱為冷啟動問題。此時傳統(tǒng)的協(xié)同過濾模型得到的預(yù)測往往會受到很大的影響。用戶的評分頻率通常會符合一種長尾效應(yīng)，即經(jīng)常被評價的熱門物品的數(shù)量相對較少，而未被評價的冷門物品占絕大多數(shù)。7.2.5 基于用戶與基于物品的方法的比較優(yōu)點基于 物品精度較高；物品-物品