停不下來的推薦實踐-課件

1、分享人:陳開江停不下來的推薦移動互聯(lián)網(wǎng)下的推薦實踐分享什么“停不下來”？終端數(shù)據(jù)我們以前，我們在PC上如何耕耘？提取核心詞相似排序檢索推薦展示48小時內(nèi)的高質(zhì)量原創(chuàng)微博保證多樣性微博正文相關(guān)推薦初始IDF+Entropy提取核心詞獲取推薦候選預(yù)估ctr推薦展示48小時內(nèi)的高質(zhì)量原創(chuàng)微博歷史優(yōu)質(zhì)微博內(nèi)容庫百萬級特征10億級樣本并行訓練特征管理模型評估AB-test統(tǒng)一樣式，吸引用戶保證多樣性詞關(guān)聯(lián)擴展Word2vec改造微博正文相關(guān)推薦演化后TextRank+IDF+Entropy+ctr演化后的效果同樣的技術(shù)架構(gòu)，復用到客戶端之后？PC和移動推薦的對比（微博正文）微博推薦客戶端實例哪些不同？長

2、相血液角色找不同拜拜，PC。車載移動電臺好節(jié)目平臺個性化電臺考拉FM個性化移動網(wǎng)絡(luò)電臺這是個什么生物？不間斷的語音流陪伴式收聽產(chǎn)品介紹獨家秘制電臺節(jié)目我真的是電臺，而不是打著FM旗號的網(wǎng)絡(luò)音樂播放器。整合傳統(tǒng)電臺節(jié)目億萬個各不相同的FM頻率優(yōu)化目標和約束延長用戶收聽時長提高用戶與節(jié)目的互動提高用戶在平臺上的活躍度發(fā)現(xiàn)用戶新興趣，指導內(nèi)容生產(chǎn)推送用戶最感興趣的節(jié)目優(yōu)化目標可用的數(shù)據(jù)考拉FM中的用戶行為頂、踩、跳過（一期節(jié)目）訂閱（一檔節(jié)目）收藏（一期節(jié)目）點播（一期節(jié)目）分享（一期節(jié)目）移動設(shè)備上的傳感數(shù)據(jù)其他實踐一：招待新客人新用戶新節(jié)目冷啟動熱門榜不要過度依賴熱門榜登錄微博抓取微博信息用戶分

3、類興趣分類相似用戶第三方數(shù)據(jù)CUR預(yù)估CUR預(yù)估頂？還是不頂？這是個二分類問題莎士比亞CUR預(yù)估User feature:標簽，性別，地域，分類，Item feature:標簽，類別，內(nèi)容關(guān)鍵詞，主持人，風格，所播音樂的歌手，音樂節(jié)奏Context feature:時間，狀態(tài)（靜止，移動），GPS數(shù)據(jù)，本地天氣，周邊路況，動態(tài)特征CUR預(yù)估特征CUR預(yù)估樣本顯然，正樣本是“頂”過的數(shù)據(jù)。那么，負樣本就是“踩”過的數(shù)據(jù)嗎？踩過的數(shù)據(jù)太少，需要從踩+無表達數(shù)據(jù)中隨機抽取。CUR預(yù)估樣本1、特征值需要歸一化或者離散成binary特征；LR模型訓練備忘2、特征組合值得一試；3、樣本質(zhì)量很重要。4、樣本

4、保證時間順序：有利于淘汰或衰減舊樣本，方便用新樣本測試、更新模型專家標注傅里葉變換節(jié)目類型、主持人、標簽等音頻分析節(jié)目稿件內(nèi)容關(guān)鍵詞新節(jié)目實踐二：不忘老客人協(xié)同過濾(S1)CUR預(yù)估(S2)熱門榜(S3)w1*s1+w2*s2+w3*s3伺候老用戶改造1：針對節(jié)目檔和期分別構(gòu)造協(xié)同矩陣分片協(xié)同過濾改造2：針對各種用戶反饋分別構(gòu)造協(xié)同矩陣改造3：針對用戶收聽百分比構(gòu)造評分矩陣加權(quán)融合協(xié)同過濾的快速實驗GraphChi單機神器圖計算GraphLab家族協(xié)同過濾的快速實驗百萬用戶，萬級節(jié)目，近億級邊的二部圖Graphchi做矩陣分解只需要34min小公司的救星值得頒錦旗多模型融合w1*s1+w2*s

5、2+w3*s3如何科學地確定權(quán)重？用三項模型預(yù)測結(jié)果，最小二乘法擬合用戶收聽時長百分比加入微博登錄信息多模型融合收聽百分比實踐三：隨叫隨到的服務(wù)即時推薦相似節(jié)目推薦相關(guān)節(jié)目推薦即時推薦內(nèi)容分類(形式分類(節(jié)目調(diào)性(節(jié)目風格(主持人姓名主持人個數(shù)主持人性別主持人聲音類型標簽/關(guān)鍵詞向量空間模型余弦相似度相似節(jié)目節(jié)目稿件內(nèi)容節(jié)目排重節(jié)目排重背景：同一新聞，不同節(jié)目在播報數(shù)據(jù)：短文本需求：對高度重合的主題快速聚類節(jié)目排重后綴樹聚類（suffix tree cluster）在線增量構(gòu)造后綴樹：Ukkonen算法秒級快速聚類：排重，尋找同主題節(jié)目詞數(shù)最大類數(shù)實際類數(shù)時間(秒)預(yù)處理(秒)178,6372

6、501855.993.95178,6371201205.964.02內(nèi)容相似計算倒排索引離線計算內(nèi)容向量長度離線計算用戶頂過的節(jié)目之間相似度WAND算法：剪枝5ms節(jié)目的協(xié)同效應(yīng)頂過這個節(jié)目的用戶還頂過哪些節(jié)目相關(guān)節(jié)目推薦相關(guān)節(jié)目推薦量化平均用戶收聽時長加入微博信息，解決冷啟動多模型融合即時推薦實踐四：論清洗的重要性數(shù)據(jù)質(zhì)量的重要性網(wǎng)絡(luò)環(huán)境復雜不穩(wěn)定；程序本身的bug;用戶移動設(shè)備的錯誤。數(shù)據(jù)初期嚴重不一致、不完整；數(shù)據(jù)邏輯錯誤;數(shù)據(jù)違背常識逐！出！山！門！數(shù)據(jù)質(zhì)量的重要性去掉不一致的，錯誤的數(shù)據(jù)特征組合實踐五：客人要打包帶走用戶脫離視野無法及時推送最新節(jié)目，獲取用戶最及時反饋；服務(wù)端無法為用戶離線節(jié)目構(gòu)建與環(huán)境變化契合的編排；用戶脫離視野為用戶時刻提供貼心服務(wù)固然重要，但一定不能讓用戶設(shè)備耗電太快，設(shè)備太慢。愛因斯坦目前的我們上線四個月，用戶百萬量級，節(jié)目萬級重點是我們還在不斷試錯，總結(jié)，改進到此，總結(jié)一下總結(jié)UI/UE:40%data:30% knowledge:20% algorithm:10%推薦系統(tǒng)處方：熬制方法：不停發(fā)現(xiàn)問題，解決問題On the way沙龍組委會同學：淘寶的百壽，天貓