強化學習讓推薦系統(tǒng)像智能機器人一樣自主

所以這節(jié)課，我會帶你重點學習這三點內容：一是強化學習的基本概念；二是，我會以微軟的DRN模型為例，幫你厘清強化學推薦系統(tǒng)的應用細節(jié)；三是幫助你搞清楚深度學習和強化學習的結合點究竟在哪。事實上，任何一個有智力的，它的學習過程都遵循強化學習所描述的原理。比如說，嬰兒學走路就是通過與環(huán)境交互，不斷從失敗中學習，來改進自己的下一步的動作才最終成功的。再比如說，在機器人領域，一個智能機器人控制機械臂來完成一個指定的任務，或者協(xié)調全身的動作來學習跑步，本質上都符合強化學習的過程。為了把強化學習技術落地，只清楚它的基本原理顯然是不夠的，我們需要清晰地定義出強化學習中的每個關鍵變量，形成一套通用的技術框架。對于一個通用的強化學習框架來說，有這么六個元素是必須要有的：智能體（Agent）：強化學習的主體也就是作出決定的“大腦”；為了方便，我們可以用一段話把強化學習的六大要素串起來：一個智能體身處在不斷變化的環(huán)境之中，為了達成某個目標，它需要不斷作出行動，行動會帶來好或者不好的獎勵，智能體收集起這些反饋進行自我學習，改變自己所處的狀態(tài)，再進行下一步的行動，然后智能體會持續(xù)這個“行動--更新狀態(tài)”的循環(huán)，不斷優(yōu)化自身，直到達成這就是強化學習通用過程的描述，那么，對于推薦系統(tǒng)而言，我們能不能創(chuàng)造這樣一個會自我學習、自我調整的智能體，為用戶進行推薦呢？事實上，微軟的DRN模型已經實現(xiàn)這DRN強化學習推薦模型DRN（DeepRein mentLearningNetwork，深度強化絡）是微軟在2018年，它被應用在了推薦的場景上，下圖1是DRN的框圖。事實上，它不僅是微軟DRN圖1從這個技術框圖中，我們可以清楚地看到強化學習的六大要素。接下來，我就以DRN的學習過程串聯(lián)起所有要素，來和你詳細說說這六大要素在推薦系統(tǒng)場景下分別指的是什么，以及每個要素的位置和作用。在的推薦系統(tǒng)場景下，DRN模型的第一步是初始化推薦系統(tǒng)，主要初始化的是推薦模進行排序這樣的行動，并在或者App這些環(huán)境中推送給用戶。為正向或者負向再反饋給推薦系統(tǒng)。推薦系統(tǒng)收到之后，會根據(jù)它改變、更新當前的狀態(tài)，并進行模型訓練來更新模型。接著，就是推薦系統(tǒng)不斷重復“排序-推送-反饋”的步驟，直到達成提高的整體點到這里，你有沒有發(fā)現(xiàn)強化學習推薦系統(tǒng)跟傳統(tǒng)推薦系統(tǒng)相比，它的主要特點是什么？其實，就在于強化學習推薦系統(tǒng)始終在強調“持續(xù)學習”和“實時訓練”。它不斷利用新學我們現(xiàn)在已經熟悉了強化學習推薦系統(tǒng)的框架，但其中最關鍵的部分“智能體”到底長什么樣呢？微軟又是怎么實現(xiàn)“實時訓練”的呢？接下來，就讓我們深入DRN的細節(jié)中去看一看。DRNDeepQ-NetworkQ圖2DQNDQN的網絡結構如圖2所示，它就是一個典型的雙塔結構。其中，用戶塔的輸入特征是用戶特征和場景特征，物品塔的輸入向量是所有的用戶、環(huán)境、用戶-交叉特征和新在強化學習的框架下，用戶塔特征向量因為代表了用戶當前所處的狀態(tài)，所以也可被視為狀態(tài)向量。物品塔特征向量則代表了系統(tǒng)下一步要選擇的，我們剛才說了，這個選擇的過程就是智能體的“行動”，所以物品塔特征向量也被稱為行量。雙塔模型通過對狀態(tài)向量和行量分別進行MLP處理，再用互操作層生成了最終的行動質量得分Qs,a)，智能體正是通過這一得分的高低，來選擇到底做出哪些行動，也就是推薦哪些給用戶的。度推薦模型又解釋了一遍。別著急，下面我要講的DRNDRNDRN的學習過程是整個強化學習推薦系統(tǒng)框架的重點，正是因為可以更新，才使得強化學習模型相比其他“靜態(tài)”深度學習模型有了實時性上的優(yōu)勢。下面，我們就按照下圖中從左至右的時間軸，來描繪一下DRN學習過程中的重要步驟。圖3DRN我們先來看離線部分。DRN根據(jù)歷史數(shù)據(jù)訓練好DQN模型，作為智能體的初始化模型。而部分根據(jù)模型更新的間隔分成n個時間段，這里以t1到t5時間段為例。首先在t1到t2階段，DRN時間點，DRN利用t1到t2（Minor最后在t4時間點，DRN利用t1到t4階段的用戶點擊數(shù)據(jù)及用戶活躍度數(shù)據(jù)，進行模型的主更新（Majorupdate）。時間線不斷延長，我們就不斷重復t1到t4這3個階段的操這其中，我要重點強調兩個操作，一個是在t4的時間點出現(xiàn)的模型主更新操作，我們可以理解為利用歷史數(shù)據(jù)的重新訓練，用訓練好的模型來替代現(xiàn)有模型。另一個是t2、t3時間DRN使用的一種新的訓練方法，DuelingBanditGradientDescentalgorithm（競DRN的學習方法：競爭梯度下降算圖4DRN的學習過QW添加一個較小的隨機擾動，得到一個新的模型參數(shù)，這里我們稱對應的網絡為探索網絡Q~。在這一步中，由當前網絡Q生成探索網絡，產生隨機擾動的1如下ΔW=α?rand(?1,1)?其中，α是一個探索因子，決定探索力度的大小。rand(-1,11,1]之間的隨QQ~L和L~，再將兩個推薦列Q～Q，我們總的來說，DRN的學習過程利用了“探索”的思想，其調整模型的粒度可以精細到每次獲得反饋之后，這一點很像隨機梯度下降的思路：雖然一次樣本的結果可能產生隨機擾動，但只要總的下降趨勢是正確的，我們就能夠通過海量的嘗試最終達到最優(yōu)點。DRN正是通過這種方式，讓模型時刻與最“新鮮”的數(shù)據(jù)保持同步，實時地把的信息融合進模型中。模型的每次“探索”和更新也就是我們之前提到的模型“微更新”。到這里，我們就講完了微軟的深度強化學習模型DRN。我們可以想這樣一個問題：這個模型本質上到底改進了什么？從我的角度來說，它最大的改進就是把模型推斷、模型更新、推薦系統(tǒng)工程整個了，讓整個模型學習的過程變得更高效，能根據(jù)用戶的實時學到新知識，做出最實時的反饋。但同時，也正是因為工程和模型緊緊地耦合在一起，讓強化學推薦系統(tǒng)中的落地并不容易。在這個過程中，能不能有一個架構師一樣的角色來通盤協(xié)調，就成為了整個落地過程的關鍵點。有一個環(huán)節(jié)出錯，比如說模型在做完實時訓練后，模型參數(shù)更新得不及時，那整個強化學習的流程就被打亂了，整體的效果就會受到影響。所以對我們個人來說，掌握強化學習模型的框架，也就多了一個發(fā)展的方向。那對于團隊來說，如果強化學習能夠成功落地，也一定證明了這個團隊有著極強的合作能力，在工程和研究方向上都有著過硬的實踐能力。簡單來說，強化學習的通用過程就是訓練一個智能體，讓它通過與環(huán)境進行交互，不斷學習強化自己的智力，并指導自己的下一步行動，以取得最大化的預期利益。這也讓強化學模型實時更新，用戶行為快速反饋等方向上擁有巨大的優(yōu)勢。但強化學習的落地并不容易，整個落地過程的工程量非常大?，F(xiàn)階段，我們只需要以微軟的DRN模型作為參考，重點掌握強化學推薦系統(tǒng)領域的應用細節(jié)就可以了。一個是DRN構建了雙塔模型作為深度推薦模型，來得出“行動得分”。第二個是DRN的更新方式，它利用“微更新”實時地學習用戶的反饋，更新推薦模型，再利用階段性的“主更新”學習全量樣本，更新模型。第三個是微更新時的方法，競爭梯度下降算法，它通過比較原網絡和探索網絡的實時效果，來更新模型的參數(shù)。DRN歡迎的思考和疑問寫在留言區(qū)，如果你的朋友們也在關注強化學推薦系統(tǒng)上的發(fā) 不得售賣。頁面已增加防盜追蹤，將依法其上一 下一 特別加餐|“銀彈”不可靠，最優(yōu)的模型結構該怎么找寫言寫言問題1.3孫1次，那么我可以理解為，強化學在于t1到t3這部分的微調整嗎，我覺得強化學習bi中的ploriolobLLeo我覺得更新不是區(qū)別強化學習D