推薦系統(tǒng)：構(gòu)建、部署和優(yōu)化的最佳實踐-38正式版

推薦系統(tǒng)：構(gòu)建、部署和優(yōu)化的最佳實踐執(zhí)行摘要我們根據(jù)對零售、媒體、電子商務(wù)等領(lǐng)域利用推薦系統(tǒng)（recsys）的知名企業(yè)的技術(shù)負責人的一系列訪談，編制了本報告。騰訊和《紐約時報》等均參與了這項研究工作。本報告的目標受眾包括目前正在構(gòu)建或考慮為生產(chǎn)用例構(gòu)建推薦系統(tǒng)的數(shù)據(jù)科學家和機器學習工程師。核心目標是通過提供該領(lǐng)域?qū)＜业膶嵱靡娊庖约瓣U明構(gòu)建、部署和優(yōu)化推薦系統(tǒng)的最佳實踐，為開展更廣泛的行業(yè)對話做出貢獻。通過本研究確認的核心假設(shè)包括：構(gòu)建相關(guān)推薦系統(tǒng)是一個艱難的過程整個行業(yè)對分享最有效的方法持開放態(tài)度，這對于該領(lǐng)域的發(fā)展至關(guān)重要因此，編制本報告旨在展示以下方面：行業(yè)內(nèi)推薦系統(tǒng)實踐的趨勢預(yù)覽推薦系統(tǒng)簡史，介紹1979年到2009年期間，從學術(shù)試驗到大規(guī)模商業(yè)成功的演進過程專家訪談內(nèi)容的精選摘錄對觀察到的趨勢進行總結(jié)，并指明未來的發(fā)展軌跡深度訪談內(nèi)容的精選摘錄，探討推薦系統(tǒng)實踐的背景信息和細微差別構(gòu)建、部署和優(yōu)化的最佳實踐|執(zhí)行摘要 ?2推薦系統(tǒng)的趨勢預(yù)覽毫無疑問，開源不僅僅只是行業(yè)內(nèi)推薦系統(tǒng)的一種選擇，它已經(jīng)成為入場籌碼了。開源生態(tài)系統(tǒng)中工具的互操作性對于降低項目風險至關(guān)重要，在考慮項目的整個生命周期時尤為如此。這種工具必須足夠靈活，才能為試驗和探索工作提供支持，同時還必須承認尚未出現(xiàn)的新技術(shù)。另一個需要解決的就是數(shù)據(jù)問題。自從2000年代中期提出“大數(shù)據(jù)”概念以來，在機器學習方面有一個眾所周知的事實，那就是擁有的數(shù)據(jù)越多，數(shù)據(jù)的質(zhì)量越高，構(gòu)建出的模型往往就越有效。當然，這個道理同樣適用于推薦系統(tǒng)。我們不能僅僅依靠卓越的算法來生成模型，還必須擁有良好的訓(xùn)練數(shù)據(jù)、用于推理的良好客戶數(shù)據(jù)、可靠的反饋以及用于評估指標的儀器等。將有效的數(shù)據(jù)準備工作放在首位很可能成為一項恒久不變的要求。此外，隨著推薦系統(tǒng)的用例大獲成功，數(shù)據(jù)速率將會提升。此外，還涉及從數(shù)據(jù)中學習的問題，因為需要對指標進行優(yōu)化才能取得成功。這甚至有助于將數(shù)據(jù)科學人員重新培養(yǎng)為"指標工程師"，以全面了解生產(chǎn)中的推薦系統(tǒng)。除了上述兩個問題之外，這項研究還提出了其他一些要點：對于那些剛剛開啟推薦系統(tǒng)之旅者，專家們給出了幾乎一致的建議：與其急于實施可能符合潮流趨勢卻復(fù)雜的機器學習模型，倒不如先從簡單模型著手，想想自己真正需要的是什么。必須了解生產(chǎn)中使用的指標并全面了解手頭用例的目標函數(shù)，這一點至關(guān)重要。盡管推薦系統(tǒng)過去被認為是單點解決方案，但它們正在深入地擴展到業(yè)務(wù)運營的方方面面。利潤率歷來微薄的垂直行業(yè)現(xiàn)正在使用推薦系統(tǒng)來發(fā)展其業(yè)務(wù)，同時提高客戶的信任度和忠誠度。推薦系統(tǒng)的許多生產(chǎn)用例都對快速推理有一定的要求，通常要求在100毫秒內(nèi)完成推理。隨著更先進的人工智能（AI）技術(shù)的出現(xiàn)，它們的運行速度是否足以適應(yīng)這些限制？硬件加速成為推動因素。與行業(yè)內(nèi)推薦系統(tǒng)實踐相關(guān)的熱門話題包括使用特征存儲庫，利用圖神經(jīng)網(wǎng)絡(luò)和模型蒸餾。經(jīng)驗教訓(xùn)：為系統(tǒng)升級和不斷增長的用例制定路線圖規(guī)劃。盡可能利用有助于推動向前發(fā)展的技術(shù)，這樣不僅能滿足目前的擴展要求，而且還能滿足未來幾年內(nèi)業(yè)務(wù)取得成功的需求。推薦系統(tǒng)：起源故事縱觀行業(yè)內(nèi)的推薦系統(tǒng)實踐，會發(fā)現(xiàn)許多共同之處——業(yè)界面臨共同的挑戰(zhàn)，有著共同的顧慮，擁有共同的前瞻性研究領(lǐng)域。同樣，縱觀推薦系統(tǒng)的歷史，隨著新的團隊開啟各自的旅程，并開始從中學習，可以確定幾十年來重復(fù)不斷的一些主題。構(gòu)建、部署和優(yōu)化的最佳實踐|推薦系統(tǒng)的趨勢預(yù)覽 ?3本節(jié)將回顧一些有助于建立推薦系統(tǒng)領(lǐng)域的著名項目。特別是，本節(jié)還會追溯從早期學術(shù)試驗到大規(guī)模商業(yè)成功的演進過程。我們可以從過去的模式中汲取經(jīng)驗教訓(xùn)，也可以史為鑒，比較當代實踐的問題和主題。20世紀90年代之前：Grundy、深度模型和相關(guān)著作早在20世紀90年代，就提出了上線運行的推薦系統(tǒng)的概念，用于密切追蹤萬維網(wǎng)的整體增長情況。讓我們來回顧ElaineRich早期開展的名為Grundy的項目，她在卡內(nèi)基梅隆大學從事博士研究時啟動了該項目，隨后她在德克薩斯大學奧斯汀分校擔任教職工作期間繼續(xù)研究該項目。Rich探索了如何使用原型來構(gòu)建和泛化用戶模型。該系統(tǒng)會向用戶推薦小說（就像圖書管理員那樣），然后用戶就推薦書籍的質(zhì)量提供反饋。這項工作處于機器學習相對早期的階段，但一些關(guān)鍵元素已實施到位，包括特征工程、數(shù)據(jù)訓(xùn)練，模型評估以及模型迭代改進方面的反饋?？紤]到20世紀70年代后期AI社區(qū)的普遍看法，Grundy系統(tǒng)依賴于有關(guān)每個用戶的相對深入的信息，同時試圖最大限度地減少用戶與系統(tǒng)的互動。20世紀90年代：協(xié)同過濾的興起1992年，DougTerry因在XeroxPARC創(chuàng)建了名為Tapestry的第一個協(xié)同過濾推薦系統(tǒng)而備受贊譽。該項目解決了電子郵件過載時出現(xiàn)的問題。用戶將對電子郵件進行標注以記錄他們的興趣，而該系統(tǒng)將從這些標注數(shù)據(jù)中進行學習。Terry在關(guān)于Tapestry的原始論文中解釋說，其主要的技術(shù)創(chuàng)新是一種有效的過濾查詢算法，具有可預(yù)測的語義。早在1992年，Terry就已經(jīng)確定了協(xié)作過濾的關(guān)鍵點：需要大量的訓(xùn)練數(shù)據(jù)，用戶擔心安全和隱私問題，以及Tapestry尚未集成到任何新的"Web瀏覽器"軟件這一事實。兩年后，也就是1994年，PaulResnik和其他人在麻省理工學院（MIT）建立了GroupLens項目，如今該項目仍在明尼蘇達大學繼續(xù)進行。他們的工作以Terry的Tapestry項目為基礎(chǔ)，為在線新聞組內(nèi)容提供協(xié)同過濾，他們意識到，當人們在線閱讀和回應(yīng)新聞文章時，在很大程度上會忽視數(shù)據(jù)。與ElaineRich對Grundy秉持的觀點不同，GroupLens工作利用的是相對淺層的大量數(shù)據(jù)。他們還使用開放協(xié)議，因此任何人都可以修改新聞客戶端以整合評分并預(yù)測分數(shù)。麻省理工學院、Firefly音樂推薦系統(tǒng)和電子商務(wù)對推薦系統(tǒng)的興趣在麻省理工學院傳播開來，教授PattieMaes及其研究生UpendraShardanand開發(fā)了Ringo音樂推薦系統(tǒng)。值得注意的是，該系統(tǒng)具有更個性化的推薦功能，用戶規(guī)模更是增長到2，000多名。Ringo的作者引用了Rich的用戶建模原型，并使用基準測試來證明其核心算法的表現(xiàn)優(yōu)于Resnik及相關(guān)人員的GroupLens項目。他們還指出，未來需要使用機器學習，例如，對數(shù)據(jù)使用聚類算法來幫助加快提供推薦結(jié)果并嘗試進行內(nèi)容建模。構(gòu)建、部署和優(yōu)化的最佳實踐|推薦系統(tǒng)：起源故事 ?41995年，在隨后的項目中，PattieMaes及其他人在麻省理工學院推出了Firefly音樂推薦系統(tǒng)。該公司作為一家風投支持的初創(chuàng)公司分拆上市，1998年被Microsoft收購。該公司從音樂推薦服務(wù)擴展到其他內(nèi)容的推薦服務(wù)，例如書籍、新聞等，并在互聯(lián)網(wǎng)發(fā)展的早期階段將其技術(shù)授權(quán)給幾家有影響力的公司使用，包括Yahoo!、ZDNet、Barnes&Noble、AmericaOnline和Reuters?？梢哉fFirefly代表了利用機器學習從事電子商務(wù)的第一個推薦系統(tǒng)。這是早期推薦系統(tǒng)研究項目中第一個取得商業(yè)成功的項目，也是當今的社交媒體和電子商務(wù)內(nèi)容推薦概念中最知名的項目。Netflix和Amazon內(nèi)容推薦功能與此同時，作為1998年新成立的一家初創(chuàng)公司，Netflix提供DVD郵寄訂閱服務(wù)，向一直以來由Blockbuster主導(dǎo)的錄像帶到店租賃市場發(fā)起了挑戰(zhàn)。2000年，Netflix將他們的商業(yè)模式轉(zhuǎn)變?yōu)?不限量暢享"的訂閱服務(wù)，不僅擴大了內(nèi)容庫存，還增加了電影的會員評分制度和名為Cinemacch的基于協(xié)同過濾的個性化推薦服務(wù)。2001年，該公司引入了五星評分制度以進一步推動內(nèi)容推薦，隨后又引入了包含其他算法的生態(tài)系統(tǒng)，以幫助實現(xiàn)電影租賃過程的個性化和商品化發(fā)展。在此期間，Amazon也在嘗試進行內(nèi)容推薦。該公司的轟動之舉是1997年中期在GregLinden的領(lǐng)導(dǎo)下“拆分網(wǎng)站”，開創(chuàng)了水平橫向ScaleOut的先例以及后來發(fā)展成為云計算的一系列實踐。此舉帶來的結(jié)果是，為確定客戶互動特征而大規(guī)模收集機器數(shù)據(jù)的現(xiàn)象急劇增加，AndrewNg和其他人稱之為數(shù)據(jù)和機器學習的"良性循環(huán)"。2003年，Amazon發(fā)布了GregLinden、BrentSmith和JerryYork的著名論文“A推薦：商品到商品的協(xié)同過濾”。2003年的這個時候，作者指出，有三種常見的內(nèi)容發(fā)現(xiàn)和推薦方法，包括：協(xié)同過濾、聚類模型（例如，用于降維）和搜索。而他們所做研究工作的不同之處在于引入了商品到商品的協(xié)同過濾，因而產(chǎn)生了這樣一句眾所周知的話“購買這本書的人也購買了…”。換句話說，Amazon的推薦系統(tǒng)可以獨立于用戶數(shù)量或內(nèi)容項目的數(shù)量進行擴展。他們優(yōu)先進行快速推理，以便生成網(wǎng)上的推薦內(nèi)容、大量數(shù)據(jù)集以及用于評估推薦成功與否的質(zhì)量指標。當然，隨著Amazon繼續(xù)擴展規(guī)模并建立更多的業(yè)務(wù)線，他們?yōu)橥扑]系統(tǒng)驅(qū)動的電子商務(wù)樹立了典范。這項研究工作的直接成果還包括云計算的起源、大數(shù)據(jù)實踐和機器學習的商業(yè)用例。推薦系統(tǒng)和社交網(wǎng)絡(luò)許多社交網(wǎng)絡(luò)緊隨其后，向新一代的通信平臺應(yīng)用類似的方法。LinkedIn就是其中一個例子，2006年JonathanGoldman加入的時候，該公司正處于縱向擴展的階段。Goldman意識到網(wǎng)絡(luò)分析的價值，因而構(gòu)建了用于推薦“你可能認識的人”（PYMK）的推薦系統(tǒng)，盡管當時產(chǎn)品團隊對此并不感興趣。事實證明，這項功能在LinkedIn用戶中非常受歡迎。起初，基于PYMK的內(nèi)容的點擊率（CTR）比其他方法高30%，因而推薦功能迅速成為這個面向企業(yè)的社交網(wǎng)絡(luò)的用戶體驗的重要組成部分。構(gòu)建、部署和優(yōu)化的最佳實踐|推薦系統(tǒng)：起源故事 ?52000年代后期，推薦系統(tǒng)在生產(chǎn)用例中已經(jīng)相對普及了。其他類型的企業(yè)充分利用這項技術(shù)，例如在線約會系統(tǒng)、在線游戲和零售領(lǐng)域的企業(yè)。2009年前后，日常語中出現(xiàn)了“數(shù)據(jù)科學”一詞，主流公司紛紛采用該實踐，頂尖人才也被吸引到這個領(lǐng)域當中來?？梢哉f，推薦系統(tǒng)及其在電子商務(wù)領(lǐng)域的價值在這場演進中發(fā)揮了不小的作用。Netflix獎2006年到2009年，Netflix精心策劃了名為“Netflix獎”的推薦系統(tǒng)競賽，各團隊競爭排行榜上的排名，使用匿名的客戶電影評分來優(yōu)化推薦內(nèi)容。雖然入圍作品的表現(xiàn)明顯優(yōu)于Netflix算法，但由于各種原因，這些入圍作品從未投入到生產(chǎn)環(huán)境中。即便如此，競賽中領(lǐng)先團隊的經(jīng)驗表明他們學到了有關(guān)以下方面的比較策略的大量信息：構(gòu)建推薦系統(tǒng)，分析評分數(shù)據(jù)的陷阱以及機器學習工作最終在生產(chǎn)中體現(xiàn)出的整體價值。推薦系統(tǒng)的演進在不到二十年的時間里，推薦系統(tǒng)已經(jīng)從幫助管理研究人員的收件箱的小項目發(fā)展成為推動領(lǐng)先技術(shù)公司收入的核心技術(shù)。通過這些早期項目確定的推薦系統(tǒng)的關(guān)鍵概念和要求包括：協(xié)作過濾個性化使用海量數(shù)據(jù)集，但沒有特別有用的數(shù)據(jù)利用分布式系統(tǒng)實現(xiàn)擴展獨立于用戶或項目數(shù)量進行擴展同一用例中的用戶建模、內(nèi)容建模和其他機器學習推薦內(nèi)容質(zhì)量的定量評估安全與隱私問題快速推理的必要性在實踐中進行有效推薦的困難將推薦內(nèi)容的質(zhì)量與業(yè)務(wù)收入掛鉤成功指標，例如引入PYMK后LinkedIn的點擊率漲幅觀察剛剛介紹的這段歷史帶我們回到了上一個十年伊始。通過推薦系統(tǒng)的這段歷史，我們對機會、挑戰(zhàn)和發(fā)展方向獲得了一些關(guān)鍵的觀察結(jié)果，稍后我們將使用這些觀察結(jié)果來分析當前的趨勢。構(gòu)建、部署和優(yōu)化的最佳實踐|推薦系統(tǒng)的演進 ?6機會：用戶參與第一項觀察結(jié)果是大量的機會。這是早期推薦系統(tǒng)研究項目中第一個取得商業(yè)成功的項目，也是當今的社交媒體和電子商務(wù)內(nèi)容推薦概念中最知名的項目。推薦系統(tǒng)已通過多種方式用于增強各種活動的用戶體驗，包括電子商務(wù)、在線約會、新聞閱讀器、銷售線索、游戲、音樂應(yīng)用等。從更廣泛的范圍來看，這個問題幾乎總是與發(fā)現(xiàn)脫不了干系，而電子商務(wù)場景可以說明最常見的模式：導(dǎo)航：當客戶確切地知道他們需要購買哪個小組件時，幫助他們導(dǎo)航到該特定小組件的頁面，然后結(jié)賬。在實踐中，這種“拉取”情況相對來說很少見，盡管它對于優(yōu)化用戶體驗（UX）設(shè)計很重要。搜索：當客戶大致知道他們需要購買哪個小組件時，幫助他們搜索接近的項目，并讓他們在結(jié)果集合中進行選擇。當然，搜索范圍很廣泛，并且從歷史上看，搜索功能更容易實施并引入到UX中。推薦系統(tǒng)：當客戶正在瀏覽或參與其他活動時，通過個性化他們的網(wǎng)頁瀏覽體驗，向他們“推送”推薦的項目。這種客戶場景在統(tǒng)計學方面更為常見，盡管實施起來比前兩種UX場景更復(fù)雜、更微妙，效果卻更好。例如，縱觀Netflix業(yè)務(wù)模式的演進歷史，可以發(fā)現(xiàn)他們的用戶體驗經(jīng)歷了以下階段。1998年，最初他們的用戶體驗依賴的是導(dǎo)航和搜索功能。不久之后就引入了推薦和個性化功能。多年來，在推薦系統(tǒng)越來越多的獨特用例的支持下，個性化程度越來越高。然而，采用推薦系統(tǒng)是需要時間的：一開始，Netflix推薦20%的精選內(nèi)容，隨著時間的推移，這一比例上升到80%。當組織采用AI應(yīng)用程序來增強其在線業(yè)務(wù)活動時，這條弧線開始呈現(xiàn)上升趨勢。從簡單模型著手，分階段加入更復(fù)雜、更微妙的方法。最終，給定用例采用的推薦系統(tǒng)不止一個，而可能有若干個。在整個發(fā)展過程中，取決于推薦內(nèi)容的參與程度從“少數(shù)”用戶體驗轉(zhuǎn)變?yōu)椤按蠖鄶?shù)”用戶體驗。挑戰(zhàn)：推薦內(nèi)容的質(zhì)量第二項觀察結(jié)果是諸多挑戰(zhàn)：讓合適的推薦系統(tǒng)有效地運行絕非易事。很難獲得用于訓(xùn)練模型的良好數(shù)據(jù)。人們的喜好發(fā)生了巨大的變化。例如，價值最高的廣告展示位置的類別之一是高端汽車。新款豪車銷售的推薦內(nèi)容往往在競價/詢價廣告網(wǎng)絡(luò)中表現(xiàn)良好。換句話說，想要購買新款豪車的用戶往往會點擊相關(guān)廣告，從而將其轉(zhuǎn)化為價值?？梢坏┯脩糍徺I了新車，他們可能根本不想點擊相關(guān)廣告。原本在一段時間內(nèi)一直表現(xiàn)良好的推薦內(nèi)容突然變得很糟糕。由于缺乏關(guān)于誰購買了什么商品以及何時購買的信息，廣告推薦系統(tǒng)具有質(zhì)量方面的固有風險——這個問題延伸到了推薦系統(tǒng)的大多數(shù)應(yīng)用領(lǐng)域。對推薦內(nèi)容質(zhì)量的抱怨可以追溯到1979年ElaineRich的Grundy系統(tǒng)，自那以后就沒有停止過。雖然在給定時間點向給定用戶推薦某些商品的做法是可行的，但要在給定時間點向給定用戶精確推薦所需的商品，同時避免推薦任何他們不想要的商品，這項工作還是非常具有挑戰(zhàn)性的。即便如此，用戶在判斷自動化系統(tǒng)的好壞時往往會用到這些標準。構(gòu)建、部署和優(yōu)化的最佳實踐|推薦系統(tǒng)的演進 ?7而且，推薦是一把雙刃劍，當推薦內(nèi)容太過相關(guān)時，有些人會認為用戶體驗令人毛骨悚然?！翱植拦壤碚摗边@一概念描述了美學和設(shè)計中的一個問題，它認為自動化正在入侵人類物種，反過來又引起了觀察者的反感。這可能會造成兩難境地，因為相關(guān)的推薦會被視為系統(tǒng)對用戶“太過了解”。對推薦系統(tǒng)中數(shù)據(jù)隱私的考量可以追溯到1992年在XeroxPARC推出的DougTerry。當然，機器學習在推薦系統(tǒng)的整個發(fā)展歷史中發(fā)揮了如此重要的作用，并且作為一個領(lǐng)域，機器學習在同一時期內(nèi)也在經(jīng)歷快速的演進。思考這樣一個問題，機器學習在很大程度上利用歷史數(shù)據(jù)或綜合數(shù)據(jù)來泛化模型，以便稍后在不同的上下文中應(yīng)用。在實踐中，這與推薦系統(tǒng)的需求幾乎完美契合。但同時也帶來了一個陷阱，那就是當機器學習模型從訓(xùn)練數(shù)據(jù)泛化時，它們也往往會丟失上下文信息。很難解釋為什么會向給定用戶提供特定的推薦內(nèi)容。當數(shù)據(jù)團隊需要評估推薦內(nèi)容的質(zhì)量或者對使用機器學習模型的工作流進行故障排除時，可能會面臨嚴峻的挑戰(zhàn)。敘述：推薦系統(tǒng)用例的最佳實踐第三項觀察結(jié)果是大量敘事。在整個發(fā)展歷程的早期階段，在形成人們對推薦系統(tǒng)技術(shù)的普遍認知方面，少數(shù)公司的敘述起到了推動作用。雖然從技術(shù)角度來看這是很有趣的現(xiàn)象，并且這種做法往往被行業(yè)分析師視為"最佳實踐"，但總的來說，對于推薦系統(tǒng)用例而言，大型用例的敘述并不總是最佳建議。早期的研究工作往往從信息檢索的角度來評估推薦系統(tǒng)，其中模型的好壞與否取決于其準確率和召回率指標。由此帶來的一個后果是，ElaineRich的深度用戶建模幾乎已被人遺忘了。此外，對大規(guī)模生產(chǎn)中的復(fù)雜系統(tǒng)進行故障排除和調(diào)整時，這種學術(shù)觀點并不是特別有效。Netflix取得的商業(yè)成功和后來采用的類似做法強調(diào)了非負矩陣分解的使用，這種敘述與ApacheHadoop等大數(shù)據(jù)工具在當代的普及率不謀而合。最近，隨著深度學習的普及，推薦系統(tǒng)實踐已轉(zhuǎn)向神經(jīng)網(wǎng)絡(luò)和嵌入領(lǐng)域。這些敘述和趨勢有助于向更廣泛的受眾傳播領(lǐng)先技術(shù)公司的創(chuàng)新成果。此外，隨著人們對使用更巧妙的方法解決日益復(fù)雜的挑戰(zhàn)的需求不斷增長，這些敘述和趨勢還有助于追蹤人們對數(shù)據(jù)科學的想法的演進。形成良好的推薦系統(tǒng)實踐需要潛在的驅(qū)動因素和權(quán)衡取舍，而這些敘述往往也會混淆兩者。我們將在以下章節(jié)中更詳細地探討這些驅(qū)動因素和需要權(quán)衡取舍的問題?？傮w而言，為了使推薦系統(tǒng)發(fā)揮有效的作用，顯而易見數(shù)據(jù)團隊必須平衡相互競爭的優(yōu)先事項與關(guān)注問題之間的關(guān)系。這可不是簡單的任務(wù)。在推薦系統(tǒng)實踐中，這些需要權(quán)衡取舍的問題之間的關(guān)系十分緊張，其中一些問題在可預(yù)見的未來可能會繼續(xù)受到關(guān)注。有些問題可以通過更好的工具來解決。接下來，我們將思考行業(yè)內(nèi)的推薦系統(tǒng)團隊在實踐中是怎么做的。構(gòu)建、部署和優(yōu)化的最佳實踐|推薦系統(tǒng)的演進 ?8訪談：關(guān)鍵摘錄我們與業(yè)內(nèi)推薦系統(tǒng)領(lǐng)域的精選團隊與個人合作，和負責推薦系統(tǒng)工作流程的技術(shù)主管進行了交談。為簡潔起見，以下各節(jié)摘錄了完整訪談中的要點。在每次訪談中，我們都探討了有關(guān)其團隊的發(fā)展歷史、團隊的工作重心和職責以及他們?nèi)绾谓鉀Q團隊訓(xùn)練等問題。我們特別詢問了他們在數(shù)據(jù)速率和規(guī)模方面的推薦系統(tǒng)實踐，用于數(shù)據(jù)準備和特征工程的方法，他們?nèi)绾芜x擇合適的技術(shù)和框架，用于評估和調(diào)整模型的手段，以及他們?yōu)閮?yōu)化推薦系統(tǒng)所做的工作。我們還征求了那些剛剛踏上推薦系統(tǒng)之旅的客戶的一般建議。讓我們來探討這些訪談內(nèi)容之間的共同點，以及行業(yè)內(nèi)不同實踐之間形成對比的方面。在可能的情況下，我們將使用recsys歷史中的關(guān)鍵點作為此次分析的切入點。MonicaRogati，獨立顧問人工智能（AI）和數(shù)據(jù)科學顧問，創(chuàng)建了LinkedInPYMK推薦系統(tǒng)的首個機器學習模型MonicaRogati擁有卡內(nèi)基梅隆大學（CMU）計算機科學博士學位，研究領(lǐng)域包括應(yīng)用機器學習、自然語言處理（NLP）和可穿戴設(shè)備。她是LinkedIn數(shù)據(jù)科學團隊的早期成員，致力于研究推薦系統(tǒng)和其他數(shù)據(jù)產(chǎn)品，后來成為Jawbone的數(shù)據(jù)副總裁，組建并領(lǐng)導(dǎo)了一支由數(shù)據(jù)科學家和工程師組成的專家團隊。Monica目前是一名獨立顧問，“AI需求金字塔”圖中經(jīng)常提及她的名字，該圖為世界各地遭到誤解的數(shù)據(jù)科學家提供了盾牌。在推薦系統(tǒng)的規(guī)模和數(shù)據(jù)速率方面，Monica構(gòu)建了各種各樣的系統(tǒng)，從零數(shù)據(jù)系統(tǒng)到將數(shù)億用戶與盡可能多的項目匹配的系統(tǒng)，應(yīng)有盡有。Monica解釋說，“高端系列的系統(tǒng)吸引了大部分的注意力，因為它可以解決長尾問題，并進行個性化的推薦，感覺就像魔術(shù)一樣神奇（或者感覺令人毛骨悚然，具體取決于你的觀點）。推薦系統(tǒng)面臨的主要挑戰(zhàn)在實踐中，推薦系統(tǒng)面臨的主要挑戰(zhàn)是什么？最嚴峻的挑戰(zhàn)之一是為給定用例確定合適的指標和目標函數(shù)。“數(shù)據(jù)科學家最終將成為‘指標工程師’”。如果可能，這是實現(xiàn)自動化的過程中最艱巨的數(shù)據(jù)任務(wù)之一。Monica告誡從業(yè)者要謹慎地思考他們試圖更大限度提高的指標，即推薦系統(tǒng)的目標函數(shù)。目標函數(shù)是指用例嘗試實現(xiàn)的目標的代理。“當使用你的系統(tǒng)影響目標函數(shù)后，它仍然是有效的代理嗎？”由于激勵機制的一致性，有沒有辦法玩弄目標函數(shù)，無論是故意地還是無意地？問題有多難解決，就性能本身而言，你期望達到的上限是什么？例如，評分者間對于訓(xùn)練數(shù)據(jù)的同意程度如何？Monica還建議選擇合適的技術(shù)來構(gòu)建推薦系統(tǒng)。"除了解決問題的可能性之外，我還牢記這幾條標準：易于集成性、成熟度和保留可選性。推薦系統(tǒng)最重要的衡量標準之一就是易于與公司當前的工作流程集成，并將努力與結(jié)果的比例保持在盡可能低的水平。構(gòu)建、部署和優(yōu)化的最佳實踐|訪談：關(guān)鍵摘錄 ?9“在過去幾年中，數(shù)據(jù)工具和框架呈爆炸式增長，我很高興看到其中許多工具和框架確實易于集成，當工具在特定環(huán)境中得到驗證和信任之前，無需對工作流程進行重大更改。我最常向工具構(gòu)建者提出的問題是“你的特洛伊木馬是什么？為了讓從業(yè)者方只需付出很少的努力或者無需付出任何努力就能采用推薦系統(tǒng)并獲得信任，你解決的一個問題是什么？關(guān)鍵是在開發(fā)生命周期的早期降低技術(shù)選擇方面的風險，并為突發(fā)事件制定備用計劃?！白钣行У墓ぞ甙I銷中可能的退出路徑，并且除了易于集成之外，還提供數(shù)據(jù)導(dǎo)出工具。這往往與開源技術(shù)非常契合：當優(yōu)先考慮"易于集成性"時，替換一個組件可以"保留選項"，同時最大限度地減少中斷并保持努力與結(jié)果的比例。啟動推薦系統(tǒng)項目“我在IBM研究院實習時從SalimRoukos那里學到了一些東西：在開始使用機器學習系統(tǒng)之前，我會花一個小時的時間標記數(shù)據(jù)并完成算法工作。成為算法工程師后，你會發(fā)現(xiàn)無數(shù)的數(shù)據(jù)質(zhì)量問題，確定問題定義不清或者你應(yīng)該放棄推薦時的一系列情況。為了評估模型，MonicaRogati介紹了有助于降低項目風險的流程，由三個步驟構(gòu)成：制定簡單的基準構(gòu)建要求寬松的線下過濾器在緩慢加速的條件下進行A/B測試第一步是分析數(shù)據(jù)，然后實施合理但簡單的基于規(guī)則的基準。即使已有實施到位的模型，無論如何也要嘗試此步驟。簡單的基準易于調(diào)試、可靠、快速，當它們幾乎與當前模型一樣有效時，應(yīng)該成為你的首選模型。使用“要求寬松的線下過濾器”改變傳統(tǒng)的線下模型評估概念。檢查模型是否會導(dǎo)致大規(guī)模的中斷或非預(yù)期損害，以及從寬松意義來看其結(jié)果是否有前景。目標不一定是超越現(xiàn)有系統(tǒng)——即使你一開始就超越了簡單基準也沒有什么可奇怪的。最后，在生產(chǎn)中使用A/B測試對經(jīng)過訓(xùn)練的機器學習模型進行真實的評估，但要在緩慢加速的條件下進行。例如，先設(shè)置1%，然后是2%、5%、10%、20%，以此類推，執(zhí)行每一步時都要確認其指標。留意操作問題、缺少的特征、意外損害，以及通?？赡懿粫诰€下或小規(guī)模范圍內(nèi)出現(xiàn)的任何問題。機器學習模型全面運行后，特別是對于推薦系統(tǒng)而言，通常需要經(jīng)歷“預(yù)燒期”，新奇效應(yīng)才會消失?？紫橥?，騰訊騰訊的專家工程師，負責廣告推薦系統(tǒng)的設(shè)計和開發(fā)，主管著騰訊廣告和深度學習平臺的運行孔祥庭帶領(lǐng)騰訊團隊專注于廣告推薦系統(tǒng)，負責廣告訓(xùn)練平臺的優(yōu)化。該平臺的組件包括線下特征工程、訓(xùn)練平臺、線上推理系統(tǒng)、線上特征工程和游戲平臺。他們致力于模型訓(xùn)練、優(yōu)化和推理，可應(yīng)用于多種業(yè)務(wù)場景中，如廣告、金融科技和網(wǎng)絡(luò)數(shù)據(jù)挖掘。鑒于他們的責任范圍和涉及的技術(shù)，為了培訓(xùn)團隊，他們會組織每周一次或每兩周一次的技術(shù)分享會。構(gòu)建、部署和優(yōu)化的最佳實踐|訪談：關(guān)鍵摘錄 ?10孔祥庭建議說，“廣告推薦是一個逐漸篩選的過程。整理階段包括回顧、預(yù)排序和排序。每個階段都有不同的要求。模型的快速調(diào)查和迭代更是對訓(xùn)練性能提出了更高的要求。在數(shù)據(jù)速率和模型復(fù)雜性方面，需要考慮一些權(quán)衡取舍的重要問題。一方面，為了提高模型質(zhì)量，可以增加訓(xùn)練/測試數(shù)據(jù)量并使用更復(fù)雜的特征集。另一方面，這些做法也往往會延長模型訓(xùn)練時間并限制模型的更新頻率。“隨著樣本數(shù)據(jù)訓(xùn)練數(shù)量和樣本特征的增加，廣告推薦的準確性得以提高。但這樣一來，訓(xùn)練時間會延長，且模型的更新頻率會受到影響?！彬v訊團隊使用HugeCTR作為推薦系統(tǒng)的訓(xùn)練框架。HugeCTR被集成到廣告推薦平臺中，使得模型訓(xùn)練的更新頻率更快。此外，訓(xùn)練期間可通過使用更多的樣本來提升推薦效果。在整體的技術(shù)選擇方面，孔祥庭介紹了處理開源項目時的優(yōu)先事項。“我們選擇的技術(shù)或框架必須與社區(qū)生態(tài)兼容，這樣我們才能更好地進行后續(xù)升級?！崩米罱难芯砍晒湍壳霸趯嵺`中利用的研究成果而言，騰訊最近在廣告推薦訓(xùn)練系統(tǒng)中集成了壓縮稀疏行（CSR）管道?！吧蒀SR類型的訓(xùn)練數(shù)據(jù)后，可以直接在GPU上讀取訓(xùn)練數(shù)據(jù)。通過我們對數(shù)據(jù)處理流水線的優(yōu)化，CPU負載大幅降低，GPU利用率得到顯著提高。”面對剛剛開啟其推薦系統(tǒng)之旅的團隊，孔祥庭建議在面對快速發(fā)展的形勢時保持穩(wěn)定的路線?！斑x擇成熟且與社區(qū)生態(tài)兼容的技術(shù)框架，方便進行后續(xù)的系統(tǒng)升級?！盕elipeContratres，MagaluMagalu（MagazineLuiza）個性化群體領(lǐng)袖FelipeContratres領(lǐng)導(dǎo)Magalu的個性化團隊，該團隊負責運行推薦和搜索平臺，為其平臺和新的推薦系統(tǒng)模型創(chuàng)造新的功能。面對剛剛開啟其推薦系統(tǒng)之旅的團隊，F(xiàn)elipe建議，“從簡單的方法著手：許多問題都可以通過簡單的技術(shù)輕松解決，從而降低系統(tǒng)整體的復(fù)雜度。當需要采用更先進的技術(shù)時，選擇成熟的包或框架來集成到你的工作流程中?！盕elipe還建議盡快在生產(chǎn)環(huán)境中測試新的解決方案?！皣L試盡快將你的模型投入上線，與真實客戶一起進行測試，而不是嘗試在線下過度預(yù)優(yōu)化。他們的團隊一直在研究將表格事件與文本和圖像矢量相結(jié)合的多模態(tài)特征。“我們正在考慮測試GabrieldeSouzaP.Moreira等人在最近的論文中提出的技術(shù)。他們還提出了基于會話的啟發(fā)式推薦系統(tǒng)，可用于自定義會話之間的用戶體驗。根據(jù)先前的研究成果結(jié)合Magalu的商業(yè)知識，創(chuàng)建了這個最新的基于會話的推薦系統(tǒng)。構(gòu)建、部署和優(yōu)化的最佳實踐|訪談：關(guān)鍵摘錄 ?11黃軍，美團美團高級技術(shù)專家，負責領(lǐng)導(dǎo)美團機器學習平臺的訓(xùn)練框架團隊。美團表示，“我們的使命是：‘讓每一個人吃得更好，活得更好’”。作為中國領(lǐng)先的生活服務(wù)電子商務(wù)平臺，美團的業(yè)務(wù)圍繞“美食+平臺”策略展開，以“吃”為核心。美團在中國運營多個知名的移動應(yīng)用，包括美團、大眾點評、美團外賣等。旗下業(yè)務(wù)涵蓋餐飲、外賣、打車、共享單車、酒店和旅游預(yù)訂、電影票務(wù)及其他休閑娛樂和生活服務(wù)等200多個品類，覆蓋全國2800多個市縣。美團的訓(xùn)練框架團隊在大規(guī)模CPU/GPU集群中部署了高性能的分布式深度學習訓(xùn)練框架。對于推薦系統(tǒng)而言，此框架支持使用約1000億個稀疏參數(shù)和約1000億個樣本進行分布式訓(xùn)練。黃軍解釋說，“最近，我們設(shè)計了基于NVIDIAA100的新一代推薦系統(tǒng)訓(xùn)練系統(tǒng)，大大提高了訓(xùn)練效率和模型的復(fù)雜度。在選擇合適的技術(shù)方面，黃軍描述了開源項目的優(yōu)先事項。“這項技術(shù)需要足夠先進、開放并兼容生態(tài)，這樣才能在它的基礎(chǔ)之上更好地滿足我們的內(nèi)部需求。我們的團隊目前正在構(gòu)建主要基于開源技術(shù)的系統(tǒng)。同時，我們非常高興將我們的工作成果回饋給開源社區(qū)?！庇布谒麄兊牟呗灾衅鹬陵P(guān)重要的作用。黃軍解釋說，“起初，我們基于CPU體系架構(gòu)優(yōu)化了訓(xùn)練框架，但隨著模型的復(fù)雜度越來越高，很難對訓(xùn)練框架進行深度優(yōu)化?，F(xiàn)在，我們正致力于將NVIDIAHugeCTR集成到基于A100GPU的訓(xùn)練系統(tǒng)中。在基于CPU的訓(xùn)練系統(tǒng)中，一臺配備8個A100GPU的服務(wù)器可以取代數(shù)百名工作人員。”面對剛剛開啟其推薦系統(tǒng)之旅的團隊，黃軍建議，“充分了解公司當前的基礎(chǔ)架構(gòu)和業(yè)務(wù)狀況，根據(jù)這些信息設(shè)計系統(tǒng)和流程。在選擇技術(shù)堆棧和框架時，需要考慮每個系統(tǒng)的成熟度、社區(qū)生態(tài)、可擴展性和集成友好性?！盋hrisWiggins，《紐約時報》《紐約時報》首席數(shù)據(jù)科學家ChrisWiggins領(lǐng)導(dǎo)《紐約時報》的數(shù)據(jù)科學團隊，該團隊負責為新聞編輯室和業(yè)務(wù)問題開發(fā)和部署機器學習解決方案。關(guān)于推薦系統(tǒng)在當代新聞出版中的作用，Chris解釋說“，訂閱者對《紐約時報》的編輯評判很感興趣，因此推薦系統(tǒng)意味著提升讀者的信任度和忠誠度，確保我們以擴展編輯評判版面的方式實現(xiàn)此目標，而不是取而代之?！蓖扑]系統(tǒng)有助于增強各種不同的新聞服務(wù)，包括“編輯精選”“、最受歡迎的文章”、“智能生活”、Cooking應(yīng)用、移動應(yīng)用中的“ForYou”個性化選項卡、“YourWeeklyEdition”時事資訊等。Chris建議，在選擇合適的技術(shù)方面，他使用KrepsLaw——以ApacheKafka開發(fā)者JayKreps命名的系統(tǒng)?！皩⒀芯砍晒度肷a(chǎn)的訣竅：閱讀最新出版的3-5種刊物，注意他們都聲稱要解決的愚蠢而簡單的問題，然后實施即可?！睒?gòu)建、部署和優(yōu)化的最佳實踐|訪談：關(guān)鍵摘錄 ?12然而，相比之下，“作為一種策略，這在很大程度上取決于我們的產(chǎn)品和新聞編輯室合作伙伴的目標，他們對‘x’（上下文信息）、‘a(chǎn)’（考慮推薦的可能的行動、文章或資產(chǎn)）以及‘y’（我們試圖優(yōu)化的成果）是經(jīng)過深思熟慮的?！薄都~約時報》的推薦系統(tǒng)通過名為Samizdat的平臺提供，該平臺處理擴展以及隱私/合規(guī)性問題。從本質(zhì)上講，該平臺使用讀者的相關(guān)信息，對解釋過的隱私法規(guī)進行分析，然后輸出有關(guān)如何處理該讀者的互動的說明。因此，他們的基礎(chǔ)架構(gòu)團隊能夠?qū)Χ鄠€地區(qū)的數(shù)據(jù)法規(guī)的解釋進行調(diào)整，并簡化整套產(chǎn)品中的更改。他們采用這種做法管理許多推薦系統(tǒng)模型。面對剛剛開啟其推薦系統(tǒng)之旅的新團隊，Chris建議，“我傾向于聽取其他人的建議，例如KrepsLaw，當然還會參考MonicaRogati的“AI需求金字塔”信息圖?！都~約時報》特有的成功源自于數(shù)據(jù)科學家和軟件工程師之間的緊密合作與共同創(chuàng)造，他們并排坐在辦公桌前（在辦公室里辦公時），結(jié)合使用Python（特別是數(shù)據(jù)科學家）和Go（特別是我們的軟件工程合作伙伴）進行編碼，從而制定出在“統(tǒng)計學和服務(wù)水平協(xié)議”方面均表現(xiàn)良好的方法。推薦系統(tǒng)面臨的主要挑戰(zhàn)《紐約時報》的優(yōu)先事項——例如與受眾建立信任，在內(nèi)容方面更深入、更細分的模型等——向往往運行良好的機器學習模型提供信息?！拔覀?nèi)〉玫囊粋€成功是從預(yù)測方法轉(zhuǎn)向規(guī)范方法，例如，可以在我們支持的單獨版面和內(nèi)容池中部署結(jié)合上下文的不同的Bandit算法。”通過推薦系統(tǒng)推薦的個性化內(nèi)容是對編輯評判的補充，這決定了讀者更關(guān)注新聞報道中的哪些故事。“《紐約時報》的算法策展用于網(wǎng)站和應(yīng)用的指定部分。我們使用它來選擇手動策展效率低下或難以手動策展的內(nèi)容，例如主頁的“智能生活”部分或個性化時事資訊“YourWeeklyEdition”中的內(nèi)容。Chris解釋說，“使用結(jié)合上下文的Bandit算法來推薦文章時，這些算法擅長于快速適應(yīng)讀者不斷變化的喜好并有效地探索新選項。當然，在實踐中，生產(chǎn)環(huán)境中復(fù)雜的推薦系統(tǒng)可能需要執(zhí)行很多步驟，因此結(jié)合上下文的Bandit算法可以被視為工具包中用于構(gòu)建推薦系統(tǒng)工作流程的構(gòu)建塊，對于個性化推薦過程的上游出現(xiàn)的內(nèi)容模型而言尤其如此?！爸恍铇?gòu)建簡單的結(jié)合上下文的Bandit算法，即可達到你所需的性能。在內(nèi)容流失的新聞業(yè)務(wù)中，你希望在預(yù)測性與可解釋性之間取得平衡，從而幫助你了解如何推薦內(nèi)容?！闭雇磥?，Chris指出，“我們總會發(fā)現(xiàn)新的問題，并嘗試在新聞業(yè)的環(huán)境發(fā)生變化時解決這些問題。。”他建議關(guān)注，因為他們的團隊將繼續(xù)記錄其推薦系統(tǒng)之旅。KannanAchan，WalmartGlobalTech領(lǐng)導(dǎo)WalmartGlobalTech的個性化和推薦系統(tǒng)團隊KannanAchan領(lǐng)導(dǎo)的團隊負責向WalmartGlobalTech的客戶提供個性化體驗。“我們所做的工作就是在給定頁面展示一整頁的個性化推薦內(nèi)容”。可以是創(chuàng)意橫幅，可以是商品輪播，也可以是CAD。個性化團隊需要一次性解決所有問題，因此我們一次性推薦整頁的內(nèi)容。他們的團隊分為三個小組，分別負責以下工作：了解客戶、了解內(nèi)容和在線推理。后者需要用到運行時執(zhí)行的客戶特征和內(nèi)容特征的叉積。關(guān)注點分離為組織提供了靈活性，正如Kannan所解釋的那樣，“這樣確實有助于我們擴展規(guī)模、開展協(xié)作和解決許多有趣的問題。構(gòu)建、部署和優(yōu)化的最佳實踐|訪談：關(guān)鍵摘錄 ?13推薦系統(tǒng)使用Walmart網(wǎng)站和Walmart門店的全渠道數(shù)據(jù)?？v觀推薦系統(tǒng)用例的歷史，你會發(fā)現(xiàn)全渠道數(shù)據(jù)一開始用于分析目的。后來，公司意識到需要更深入地了解客戶，同時還需要充分考慮到數(shù)據(jù)隱私問題。“我們確實發(fā)現(xiàn)，有許多客戶的購物渠道多種多樣?！比罃?shù)據(jù)場景之所以這么復(fù)雜——同時這也是網(wǎng)店和實體店零售環(huán)境中面臨的問題——是因為客戶數(shù)據(jù)中存在稱為“意圖”的方面。例如，客戶可能每周都會去雜貨店購物，而在其他情況下，客戶可能考慮一次性購買商品，例如電視。推薦系統(tǒng)發(fā)揮作用的方式可能會因意圖而異。“在推薦系統(tǒng)的應(yīng)用領(lǐng)域方面，傳統(tǒng)上人們認為推薦系統(tǒng)是包含用戶和評分的矩陣，即協(xié)作過濾器。查看研究結(jié)果，你會發(fā)現(xiàn)我們必須提供一些更傳統(tǒng)的內(nèi)容，例如“瀏覽過此商品的人還瀏覽了……”，但當客戶將商品加入購物車的那一刻，我們還必須推薦配套商品。啟動推薦系統(tǒng)項目Kannan建議從業(yè)者投入時間來構(gòu)思和真正理解給定用例的目標函數(shù)，這與MonicaRogati的建議不謀而合。由于季節(jié)性等復(fù)雜因素，理解數(shù)據(jù)的上下文就顯得更為重要了。“例如，購買德州西紅柿的人也會購買墨西哥辣椒，但在其他地方情況并非如此。他們可能會買一個梅森罐來進行腌制，對吧？”同樣，“推薦系統(tǒng)不是一刀切的解決方案。每個推薦系統(tǒng)都有其自己的目標函數(shù)。在一定程度上這是由業(yè)務(wù)策略驅(qū)動的?！睆母拍畹慕嵌葋砜矗琄annan建議采用整體方法?！皟H展示一頁的個性化內(nèi)容是遠遠不夠的。我們只是在某種程度上將其視為張量，并且我們還必須對整個會話進行個性化定制。在這種情況下，我們的第一要務(wù)是了解客戶。推薦系統(tǒng)團隊致力于了解客戶訪問網(wǎng)站的原因，然后讓客戶發(fā)現(xiàn)他們在該網(wǎng)站上可能會選擇的商品?！斑@就是發(fā)現(xiàn)漏斗中推薦系統(tǒng)真正發(fā)揮作用的地方，即幫助提高轉(zhuǎn)化率。更重要的是，縱觀推薦系統(tǒng)之旅，我們還開發(fā)了讓客戶再次互動的模型?！贝送?，請認真思考這樣一個問題，在互動的每個階段客戶在做些什么?！傲悴樵兪请娮由虅?wù)領(lǐng)域最常見的問題，只有借助推薦系統(tǒng)才能解決這個問題。我是說當主頁上出現(xiàn)零查詢的情況時，你只擁有客戶背景信息、對客戶的了解情況，也許推薦URL就是最有效的工具，但你必須展示一整頁的個性化推薦內(nèi)容?！毕啾戎?，在Netflix獎中有人提出將recsys挑戰(zhàn)作為單點解決方案。在選擇合適的技術(shù)方面，Kannan提出了這樣的建議：“不要逼近問題本質(zhì)，而是要制定出解決方案?！彼€介紹了在模型復(fù)雜度和所需響應(yīng)時間之間需要權(quán)衡取舍的問題?！啊庇捎陬A(yù)計響應(yīng)時間是40-50毫秒，因此對線上運行的內(nèi)容有著重大影響。通過這種方式可以確定我們選擇的技術(shù)類型。有時，我們甚至更愿意使用簡單的邏輯回歸或梯度提升決策樹，因為它們確實有效，它們的可解釋性是可以預(yù)料到的，并且我們可以合理地控制延遲。在機器學習基礎(chǔ)架構(gòu)方面，他們的團隊依賴于開源代碼?！拔覀兺耆蕾囉陂_源代碼。例如，我們會大量用到PySpark、TensorFlow、Airflow和Kubernetes等開源代碼。毋庸置疑，NVIDIA的開源代碼NVTabular、HugeCTR等對我們?nèi)绾慰创磥淼墓ぷ髁鞒坍a(chǎn)生了重大影響。此外，還有圖神經(jīng)網(wǎng)絡(luò)模型，該模型為線上雜貨店中的所有替代品提供支持。構(gòu)建、部署和優(yōu)化的最佳實踐|訪談：關(guān)鍵摘錄 ?14推薦系統(tǒng)面臨的主要挑戰(zhàn)對于WalmartGlobalTech的推薦系統(tǒng)而言，硬件發(fā)揮了至關(guān)重要的作用?！把舆t并非小事。如有延遲，我們將無法構(gòu)建復(fù)雜的模型并在線進行評分。通常，我們會使用簡單的回歸——只需30-40毫秒就能推理出來。但后來我們開發(fā)出深度學習模型，這些模型的前景相當看好。借助GPU，你將能夠在生產(chǎn)環(huán)境中無縫測試和擴展深度學習模型，確實帶來了很大的變化。團隊密切關(guān)注的另一個方面是隱私和公平。“我們總是能意識到隱私和公平，因為我們很嚴肅地對待這個問題。”這正是結(jié)合上下文的Bandit算法感興趣的問題，推薦系統(tǒng)也因此引起了人們的注意，其原因與《紐約時報》解釋的原因相似。Kannan解釋說，“我們在探索/利用方面看到了巨大的吸引力，因為探索/利用是眾所周知的問題。結(jié)合上下文的Bandit算法和豐富的獎勵函數(shù)建模就是良好的回報。漏洞利用框架有助于增加收入，但也會造成顯示偏差。我們在論文中指出，漏洞利用框架對業(yè)務(wù)非常有用，并且還有助于改進我們的模型，因為它試圖消除數(shù)據(jù)集的偏差。再解釋得更詳細一點，這種方法其實就是使用結(jié)合上下文的Bandit算法作為構(gòu)建塊，有效的學習單元策略性地位于工作流程中?！皞鹘y(tǒng)上，推薦系統(tǒng)可能顯示前10個候選結(jié)果，用戶只與前10個候選結(jié)果進行交互，而顯示在底部的候選結(jié)果或者前20或30個候選結(jié)果永遠都沒有這樣的機會——除非某些商品缺貨。但如果使用探索/利用模型，即使在某些方面表現(xiàn)良好，我們也會持續(xù)不斷地在線學習，但方差很高時，我們會迅速顯示出來，以確保它是否運行良好。這同樣適用于模型的某些方面表現(xiàn)糟糕的情況，但如果你不確定是哪些方面出了問題，我們會顯示更多信息，確保清除問題。我們使用湯普森采樣的變體，有原則地完成這項工作?！痹谄渌芯款I(lǐng)域，該團隊正在迭代深度學習應(yīng)用?！斑@是我們研究的一個重要領(lǐng)域——使用知識嵌入和深度學習模型進行在線推理。NVIDIATriton推理框架設(shè)計得很巧妙，它使我們能夠毫不費力地在基于CPU的模型和基于GPU的模型之間無縫切換。我們使用“廣度網(wǎng)絡(luò)和深度網(wǎng)絡(luò)”，在某些情況下，我們有豐富的表示形式，此時GPU開始發(fā)揮作用，但當我們沒有更深層次的表示時，“廣度”網(wǎng)絡(luò)就會開始發(fā)揮作用。這些網(wǎng)絡(luò)實施起來需要花費時間，但這個框架確實加速了實施過程。展望未來，Kannan提到了用于增強其推薦系統(tǒng)的另外兩個技術(shù)領(lǐng)域?！拔艺J為自監(jiān)督學習是很有前景的一個研究領(lǐng)域。當你查看網(wǎng)站時，我們知道有人瀏覽了網(wǎng)站。也許客戶花了10分鐘把商品添加到購物車，花了30分鐘結(jié)賬，我們是了解客戶購物過程的。而門店數(shù)據(jù)則只有“此客戶購買了這件商品”。我們真的不知道是什么因素促使他們購買商品的，我們甚至都不知道商品的訂單。以前，團隊需要關(guān)聯(lián)全渠道數(shù)據(jù)，試圖將這兩個數(shù)據(jù)源結(jié)合到一起。“一個數(shù)據(jù)源只顯示購物籃中的商品，另一個數(shù)據(jù)源則顯示明確的意圖以及意圖是如何轉(zhuǎn)化為行動的?！弊员O(jiān)督學習提供了跨數(shù)據(jù)源協(xié)調(diào)對客戶的了解情況的方法。換句話說，就是從一個數(shù)據(jù)源進行采樣，以預(yù)測另一個數(shù)據(jù)源的相關(guān)方面——有人可能會想到這是盲人摸象（四個盲人比較他們摸同一頭大象后得出的結(jié)果）的優(yōu)化版本。生成對抗網(wǎng)絡(luò)則代表了無監(jiān)督或半監(jiān)督管道增強數(shù)據(jù)源和整體學習的另一種方式?！拔覀?nèi)ツ晖顿Y研究的領(lǐng)域是使用GAN進行推薦。我們在對抗網(wǎng)絡(luò)方面取得了一些良好的成果，特別是在隱私和攻擊遷移領(lǐng)域?！睒?gòu)建、部署和優(yōu)化的最佳實踐|訪談：關(guān)鍵摘錄 ?15EvenOldridge，NVIDIANVIDIA的NVIDIAMerlin?工程主管Oldridge還領(lǐng)導(dǎo)NVIDIA的NVIDIAMerlin工程團隊。Merlin是一個開源框架，為構(gòu)建在GPU上加速的端到端推薦系統(tǒng)提供支持。其功能包括支持數(shù)據(jù)預(yù)處理、特征工程和訓(xùn)練深度學習模型，并且支持運行生產(chǎn)推理。甚至這樣描述，“Merlin是NVIDIA專用于推薦系統(tǒng)的框架。一開始，Merlin專用于基于深度學習的推薦系統(tǒng)，我對這項工作充滿熱忱。Merlin的功能可滿足客戶在其整個項目生命周期中的需求，這一點與業(yè)內(nèi)recsys專家的建議（即從簡單模型著手）相呼應(yīng)。“借助Merlin，[我們]提供了[一個]框架，以便你可以從簡單模型著手，然后隨著時間的推移構(gòu)建更復(fù)雜的模型。這是該領(lǐng)域存在的差距。目前很難從傳統(tǒng)的機器學習過渡到深度學習，在這個階段，許多公司都在苦苦掙扎，他們不得不啟動完全不同的管道來完成基于深度學習的工作，這個過程是很復(fù)雜的?！贝送?，價格也很昂貴，正如MonicaRogati及其他專家所告誡的那樣，項目路線圖中的不連續(xù)性可能會轉(zhuǎn)化為風險。Even補充說，“實際上我們正在努力解決的挑戰(zhàn)是，團隊如何構(gòu)建有效的推薦系統(tǒng)。怎樣才能讓推薦系統(tǒng)使用起來更簡單？我們?nèi)绾卧诠艿赖拿總€階段提供解決方案，而該解決方案不一定是最終的解決方案?！叭缃?，推薦系統(tǒng)的開發(fā)和部署是一項非常復(fù)雜的任務(wù)。構(gòu)建機器學習模型本來就已經(jīng)很復(fù)雜了，recsys則更為復(fù)雜。不過，這種情況正在發(fā)生變化，我們目前重點研究Merlin，力求將其打造成為易于使用、易于部署的高性能框架?！毙枰斢洿朔椒ǖ囊粋€方面，那就是必須為每個客戶制定路線圖；今天提到的要求并非一成不變。“HugeCTR團隊所做的工作表明，NVIDIA專注于研究推薦系統(tǒng)的高端領(lǐng)域。他們目前正在研究的項目是100TB模型。該模型的規(guī)模比我們所知道的任何客戶都要大，但客戶很快就會需要用到規(guī)模如此之大的模型了。當你使用規(guī)模如此之大的模型時，你必須聰明地思考，并且客戶會研究團隊在開源空間方面所做的工作和發(fā)布的內(nèi)容，并試著將研究成果集成到產(chǎn)品中，同時他們也會向其他團隊提供指導(dǎo)。有些團隊只是通過將技術(shù)集成到自己的堆棧中這種方式來采用該技術(shù)。在這一層面，我認為我們正在進行的研究主要專注于高端領(lǐng)域，這項研究工作是很有意義的。涉及推薦系統(tǒng)高端領(lǐng)域的業(yè)務(wù)有很多。使用推薦系統(tǒng)的公司在規(guī)模上游很大的差異。而高端領(lǐng)域所需的計算會使低端領(lǐng)域所需的計算相形見絀。”解決重要問題構(gòu)建可滿足復(fù)雜需求的機器學習模型是一項艱巨的工作。如前所述，僅構(gòu)建模型是遠遠不夠的，到目前為止，人們已經(jīng)不太關(guān)注典型的機器學習工作流程了。糾正這種差距對于開源生態(tài)系統(tǒng)的蓬勃發(fā)展尤為重要?！澳闳绾螌⑦@些模型投入生產(chǎn)？對許多公司而言，這是一個巨大的障礙。將模型投入生產(chǎn)絕非易事，特別是深度學習模型，但即使是用于協(xié)作過濾的基本模型，投入生產(chǎn)后也需要進行適當?shù)谋O(jiān)控，確保它不會偏離軌道，并確保你追蹤的所有活動均符合預(yù)期。整個流程非常復(fù)雜。因此，[Merlin]團隊研究的第二個問題是確保模型在生產(chǎn)環(huán)境中易于部署。Merlin團隊的另一項優(yōu)先要務(wù)是降低推薦系統(tǒng)實踐在這些方面的風險。構(gòu)建、部署和優(yōu)化的最佳實踐|訪談：關(guān)鍵摘錄 ?16啟動推薦系統(tǒng)項目面對剛剛開啟其recsys之旅的人，Even建議，“我認為關(guān)鍵在于從簡單和迭代模型著手。我認為，數(shù)據(jù)科學家傾向于構(gòu)建最新、最出色的深度學習模型。而我們只需要從更直接、簡單的模型著手即可。根據(jù)我的經(jīng)驗來看，有效的數(shù)據(jù)比有效的模型更有用，這是數(shù)據(jù)科學家們費了一番苦功才汲取到的經(jīng)驗教訓(xùn)。但我覺得普遍的做法是，隨時維護和清理數(shù)據(jù)，然后經(jīng)常執(zhí)行特征發(fā)現(xiàn)工作，相較于‘我將嘗試使用最新的模型’，這種做法帶來的好處更多?！痹诼殬I(yè)生涯的早期階段，Even為某個流行的在線約會系統(tǒng)構(gòu)建了推薦系統(tǒng)。他敦促從業(yè)者將流程實施到位，以便他們了解收集到的數(shù)據(jù)、衡量的指標、部署環(huán)境以及用例的目標函數(shù)?！斑@就是我們使用的模型以及我們進行迭代的方式，并且我們將會輸出此類模型?！比缓笈c負責生產(chǎn)的團隊密切合作，了解他們的流程、約束等。概要這些訪談內(nèi)容說明了行業(yè)內(nèi)不同的推薦系統(tǒng)實踐之間有很多共同點，即使縱觀不同的業(yè)務(wù)垂直領(lǐng)域：零售、新聞、社交媒、游戲等，也會發(fā)現(xiàn)許多共同點。首先，開放源代碼已成為行業(yè)內(nèi)推薦系統(tǒng)的重要組成部分。開源生態(tài)系統(tǒng)中工具的互操作性對于降低項目風險至關(guān)重要，在考慮項目的整個生命周期時尤為如此。工具必須足夠靈活，才能為試驗和探索工作提供支持，同時還必須承認尚未出現(xiàn)的新技術(shù)。另一個需要解決的就是數(shù)據(jù)問題?！按髷?shù)據(jù)”概念出現(xiàn)在2000年代中期。從那以后人們普遍認識到，生產(chǎn)環(huán)境中的機器學習擁有的數(shù)據(jù)越多，數(shù)據(jù)的質(zhì)量越高，構(gòu)建出的模型往往就越有效。當然，推薦系統(tǒng)的情況也是如此。我們不能僅僅依靠更好的算法來改進模型；我們還需要擁有良好的訓(xùn)練數(shù)據(jù)、用于推理的良好的客戶數(shù)據(jù)、良好的反饋以及用于評估指標的儀器等。將有效的數(shù)據(jù)準備工作放在首位很可能成為一項恒久不變的要求。請注意，隨著推薦系統(tǒng)的用例大獲成功，數(shù)據(jù)速率將會增加。對成功指標進行優(yōu)化時，不斷從數(shù)據(jù)中學習也很重要。為了全面了解生產(chǎn)中的推薦系統(tǒng)，可以考慮將數(shù)據(jù)科學人員重新指定為"指標工程師"。以下要點總結(jié)了這些專家訪談中強調(diào)的其他關(guān)鍵點。要點1：從簡單模型著手在啟動recsys之旅方面，專家提供的建議是一致的，那就是從簡單模型著手。想想自己真正需要的是什么。與其急于實施可能符合業(yè)內(nèi)潮流趨勢卻復(fù)雜的機器學習模型，倒不如嘗試使用基于規(guī)則的簡單基準進行模擬。遵循測試、測量和迭代的流程。然后，你的解決方案可以從簡單模型進階到復(fù)雜模型，并且風險更低。PeteWarden寫了一篇介紹相關(guān)實踐的文章——從JetPac開始一直介紹到Google，稱為“綠野仙蹤”，團隊首先模擬提議產(chǎn)品的機器學習組件，并且在現(xiàn)場觀眾面前以交互方式執(zhí)行。同時，從使用眾所周知、經(jīng)過驗證的技術(shù)著手。優(yōu)先考慮易于集成性，并將努力與結(jié)果的比例保持在盡量低的水平。構(gòu)建、部署和優(yōu)化的最佳實踐|訪談：關(guān)鍵摘錄 ?17要點2：了解目標函數(shù)確定成功指標，全面了解手頭用例的目標函數(shù)。這是專家們重復(fù)次數(shù)最多的建議。要點3：擴展到商業(yè)模式回顧Netflix獎（2006-2009年），推薦系統(tǒng)面臨的挑戰(zhàn)就是被作為單點解決方案制定。換言之，就是考慮使用推薦系統(tǒng)來提供項目排名列表。有輸入和輸出，中間提供“黑匣子”解決方案。2009年以來，我們已經(jīng)看到了生產(chǎn)中的推薦系統(tǒng)是如何改變商業(yè)模式的。例如，人們通常認為雜貨店利潤微薄。在打造雜貨店配送商業(yè)模式方面的早期嘗試舉步維艱。引入推薦系統(tǒng)后，可以應(yīng)用機器學習，不僅在聯(lián)系客戶時很有用，還可以用于深入了解商業(yè)流程。推薦系統(tǒng)現(xiàn)在面臨的問題是，整個用戶體驗的個性化范圍變得更加廣泛了。他們制定應(yīng)急方案，并幫助優(yōu)化業(yè)務(wù)的其他方面。以《紐約時報》為例，機器學習解決方案為企業(yè)的經(jīng)濟優(yōu)勢提供支持，而推薦系統(tǒng)則用來提高讀者的信任度和忠誠度。我們以擴展編輯評判版面的方式實現(xiàn)此目標，而不是取而代之。起初人們對機器學習的使用是存疑的，但在短短幾年的時間里，機器學習已經(jīng)轉(zhuǎn)變?yōu)楹诵臉I(yè)務(wù)策略。在此期間，硬件的演進，以及更復(fù)雜、功能更強的機器學習技術(shù)的發(fā)展，改變了人們對企業(yè)文化的這種看法。要點4：快速推理和硬件加速從歷史上看，開源項目和供應(yīng)商服務(wù)更多地關(guān)注典型機器學習工作流程的早期階段，如ETL和數(shù)據(jù)準備。在后期階段，例如提供模型和實時推理（最接近客戶體驗）階段，機器學習往往會降級為最終應(yīng)用的臨時代碼。即便如此，推薦系統(tǒng)的許多生產(chǎn)用例都對快速推理有一定的要求，通常要求在100毫秒內(nèi)完成推理。雖然有許多選項和有趣的技術(shù)可供推薦系統(tǒng)使用，但推理所需的時間是一種門函數(shù)。如果無法在規(guī)定時間內(nèi)進行高質(zhì)量的推薦，則必須改為使用更簡單的技術(shù)。例如，即使在資源豐富的復(fù)雜實踐中，直至大約兩年前，大多數(shù)機器學習模型都是相對簡單的線性模型。然而最近引入了深度學習模型?？蓪崿F(xiàn)快速推理的硬件改變了游戲規(guī)則。最終結(jié)果是，從整體上看硬件可以采用更復(fù)雜的AI，這與剛才我們提到的有關(guān)推薦系統(tǒng)深入擴展到商業(yè)模式與運營的要點息息相關(guān)。隨著機器學習領(lǐng)域的繼續(xù)演進，必定會涌現(xiàn)出更復(fù)雜的方法。例如，GAN、自監(jiān)督學習和增強學習都承諾為推薦系統(tǒng)提供有趣的應(yīng)用，盡管這項工作在大部分程度上仍然處于研究階段。這些特定示例還增加了所需的計算資源量。需要解決的一個問題是：更先進的技術(shù)是否有足夠出色的性能表現(xiàn)，可以在幾毫秒內(nèi)運行？這種限制是否會阻礙生產(chǎn)環(huán)境中的推薦系統(tǒng)采用最新的創(chuàng)新？相反，提供大內(nèi)存空間和硬件加速的編排集群將成為更先進的AI應(yīng)用的有利因素。構(gòu)建、部署和優(yōu)化的最佳實踐|訪談：關(guān)鍵摘錄 ?18要點5：關(guān)鍵組件與行業(yè)內(nèi)推薦系統(tǒng)實踐相關(guān)的熱門話題包括使用特征存儲庫（幾年前引入），利用圖神經(jīng)網(wǎng)絡(luò)和模型蒸餾。要點6：規(guī)劃路線圖提前計劃系統(tǒng)升級。就組件而言，例如簡單的線性模型將被更復(fù)雜的深度學習模型所取代，因此可能需要更改你的運行環(huán)境。從另一種意義上講，由于推薦系統(tǒng)實踐有助于增強企業(yè)的經(jīng)濟活力，因此有理由發(fā)展這種實踐。數(shù)據(jù)速率可能會增加。隨著時間的推移，推薦系統(tǒng)將會更深入地擴展到業(yè)務(wù)流程中。或者其他業(yè)務(wù)部門可能需要其他推薦系統(tǒng)用例。規(guī)劃系統(tǒng)升級和用例不斷增長的路線圖。盡可能利用提供擴展路線圖的技術(shù)，這樣不僅滿足了目前的擴展要求，而且還可以滿足未來幾年內(nèi)業(yè)務(wù)取得成功的需求。放眼全球數(shù)十億用戶以及他們在網(wǎng)上進行的各種互動——瀏覽、購物、學習、與朋友聊天——每一刻、每一次活動、每一個會話對于推薦系統(tǒng)而言都是另一個機會，以便更輕松、更快速、通過更加個性化的方式幫助每個人做出明智決策。這意味著數(shù)十億人在網(wǎng)上與數(shù)萬億的東西進行互動。了解詳情要更深入地了解NVIDIAMerlin，請訪問/nvidia-merlin?2021NVIDIACorporation.保留所有權(quán)利。NVIDIA、NVIDIA徽標、Merlin及[其他NVIDIA產(chǎn)品和技術(shù)]均為NVIDIACorporation在美國和其他國家/地區(qū)的商標或注冊商標。其他公司名稱和產(chǎn)品名稱可能為相應(yīng)各公司的商標。其他所有商標均為其各自所有者的資產(chǎn)。2021年9月?19對負責人和專家的深入訪談在本報告的前半部分，我們總結(jié)了趨勢，并摘錄了各個領(lǐng)域負責人和專家的訪談內(nèi)容。在本部分中，我們提供一些深入的訪談內(nèi)容。在某些情況下，為了提高可讀性，經(jīng)受訪者批準我們對訪談內(nèi)容進行了編輯。問：你用于構(gòu)建推薦系統(tǒng)的數(shù)據(jù)量是多少？如果我們使用的是大型推薦系統(tǒng)，那么我使用的數(shù)據(jù)范圍包括零數(shù)據(jù)點以及將數(shù)億用戶與盡可能多的項目相匹配的數(shù)據(jù)。高端系列的系統(tǒng)吸引了大部分的注意力，因為它可以解決長尾問題，并進行個性化的推薦，感覺就像魔術(shù)一樣神奇（或者感覺令人毛骨悚然，具體取決于你的觀點）。數(shù)據(jù)科學家們青睞于有趣的算法，這就需要用到規(guī)模更大、更多樣的數(shù)據(jù)。問：你如何選擇合適的技術(shù)和框架來支持你的工作？在推薦技術(shù)和框架方面，我是非常務(wù)實的。除了解決問題的可能性之外，我還牢記這幾條標準：易于集成性、成熟度和保留可選性。推薦系統(tǒng)最重要的衡量標準之一就是易于與公司當前的工作流程集成，并將努力與結(jié)果的比例保持在盡可能低的水平。我記得有家公司想要把一項技術(shù)賣給我在LinkedIn的團隊，由于我們在擴展規(guī)模時遇到了問題，因此我們積極地嘗試這項技術(shù)，但除非我們投入大量的精力和時間，否則無法對其進行測試。這樣會帶來風險，因此你可以利用經(jīng)過一次又一次的證明、眾所周知的技術(shù)來承擔這種風險——而不是貿(mào)然采用新開發(fā)的技術(shù)。順便說一句，“使用無聊的技術(shù)”就像勸數(shù)據(jù)科學家“多吃蔬菜”一樣——眾所周知，理論上這是說得通的，但最新、最出色的有趣技術(shù)對工程師和數(shù)據(jù)科學家很有吸引力。盡管在擴展時使用“無聊”（成熟）技術(shù)尤為重要，但在出現(xiàn)偏離正軌的小問題時，總會需要嘗試使用最新的工具。在探索和利用之間權(quán)衡取舍不僅僅只是推薦系統(tǒng)面臨的問題——你可以將新工具的嘗試視為對創(chuàng)新的投資，或者使用新工具只是為了提高團隊的士氣、招聘效率和人才留存率。在過去幾年中，數(shù)據(jù)工具和框架呈爆炸式增長，我很高興看到其中許多工具和框架確實易于集成，當工具在特定環(huán)境中得到驗證和信任之前，無需對工作流程進行重大更改。我最常向工具構(gòu)建者提出的問題是‘你的特洛伊木馬是什么？’為了讓從業(yè)者方只需付出很少的努力或者無需付出任何努力就能采用推薦系統(tǒng)并獲得信任，你解決的一個問題是什么？最后但并非最不重要的一點是，在采用框架或技術(shù)的早期階段，保留可選性是非常重要的。如果事實證明它不是最合適的技術(shù)，或者我們的需求發(fā)生了變化，會怎么樣？這不僅僅是鎖定現(xiàn)象，而是要在流程的早期階段降低技術(shù)風險并制定備用計劃。最有效的工具包括營銷中可能的退出路徑，并且除了易于集成之外，還提供數(shù)據(jù)導(dǎo)出工具。

MONICAROGATI人工智能（AI）和數(shù)據(jù)科學顧問創(chuàng)造了LinkedIn“你可能認識的人”功能的首個機器學習模型MonicaRogati是一名AI和數(shù)據(jù)科學技術(shù)顧問，為擁有5到8,000名員工的公司提供服務(wù)，涉足多個行業(yè)。在成為獨立顧問之前，她是Jawbone的數(shù)據(jù)副總裁，在那里組建并領(lǐng)導(dǎo)了一支由頂級的數(shù)據(jù)科學家和工程師組成的團隊。在加入Jawbone之前，Monica是LinkedIn數(shù)據(jù)科學團隊的早期成員，曾開發(fā)和改進了LinkedIn的關(guān)鍵數(shù)據(jù)產(chǎn)品，包括將崗位與LinkedIn會員相匹配，發(fā)現(xiàn)你可能認識的人，以及推薦專業(yè)團體。她的研究領(lǐng)域包括應(yīng)用機器學習（擁有卡內(nèi)基梅隆大學的計算機科學博士學位）、NLP和可穿戴設(shè)備。Monica的“AI需求金字塔”圖為世界各地遭到誤解的數(shù)據(jù)科學家提供了盾牌。問：與開源技術(shù)的互操作性有多么重要？非常重要——特別是在選擇合適的技術(shù)和框架的背景下?！耙子诩伞惫δ苊赓M提供，各種開源技術(shù)即插即用。同樣，必須知道替換（原本希望采用的）模塊化技術(shù)中出現(xiàn)問題的組件對系統(tǒng)其余部分的破壞性最小，因此上述“保留可選性”標準還有很長的路要走。?2問：你是如何評估模型的？說到重點了，我們會提出一個經(jīng)過審查的問題，即訓(xùn)練數(shù)據(jù)是通過合乎道德的方式獲得和編譯的，并且在最大化給定的目標函數(shù)時不會對系統(tǒng)造成任何損害。實際評估起來要難得多。而“良好的意圖”遠非令人滿意的解決方案。你可能需要做些研究，因為專家認可的最佳實踐在過去幾年中已經(jīng)不斷演進?；氐皆u估模型的原始問題，我通常建議分三個步驟進行：制定基準，構(gòu)建要求寬松的線下過濾器，在緩慢加速的條件下進行A/B測試。第一步是分析數(shù)據(jù)，然后實施合理但簡單的基于規(guī)則的基準。對于推薦系統(tǒng)而言，可能是“過去3個月中最受歡迎的商品”?；蛘?，如果有其他可用信息，請在規(guī)則中添加另一個屬性：“該人所在國家/州過去3個月內(nèi)最受歡迎的商品”。對于正面例子相對較少的分類問題，可能是“一直說不”（這就是為什么相對罕見的事件聲稱的99%的準確率是存在誤導(dǎo)性的，盡管從技術(shù)上來看確實如此）。如果已有實施到位的模型，并且你跳過了此步驟，無論如何也要嘗試一下。簡單的基準易于調(diào)試、可靠、快速，當事實證明它們幾乎與當前模型一樣有效時，應(yīng)該成為你的首選模型。“要求寬松的線下過濾器”改變了傳統(tǒng)的線下模型評估概念。目標是確認模型并非會導(dǎo)致大規(guī)模的中斷或非預(yù)期損害的災(zāi)難，以及從寬松意義來看是否“前景良好”。目標是*不*一定是擊敗當前的系統(tǒng)（盡管如果你從上述基準著手的話，很可能會是這樣的結(jié)果。）最后，真正的評估來了，那就是在生產(chǎn)環(huán)境中進行A/B測試，但要在緩慢加速的條件下進行。我們需要留意操作問題、缺少的特征、意外損害，以及通?？赡懿粫诰€下或小規(guī)模范圍內(nèi)出現(xiàn)的問題。模型全面運行后，特別是對于推薦系統(tǒng)而言，通常需要經(jīng)歷“預(yù)燒期”，新奇效應(yīng)才會消失。問：在推薦系統(tǒng)方面，你需要解決哪些挑戰(zhàn)？最大的挑戰(zhàn)之一就是設(shè)計合適的指標或目標函數(shù)。數(shù)據(jù)科學家最終將成為指標工程師——如果可能，這是實現(xiàn)自動化的過程中最艱巨的數(shù)據(jù)任務(wù)之一。問：如果團隊負責人剛剛啟動推薦系統(tǒng)之旅，目前正在評估推薦系統(tǒng)的構(gòu)建、部署和優(yōu)化工作，你會傳達什么建議？謹慎地思考你試圖最大化的指標（目標函數(shù)）——通常情況下，對于你*實際*試圖實現(xiàn)的目標而言，它是更易于衡量的代理。當使用你的系統(tǒng)影響目標函數(shù)后，它仍然是有效的代理嗎？由于激勵機制的一致性，有沒有辦法玩弄目標函數(shù)，無論是故意地還是無意地？問題有多難解決，就性能本身而言，你期望達到的上限是什么——例如，評分者間對于訓(xùn)練數(shù)據(jù)的同意程度如何？我在IBM研究院實習時也從SalimRoukos那里學到了一些東西：在開始使用機器學習系統(tǒng)之前，我會花一個小時的時間標記數(shù)據(jù)并完成算法工作。成為算法工程師后，你會發(fā)現(xiàn)無數(shù)的數(shù)據(jù)質(zhì)量問題，確定問題定義不清或者你應(yīng)該放棄推薦時的一系列情況。?3問：你在騰訊就職什么工作？我是騰訊的一名專家工程師，負責廣告推薦系統(tǒng)的設(shè)計和開發(fā)。同時我也主管著騰訊廣告和深度學習平臺的運行。我們的平臺支持機器學習模型優(yōu)化、訓(xùn)練和推理，可應(yīng)用于多種業(yè)務(wù)場景中，如廣告、金融科技和網(wǎng)絡(luò)數(shù)據(jù)挖掘。問：你的團隊在騰訊負責什么？我們的團隊主要開發(fā)機器學習平臺，我們負責特征工程、模型訓(xùn)練和在線推理。我們正努力實現(xiàn)GPU基于0到1的新一代高性能分布式廣告推薦訓(xùn)練系統(tǒng)。問：你和你的團隊在推薦系統(tǒng)方面所做的工作給騰訊的整體業(yè)務(wù)帶來了哪些影響？我們的廣告推薦訓(xùn)練平臺覆蓋了整個騰訊業(yè)務(wù)流。騰訊廣告推薦系統(tǒng)被廣泛應(yīng)用于微信、朋友圈、QQ、騰訊游戲、騰訊視頻、騰訊新聞等業(yè)務(wù)。騰訊廣告收入甚至達到上億。廣告推薦的準確性是增加廣告收入的一大助力。問：你的團隊是一個相對較新的團隊嗎？騰訊決定投資推薦系統(tǒng)的原因是什么？我們的團隊已經(jīng)成立多年。廣告業(yè)務(wù)是騰訊內(nèi)部比較重要的業(yè)務(wù)之一，而廣告推薦系統(tǒng)則用來提高騰訊的整體廣告收入。問：你的團隊主要開發(fā)的是什么樣的推薦系統(tǒng)？我們團隊的主要關(guān)注點就是廣告推薦系統(tǒng)，負責廣告訓(xùn)練平臺的優(yōu)化。騰訊廣告推薦系統(tǒng)包含線下特征工程、訓(xùn)練平臺、線上推理系統(tǒng)、線上特征工程和游戲平臺。廣告推薦是一個逐漸篩選的過程。整理階段包括回顧、預(yù)排序和排序。每個階段都有不同的要求。模型的快速調(diào)查和迭代更是對訓(xùn)練性能提出了更高的要求。問：你的團隊是如何進行訓(xùn)練的？我們會組織每周一次或每兩周一次的技術(shù)分享會。問：你的團隊是如何評估推薦系統(tǒng)的？調(diào)優(yōu)嗎？我們通過推薦系統(tǒng)來優(yōu)化算法策略，增加更多的樣本和特征，然后評估其是否能帶動收入增長。隨著樣本數(shù)據(jù)訓(xùn)練數(shù)量和樣本特征的增加，廣告推薦的準確性得以提高。但這樣一來，訓(xùn)練時間會延長，且模型的更新頻率會受到影響。為了保證模型更新不脫軌，我們需要不斷提升模型的訓(xùn)練性能。模型的訓(xùn)練性能得到提升后，我們就可以訓(xùn)練更多的數(shù)據(jù)，提高模型的準確率，從而增加廣告收入。問：你如何對推薦系統(tǒng)進行優(yōu)化？據(jù)我們了解，騰訊通過使用HugeCTR來進行嵌入式優(yōu)化。這又是如何幫你實現(xiàn)工作流程的優(yōu)化呢？作為一個推薦系統(tǒng)的訓(xùn)練框架，HugeCTR被集成到廣告推薦訓(xùn)練系統(tǒng)中，使得模型訓(xùn)練的更新頻率更快，并通過訓(xùn)練更多的樣本來提升線上廣告效果。

孔祥庭專家工程師騰訊?4問：你如何選擇合適的技術(shù)、工具包、方法和框架來進行你的工作？我們選擇的技術(shù)或框架必須與社區(qū)生態(tài)兼容，這樣我們才能更好地進行后續(xù)升級。問：你如何解決模型的擴展問題？模型越大，越利于我們學習更多的特征，也越能提高模型的準確度。問：你的團隊近期有哪些成功的項目？我們在訓(xùn)練框架中開發(fā)了一種并行數(shù)據(jù)分布式解決方案。問：最近有沒有在你的推薦系統(tǒng)工作流程中使用某種特定的方法？我們最近在廣告推薦訓(xùn)練系統(tǒng)中集成了CSR[CommonSparseRow（通用稀疏行）]管道。生成CSR類型的訓(xùn)練數(shù)據(jù)后，可以直接在GPU上讀取訓(xùn)練數(shù)據(jù)。通過我們對數(shù)據(jù)處理流水線的優(yōu)化，CPU負載大幅降低，GPU利用率得到顯著提高。問：如果團隊負責人剛剛啟動推薦系統(tǒng)之旅，目前正在評估推薦系統(tǒng)的構(gòu)建、部署和優(yōu)化工作，你會給他們提出怎樣的建議，來幫他們加速或簡化推薦系統(tǒng)的工作流程呢？選擇成熟且與社區(qū)生態(tài)兼容的技術(shù)框架，方便進行后續(xù)的系統(tǒng)升級。問：你目前在《紐約時報》擔任什么職務(wù)？CHRISWIGGINS首席數(shù)據(jù)科學家，領(lǐng)導(dǎo)團隊開發(fā)和部署機器學習解決方案，以解決新聞編輯室首席數(shù)據(jù)科學家和業(yè)務(wù)問題?！都~約時報》問：你和你的團隊在推薦系統(tǒng)方面所做的工作給《紐約時報》的整體業(yè)務(wù)帶來了哪些影響？？《紐約時報》的目標是到2025年，付費訂閱者的數(shù)量達到1000萬。訂閱者對《紐約時報》的編輯評判很感興趣，因此推薦系統(tǒng)意味著提升讀者的信任度和忠誠度，確保我們以擴展編輯評判版面的方式實現(xiàn)此目標，而不是取而代之?，F(xiàn)在，推薦內(nèi)容出現(xiàn)在各種新聞版面上，包括“MoreIn”、“編輯精選”、“智能生活”、國際主頁和“最受歡迎的文章”。我們還在Cooking應(yīng)用、移動應(yīng)用中的“ForYou”個性化選項卡、“YourWeeklyEdition”時事資訊中提供推薦功能。?5問：你的團隊是一個相對較新的團隊嗎？《紐約時報》決定投資推薦系統(tǒng)的原因是什么？是還是否。自2013年我在《紐約時報》工作以來，個性化功能不斷演進，經(jīng)歷過多次“團隊動態(tài)重組”，我們?nèi)匀贿€是一個大家庭，但團隊陣容和每個人的角色發(fā)生了變化，就像英國搖滾樂隊的海報一樣，不同之處在于，團隊重組是由不斷變化的基礎(chǔ)架構(gòu)設(shè)能力和