2023阿里文娛智能算法

文娛智能算 文娛智能算 分區(qū)域處理的圖像和視頻清晰化技 基于人類視覺感知的視頻體驗(yàn)評(píng)價(jià)體 端側(cè)智能算法在優(yōu)酷場(chǎng)景的應(yīng) 大千XR-Video技術(shù)概 大千XR-Video技術(shù)在互動(dòng)劇上的應(yīng) 優(yōu)酷視頻換臉技術(shù)實(shí) 基于多模態(tài)內(nèi)容理解的視頻智能裁 阿里文娛視頻智能裁剪技術(shù)實(shí) 媒體智能平臺(tái)之推理服 海量視頻解構(gòu)數(shù)據(jù)全生命周期流 內(nèi)容全生命周期里的文娛大 《長(zhǎng)安十二時(shí)辰》背后的文娛大腦：如何提升爆款的確定性 智能多輪對(duì)話式搜索技術(shù)實(shí) 優(yōu)酷語(yǔ)義模態(tài)匹配模型設(shè)計(jì)與實(shí) 優(yōu)酷多模態(tài)搜索設(shè)計(jì)與實(shí) 基于Bi-LSTM深度學(xué)習(xí)模型的TermWeight算 多模態(tài)視頻多標(biāo)簽分類在優(yōu)酷推薦算法中的實(shí) 本節(jié)摘 因果推斷在用戶增長(zhǎng)中的應(yīng) 基于UpliftModel的營(yíng)銷增益模 外投DSP自動(dòng)報(bào)價(jià)算法實(shí) 本節(jié)摘 基于圖執(zhí)行引擎的算法服務(wù)框 面向多級(jí)多模態(tài)場(chǎng)景的召回引 基于內(nèi)容圖譜體系的特征與索引更新平 文娛智能算 ?標(biāo)簽化理 ?元素化解 數(shù)據(jù)化評(píng) ?核心生產(chǎn)資料控貨輔助支3個(gè)月以上，期間還面臨內(nèi)容監(jiān)察審 文娛智能算 文娛智能算 一、UPGC視頻和圖像質(zhì)量面臨的挑戰(zhàn)UPGC視頻，畫質(zhì)情況卻不容樂觀，UPGC視視頻的封面圖也是由原始視頻截幀得到的，好的封面圖會(huì)提升用戶的觀看欲望。如果原視logo檢測(cè)、人臉檢測(cè)、saliency區(qū)域檢測(cè)等算法得到。后續(xù)的區(qū)域處理和融合saliency區(qū)域有較精細(xì)的區(qū)域分割外，其余均使用檢測(cè)框。SR模型會(huì)對(duì)“疑似”邊緣做強(qiáng)烈的恢復(fù)。模型應(yīng)用于背景虛化區(qū)域，某些輪廓會(huì)被增強(qiáng)SR模型，并適當(dāng)加入GANloss，可以恢logo和文字模型，人臉清晰化模型，alphablending就可以達(dá)到好的效果。的一致性，我們對(duì)增強(qiáng)參數(shù)做了時(shí)間平滑。將圖像場(chǎng)景的SISR（單幀超分辨率）模型替換為SRHR和判別器（Discriminator）Residual-in-ResidualDenseBlock（RRDB）RaGANSR和當(dāng)前批次HRSRHR。判別器為：50ms/幀，并對(duì)VSRstateofartEDVR，借鑒傳統(tǒng)視頻處理GAN網(wǎng)絡(luò)等設(shè)計(jì)了視頻降質(zhì)工具包，可以一定程度上模VSRPixelShuffle模塊，與此同attention模塊，對(duì)視原 處理,原 處理原 處理原 原 Logo原圖 處理人臉部分截 處理后以上詳細(xì)描述了優(yōu)酷UPGC場(chǎng)景視頻和圖像清晰化解決方案，并介紹了關(guān)鍵算法的原理和視覺對(duì)比敏感度函數(shù)（ContrastSensitiveFunction,CSF）和恰可失真門限（JustNoticeableJND4K/8K極高清，HDR，AR/VR最終受體，視覺質(zhì)量也因此稱為visualperceptualquality，即，只是視覺上的畫面質(zhì)量感受。隨著多媒體和硬件技術(shù)的發(fā)展，3D立體電視電影（3D3D技術(shù)尚不成熟fatigue2012Qualinet（EuropeanNetworkonQualityofExperienceinMultimediaSystemsandServices）ExperienceQoEorannoyanceoftheuserofanapplicationorservice.Itresultsfromthefulfillmentofhisorherexpectationswithrespecttotheutilityand/orenjoymentoftheapplicationorserviceinthelightoftheuser’spersonalityandcurrentstate”.HDRmulti-AugmentedRealityMixedReality的發(fā)展，Qualinet定義的QoE的概念可pipeline中，每一個(gè)階段視頻質(zhì)量的評(píng)估可以指導(dǎo)和優(yōu)量專家小組（VQEG）ITU聯(lián)合致力于視頻質(zhì)量的標(biāo)準(zhǔn)化。在ITU-RBT.500等等（ITU-RBT500文獻(xiàn)ITU國(guó)際標(biāo)準(zhǔn)，也搭建了自己的主觀測(cè)背景色度70-250視覺能力進(jìn)行檢測(cè)并記錄。對(duì)于顯示設(shè)備，我們使用色彩分析儀/校準(zhǔn)儀對(duì)顯示器進(jìn)行校準(zhǔn),利imatest類似的亮度/HDRtargets,Arbitrarycharts，xritecolorchart進(jìn)行檢測(cè)。從而確保實(shí)驗(yàn)中使用的顯示設(shè)備符合規(guī)范要求。正式實(shí)驗(yàn)中使用的顯示設(shè)備包括手機(jī)，平板，PC顯示器，HDROTT。以便摩酷實(shí)驗(yàn)室主觀測(cè)試平臺(tái)是基于web開發(fā)的多端（手機(jī)，平板，PC）可用，多用戶并行可以及ITU-TP.910的標(biāo)準(zhǔn)。4:PC證每個(gè)標(biāo)注人員在短時(shí)間內(nèi)不重復(fù)參加類似的主觀測(cè)試，以免產(chǎn)生bias效應(yīng)。務(wù)場(chǎng)景和實(shí)驗(yàn)?zāi)康?，使用的評(píng)測(cè)方法需要仔細(xì)考慮才可得到較為有效的數(shù)據(jù)。ITU在標(biāo)準(zhǔn)中針CategoricalRating),1-5打分，1代表極差，5代表非常好。一個(gè)視頻被多個(gè)觀2DVR視頻的觀測(cè)者去看一段VR/15（ropoACRPairComparisonlabel，如：1代表非常不1代表非常好等，可依據(jù)實(shí)驗(yàn)?zāi)康倪M(jìn)行適配。ITUoutlierITU-RBT.500提出了一種檢測(cè)標(biāo)注人員是否為outlierLi'sMLE除了ITU規(guī)定的數(shù)據(jù)過(guò)濾方法，學(xué)術(shù)界普遍認(rèn)為對(duì)于數(shù)據(jù)獲取本身就很困難的情況下，將outlier的所有數(shù)據(jù)全部過(guò)濾掉是一種非常浪費(fèi)的行為（overkillingNetflix的Li提出了一種即，最終只需要使用恢復(fù)出的真實(shí)分?jǐn)?shù)作為該視頻/圖像的質(zhì)量即可。標(biāo)注人員的bias和inconsistencybiasinconsistency比較大的標(biāo)注者，Li其中，Xe,ss對(duì)視頻/e打的質(zhì)量分。xe為視頻/e的真實(shí)質(zhì)量分?jǐn)?shù)，Be,sc有關(guān)。Be,s服從正態(tài)分布，均值為用戶本身的bias，即b,inconsistency，即，vs。Ae,s是由視頻/圖像內(nèi)容引起，不會(huì)改變分?jǐn)?shù)的均值，只會(huì)影響方差，即，acexpensive試視頻的質(zhì)量而分全參考（FullReference，部分參考（ReducedReference）和無(wú)參考（NoReference）NTIA提統(tǒng)（HumanVisualSystem）特性建模的方法。該方法直接將人類視覺系統(tǒng)參與到質(zhì)量評(píng)價(jià)過(guò)程的機(jī)制用數(shù)學(xué)建模的方式模擬出來(lái)，例如將人眼的多通道特性，ContrastSensitivityFunction,LuminanceAdaptation,MaskingEffect，Pooling等按順序連接最終實(shí)現(xiàn)對(duì)質(zhì)量的評(píng)價(jià)。該方法的hand-craftedfeature，最后做regression的方法；3）CNN的方法，需要大pp所pUGC200人在手機(jī)上進(jìn)行主觀評(píng)測(cè)實(shí)驗(yàn)得到平均質(zhì)量分?jǐn)?shù)作為模型groundtruth。VGG的網(wǎng)絡(luò)訓(xùn)練模型，經(jīng)過(guò)優(yōu)化迭代最終達(dá)到預(yù)測(cè)分?jǐn)?shù)與主觀groundtruth分?jǐn)?shù)線上PLCC=0.87，SROCC=0.86的效果。目前算法模型已經(jīng)應(yīng)用于封面圖篩選及封面圖增強(qiáng)優(yōu)化等業(yè)務(wù)。multi-level特征融合的無(wú)參考質(zhì)量評(píng)價(jià)框架。具體,high-level（各種畫面質(zhì)量評(píng)價(jià)算法得到的結(jié)果）features的融合，可以更好的解決UPGC視頻中失真來(lái)源復(fù)雜引發(fā)的質(zhì)量評(píng)價(jià)難點(diǎn)。該方案的框架圖如下所示（已申請(qǐng)專利：圖：基于multi-level五、5GLight-fieldImaging,AR,VR,360VR,MR,HighDynamicRange(HDR),Free-viewpointvideo,Autostereoscopic3D5G時(shí)代的主流。以提高用戶多維度的感知體驗(yàn)為目的下一代視頻內(nèi)容生成，視頻壓縮，視頻增強(qiáng)，depthestimation,viewsynthesis等技術(shù)勢(shì)必需要質(zhì)放眼業(yè)界，對(duì)于拍攝，有大量的APP是圍繞相機(jī)做文章的，美圖秀秀、無(wú)他相機(jī)、輕顏相多個(gè)業(yè)務(wù)場(chǎng)景的端側(cè)渲染引擎——AX3D引擎。iOS紙等。應(yīng)用于O周場(chǎng)景的編輯類特效，包括轉(zhuǎn)場(chǎng)、動(dòng)效、文字貼紙等。應(yīng)用于播放器的真實(shí)感MNN等推理引擎，端側(cè)有大量的模型可以復(fù)用。這使得我多種AI識(shí)別能力，支持各種圍繞人臉、人體的互動(dòng)和編輯形式。優(yōu)酷UPGC場(chǎng)景對(duì)美顏和畫質(zhì)增強(qiáng)有特別的需求，強(qiáng)調(diào)人臉的真實(shí)感和膚色保持。對(duì)于播要思路是：對(duì)圖片進(jìn)行分頻處理，在不同頻段采集不同處理方式，同時(shí)結(jié)合人臉膚色的maskmask處理區(qū)域。無(wú)磨皮美顏的核心算法包括分頻技術(shù)和對(duì)特定頻率段（痘漬）的處理。分頻技術(shù)需要fastguidedfilter來(lái)實(shí)現(xiàn)分頻的效果。fastguidedfitlter羽化過(guò)渡的邊緣區(qū)域，完美的把人臉區(qū)域圖和原圖就行RAISR（RapidandAccurateImageSuper-Resolution）算法，利用機(jī)器學(xué)習(xí)將低分辨RIASR算法和一些經(jīng)典的超分算法對(duì)比。RAISRRIASR算法least-square損失函數(shù)可寫為[2]：Android支持openCLvalkanRIASR的算法計(jì)算流[2]RIASRRIASR具備了快速適應(yīng)各種場(chǎng)景的能力。XR-VideoXR-Video"XRVideo特色在于(1)虛視頻植入技術(shù)通過(guò)復(fù)用已有的普通視頻素材，在視頻制作后期植入新的內(nèi)容，目的是在原o植入新的內(nèi)容包括用戶提供的和AI（a）logo是廣告主提供的，粒子效果是特效庫(kù)產(chǎn)生的，通過(guò)人體目標(biāo)檢測(cè)和人像分割算法確步提升自動(dòng)化程度，通過(guò)一些CV、AI算法技術(shù)結(jié)合渲染在準(zhǔn)實(shí)時(shí)的體育事上展現(xiàn)更多新穎的圖(a)圖(b)圖(c)360°CV算法使視覺參數(shù)自動(dòng)適配視頻場(chǎng)景，達(dá)到了模板編排、一鍵生成、快速微調(diào)的高效制CV算法結(jié)合進(jìn)行創(chuàng)新，因此我們采用CGCG技術(shù)進(jìn)行插件式配置，從而可以靈CV算法結(jié)合創(chuàng)造令人耳目一新的特效新形態(tài)。原 素材植入SFM方法/深度學(xué)習(xí)的方法進(jìn)行深度估計(jì)、三維平面檢測(cè)和重建，圖像和點(diǎn)云結(jié)合利/隱式的平面檢測(cè)。顯式平面檢測(cè)的步驟包括邊緣檢測(cè)、直線擬合、輪廓提取、篩選和精確查找ohny/nsb，canny等算子與霍夫變換直線檢測(cè)，需要較多的參數(shù)調(diào)節(jié)，且計(jì)算代價(jià)較大，方法相對(duì)復(fù)雜，EDLinsoyDLns2幅或多幅圖片序列進(jìn)行特征點(diǎn)提取與匹配，利用RT矩陣。知道了兩個(gè)相機(jī)之間的變換矩陣(RT)，還有每一對(duì)匹配點(diǎn)的坐標(biāo)，通過(guò)這Harrispatch中有數(shù)量近似的特征點(diǎn)個(gè)數(shù)，減少了特征點(diǎn)的集從二維圖片（序列）CNN3DSLICsimplelineariterativeclustering。分簇的依據(jù)是像素之間的顏色相似性與鄰近性。labL2范數(shù)，顏色鄰近性的度量因子是圖像二維坐標(biāo)空間xy[labxy]（NsNc分別是距離與顏色的權(quán)重BFSclustercluster原 深度然可以保持與畫面運(yùn)動(dòng)的同步。平面追蹤大體有基于特征點(diǎn)的、基于區(qū)域的和generic（KCF）H矩陣平SIFT、SURF、KAZE、AKAZE、BRISK和ORBLearning-based方法有D2-Net、DELF、LF-Net和SuperPoint等。Learning-based方法取代傳統(tǒng)基于SIFT的匹配是一個(gè)大趨勢(shì)。整體來(lái)講，UnSuperPoint框架從效果和數(shù)據(jù)訓(xùn)練方面更符合我們的需求。UnSuperPoint延SuperPointself-supervised方法，多任務(wù)網(wǎng)絡(luò)同時(shí)估計(jì)關(guān)鍵點(diǎn)和描述子，利homographytransformation建立對(duì)應(yīng)關(guān)系用于訓(xùn)練。在多融合方案中，我們將推進(jìn)利用類似UnSuperPoint深度學(xué)習(xí)方法進(jìn)行關(guān)鍵點(diǎn)和描述子聯(lián)合的自適應(yīng)學(xué)習(xí)，保證特征點(diǎn)和描述子的穩(wěn)（repeatability3D3D形式互動(dòng)。例如在視頻廣告中，我們可以在出現(xiàn)保時(shí)捷品牌汽3D互動(dòng)式廣ARPV3億多，UV3100萬(wàn)，支持星巴克、KFC60多款品牌貓，是那年最3D模型（例如星巴克貓）就在其真實(shí)世界周圍的某個(gè)視錐 手機(jī)慣性測(cè)量單元orientation（即歐拉角）rotationvector（即四元數(shù)）Rodrigues'rotationformula推導(dǎo)出以下公式便可計(jì)算旋轉(zhuǎn)矩陣：雖然四元數(shù)可以求出旋轉(zhuǎn)矩陣，在手機(jī)上計(jì)算出準(zhǔn)確的旋轉(zhuǎn)矩陣沒有那么簡(jiǎn)單。廉價(jià)的AdodD。Buy+沉浸式購(gòu)物（全景視頻版VR/AR中通過(guò)空間定位，人置身其中，參與其中的互動(dòng)，猶如身臨其境一般。在阿里推廣VR/AR技術(shù)時(shí)，淘寶和優(yōu)酷身邊都有一批志同道合的同行者，Buy就是大家一起打造的11還發(fā)布了手機(jī)版。因?yàn)槌杀?、時(shí)間和受眾用戶的考慮，采用了全景視頻+手淘+Cardboard的Cardboard上有點(diǎn)擊按鍵，更建議用自到一個(gè)區(qū)域時(shí)，VR應(yīng)用讓你進(jìn)入另外一個(gè)場(chǎng)景，這個(gè)場(chǎng)景是全景圖片，這個(gè)時(shí)候商品細(xì)節(jié)表現(xiàn)會(huì)好一些。不斷推陳出新，DetailAR、Detail3D、高清照片質(zhì)量與空間定位方案等技術(shù)也在視頻特效廣告植入是XR-Video，iPhone，最后通過(guò)pts基準(zhǔn)合流渲染的方法達(dá)到了嚴(yán)格的幀同步，至此特效廣告與視頻資源達(dá)到了解耦+同步360度視頻以及智能影像生產(chǎn)服務(wù)中。它們需要更沉浸、更準(zhǔn)確、更有趣地1）2D3D2D3D3D重建與人物遮罩，為后續(xù)妥善處理視頻中元素的遮擋問題進(jìn)行技術(shù)鋪墊。另一方面，結(jié)合語(yǔ)義信息用深度學(xué)習(xí)進(jìn)行2D語(yǔ)義分割，將分割結(jié)果與3D3D模型渲染提供數(shù)據(jù)支撐，保證虛實(shí)場(chǎng)景視效的一致性。2019年的流媒體關(guān)鍵詞又多了一個(gè)：互動(dòng)視頻。它是一種用戶能“玩”9年6月0新道上的戰(zhàn)役已經(jīng)打響。用戶在觀看的互動(dòng)劇時(shí)候，每觸發(fā)一個(gè)情節(jié)點(diǎn)，都需要通過(guò)選擇操擇事先拍攝好的分支劇情（AB分支）互動(dòng)基礎(chǔ)之上，利用技術(shù)手段，增加了用戶與畫面內(nèi)容R-CNN等，粗定位出人臉區(qū)域；PnP方法，與現(xiàn)有三維模型上的關(guān)鍵點(diǎn)Code）特征，經(jīng)過(guò)實(shí)驗(yàn)，PNCC特征對(duì)于人臉重建的精度并沒有明顯的提升，因此我們?nèi)サ袅?28x128，重建效果提升較大，且網(wǎng)絡(luò)運(yùn)行時(shí)間上并沒有明3ddfa會(huì)反饋一張笑臉，劇情走向可以走向一個(gè)開心的分支；反之，不喜歡一個(gè)演員，采用“丟磚”AB選項(xiàng)的方式機(jī)械化的引導(dǎo)視頻走向，而是更加鮮活的影響劇情中的人標(biāo)定板（例如二維碼）3D模型植入。在拍攝現(xiàn)場(chǎng)布置多個(gè)標(biāo)定板，一次拍攝搞定多3D模型會(huì)讓互動(dòng)劇更有趣，例如：ZAO早上線了將近一年。作，增加了EB網(wǎng)絡(luò)來(lái)的軌跡之后，通過(guò)換臉模型的A網(wǎng)絡(luò)、E網(wǎng)絡(luò)和B網(wǎng)絡(luò)求得待換臉任務(wù)的其他信息、表情信息I網(wǎng)絡(luò)得到用戶的特征信息。將用戶特征與用戶選擇的要將自己換入的視頻的各種信息一起通過(guò)G網(wǎng)絡(luò)，得到10-2510-204為了達(dá)到這個(gè)目標(biāo)，我們從工程上也進(jìn)行了優(yōu)化。首先，將從人臉檢測(cè)到視頻編碼在內(nèi)所有可能的運(yùn)算都放到GUGU和5351視頻/3D的人臉生成算法，為生成模型點(diǎn)亮了新的明燈。相信不久隨著大家觀看視頻的設(shè)備形態(tài)越來(lái)越豐富，在不同寬高比例的顯示屏幕上觀看同一個(gè)視頻3到9向（imageretargeting）算法，即將單張圖片的內(nèi)容重新組織以適應(yīng)變化的寬高比的問題。但由視頻智能裁剪算法的基本目標(biāo)是盡量保證裁剪區(qū)域內(nèi)的內(nèi)容完整性。理論上內(nèi)容完整性指據(jù)此使用了一階+二階全變分（totalvariation）最小化的算法來(lái)在保證抖動(dòng)對(duì)觀感影響最小。以2個(gè)人互動(dòng)的鏡頭，內(nèi)容是兩個(gè)人一開始在畫面左右兩端，之后逐漸靠近最后又稍稍分開的過(guò)程。如果我們直接采用真實(shí)位置作為畫面中心來(lái)裁剪，裁剪后的畫面特征如左圖所示，雖然人0.2%以下。pipeline中，阿里文娛視頻智能裁剪技術(shù)的研發(fā)給內(nèi)容行業(yè)的素在視頻智能裁剪技術(shù)鏈路（1所示）中，我們研發(fā)了前處理模塊（包含鏡頭切分,畫字幕/logo檢測(cè)，畫面內(nèi)容修補(bǔ)等，下面分別介紹四個(gè)模塊。塊，其中分鏡邊界檢測(cè)模型根據(jù)視頻畫面將視頻分成多個(gè)鏡頭片段（2所示；4:3,1:1,3:49:16由于大量豎版視頻存在上下黑邊填充現(xiàn)象（3所示，但上下黑邊在自動(dòng)裁剪后會(huì)boundingbox110部大劇AccuracyRate99%。Kalmanfilter等技術(shù)，將異常定人工評(píng)估視頻幀后觀感流暢。同時(shí)通過(guò)主體標(biāo)定和主體追蹤交互機(jī)制(5所示),保證了主體（/logo檢測(cè)，畫面內(nèi)容修補(bǔ)等logo/字幕截?cái)鄦栴}和分辨率降低的問題。首先對(duì)Mask（Inpainting里云客戶的一致認(rèn)可，我們對(duì)視頻智能裁剪算法棧進(jìn)行了整體性能優(yōu)化，達(dá)到處理時(shí)間僅1:2OGC進(jìn)行裁剪服務(wù)，裁剪后的豎版視頻視頻物體分割（VideoObjectSegmentation，簡(jiǎn)稱VOS，顧名思義就是從視頻所有圖像中13D效果。其核心點(diǎn)是將前景物體99%以上的時(shí)間。半監(jiān)督視頻物體分割（Semi-supervisedvideoobjectsegmentation；交互式視頻物體分割（Interactivevideoobjectsegmentation；segmentation這三個(gè)研究方向?qū)?yīng)于DavisChallenge2019onVideoObjectSegmentation[1]中的三個(gè)道。on-hotvdoojectsgeno，簡(jiǎn)稱OO（a）FrameNo.= （b）FrameNo.= (c)FrameNo.= (d)FrameNo.=1.RGB圖片，需要算法去估計(jì)物體的區(qū)域。該示例的難點(diǎn)是：(1前景背景顏色非常（2）基于在線學(xué)習(xí)的算法根據(jù)第一幀物體的ground-truth，利用one-shotlearning的策略來(lái)身是深度學(xué)習(xí)模型的fine-tuning2019年之前，在線學(xué)習(xí)算法是半監(jiān)督視頻物體分割的最主要的結(jié)果評(píng)估標(biāo)準(zhǔn)是平均Jaccard和F-measurement.平均JaccardJaccard的均值。F-measurement為分割區(qū)域邊緣的準(zhǔn)確度。半交互式視頻物體分割是從去年開始興起的、更貼近實(shí)用的視頻物體分割方法。在交互式視god-uodngx)2.5boundingbox，scribble信息、邊緣ChallengeonVideoObjectSegmentationJaccard&F-measurement@60s(J&F@60s)J&F隨時(shí)間變化曲線圖。3.J&Fground-truth，實(shí)用中獲取比較麻煩。而交互式Davis和YoutubeVOS競(jìng)今年第一次出現(xiàn)無(wú)監(jiān)督道。從算法層面上說(shuō)，無(wú)監(jiān)督視頻物半監(jiān)督和交互式視頻物體分割中，物體是事先指定的，不存在任何歧義。而在無(wú)監(jiān)督視頻DsVS中，要求參者總共提供N在vsnupdOS09N)，與數(shù)據(jù)集gu-ruhLFN目前很多半監(jiān)督視頻物體分割算法在學(xué)術(shù)上有很好的創(chuàng)新，但是實(shí)用中效果不佳。我們統(tǒng)計(jì)了今年RDvs17vlFEEVOS[5、siaMask[72019年3VOSwithrobusttracking策略[8]Davis2017J&F@60s30.353提高到2.space-timenetwork、regionproposalandverification等策略上發(fā)力，以提高視頻物體分割算法在videoobjectsegmentation.CVPR, 系統(tǒng)環(huán)境復(fù)雜——GPUCPU等，同時(shí)也要保證算法服務(wù)smart平臺(tái)基于業(yè)務(wù)需求，整合了鏈路上的所有節(jié)點(diǎn)，串聯(lián)了從標(biāo)注到模型，再到推理，最調(diào)度：根據(jù)算法能力自適應(yīng)調(diào)度,smart平臺(tái)，能夠賦能算法開發(fā)與業(yè)務(wù)應(yīng)用，算法能夠快速響應(yīng)業(yè)務(wù)變化，驅(qū)動(dòng)業(yè)務(wù)smartsmart5APIqps限流、請(qǐng)求參數(shù)簽名驗(yàn)證、防止重放驗(yàn)證。SmartMySQL數(shù)據(jù)庫(kù)作為任務(wù)數(shù)據(jù)的存儲(chǔ)。Smart任務(wù)調(diào)度引擎可以隨時(shí)調(diào)smart的任務(wù)調(diào)度支持優(yōu)先級(jí)調(diào)度，可以根據(jù)不同的業(yè)務(wù)來(lái)源方設(shè)置不同的優(yōu)先級(jí)。優(yōu)先級(jí)priority的值越高代表任務(wù)的優(yōu)先級(jí)越高；qps_limit的任務(wù)優(yōu)先重試：由于算法執(zhí)行引擎繁忙導(dǎo)致qps_limit失敗的任務(wù)，也會(huì)優(yōu)task-consumer處理，但處于運(yùn)行狀json70億+。PB級(jí)存儲(chǔ)、TPS以及毫秒級(jí)延遲的服務(wù)能力。TableStore支持多列拓展，一行中除主鍵列外，其余都是屬性列。屬性列會(huì)對(duì)應(yīng)多個(gè)值，otsa.b.c.da位，bhash5bsite_videoId，taskIdcmd5(key)5位作為主鍵的第一部分，可以把數(shù)據(jù)散列，讓數(shù)據(jù)存儲(chǔ)整體負(fù)載均衡，1100099919991張圖片，減少了不必須的重復(fù)計(jì)qps個(gè)任務(wù)。如何保證GPURT也不能太久。不RT1qps(1秒/100次平均1個(gè)請(qǐng)求處理。機(jī)器資源總是有限的,智能化調(diào)度也是后續(xù)的研究方向,SmartSmart平臺(tái)上數(shù)據(jù)的使用與流轉(zhuǎn)。Netflix（PGC視頻內(nèi)容商）2018年下半年陸續(xù)發(fā)了幾篇文章來(lái)講述他們內(nèi)部的NMDB系統(tǒng)的設(shè)計(jì)和實(shí)現(xiàn)，NMDBNetflixMediaDatabaseNetflix內(nèi)SmartNMDBNMDB的基礎(chǔ)上增加了很多特性來(lái)modelingabilitytenancy（Scalability,之后，數(shù)據(jù)貫穿算法的始終。所以Smart需要、必要打造一個(gè)基于數(shù)據(jù)的閉環(huán)。(OCR的結(jié)果)，4個(gè)主痛苦，TableStoreNoSqlJsonTableStore的存儲(chǔ)方式形成了一個(gè)近乎無(wú)限擴(kuò)展的數(shù)高可靠：109summary:shape：形狀，包含各種幾何形狀以及bitmapcoordinatesCopy18Smart TableStore。同時(shí)SmartTableStore做數(shù)據(jù)流轉(zhuǎn)，并希望搭建Smart在音視頻方面能為大家提供一份好文娛智能算 文娛智能算 行業(yè)技術(shù)挑戰(zhàn)：內(nèi)容的復(fù)雜籌備7個(gè)月，拍攝217理理用籌備7個(gè)月，拍攝217理理用

涉及工種極多的復(fù)雜系統(tǒng)

專業(yè)技能VS流量商業(yè)價(jià)理技術(shù)：NLP/CV/語(yǔ)音的理

&

技術(shù)：不確定性問題的衡量&計(jì)

技術(shù)

戶解+心7個(gè)月拍攝270行業(yè)趨勢(shì)及挑戰(zhàn)：多，從商業(yè)驅(qū)動(dòng)到消物求生生人類物求生生

當(dāng)前社 社會(huì)變 商業(yè)商業(yè)AI時(shí)生生內(nèi)容蓬勃發(fā)展，過(guò)剩產(chǎn)，分級(jí)消生生漫片生漫片生行業(yè)趨勢(shì)：分層、分級(jí)消費(fèi)加劇挑界從全民爆 這世很 圈層爆界人人喜歡->各有所可傳播的抽象或者具象對(duì)象實(shí)小事可傳播的抽象或者具象對(duì)象實(shí)小事 游資 地 新 音綜 體 電 導(dǎo) 編 制 選貫通多文本、全命周期上下游數(shù)據(jù)網(wǎng)絡(luò)畫漫物版依托DeepDriver不斷深入結(jié)構(gòu)化評(píng)藝結(jié)構(gòu)化評(píng)藝內(nèi)容情緒用戶觀劇決策挖 流量彈性分配與規(guī)藝人 分宣評(píng)測(cè)測(cè)畫測(cè)《長(zhǎng)安十二時(shí)辰》-IP/劇物物物人互動(dòng)關(guān)&人物物物

貫穿貫穿 命周期的文娛大腦產(chǎn)生生人物互人物互動(dòng)關(guān)《長(zhǎng)安十二時(shí)辰》–IP/劇率物人出場(chǎng)分布&出鏡—快速定位角色場(chǎng)次、判斷角色戲率物物物各場(chǎng)次&全局人熱詞—判斷各場(chǎng)次和全劇的核心線索，人設(shè)物物張小 李份、情緒值等）benchmark，然后對(duì)于后面的每一個(gè)過(guò)來(lái)的劇本進(jìn)行衡量，相當(dāng)于是對(duì)劇用用

片片《長(zhǎng)安十二時(shí)辰》 情緒挖率測(cè)《長(zhǎng)安十二時(shí)辰》情緒強(qiáng)度率測(cè)

VS網(wǎng)絡(luò)收率然后我們拿更多的方式去驗(yàn)證它的合理性，上圖中抽取《長(zhǎng)安》的幾集來(lái)看，每集有兩條60bnchar，率測(cè)用測(cè)用

VS網(wǎng)絡(luò)收

：綜藝/電基于VA用用

Valence:情緒正負(fù)向。-1到+1之間，-1表示負(fù)向情感，如悲傷+1表示正向情感，如高Arousal:情緒的強(qiáng)烈程度。-1表示情緒最不強(qiáng)烈，如困乏平靜，+1表示最強(qiáng)烈，如激動(dòng)興奮。多模態(tài)的VA識(shí)別ValenceArousal，Valence表示情緒正負(fù)極https://arxi.og/abs1909.01763情緒曲 長(zhǎng)安十二時(shí)辰反貪風(fēng)暴反貪風(fēng)暴北京遇上西雅圖 羞羞的鐵拳

反片情感識(shí)別：圖表情片改進(jìn)模型（ReducedXceptionwithMargin輸

EntryflowMiddleflowExitDenseM

Reduced

SVMMarginLoss輸入：引入人臉關(guān)鍵點(diǎn)測(cè)檢理測(cè)檢理

模型（MTCNN）Densemap計(jì) ∈片片

表情模型提升（ReducedXceptionwithMarginLoss）ReducedXception*用使可分離卷積（deepwise卷+pointwise卷積用Entryflow,middleflow,exitflow各縮減至2層卷,s.t.,s.t.≥1?min+□≥0min+max(1?,0)2□∈表示上一層輸出，∈{?1,1}為分類標(biāo)簽，w表示本層參*CholletF.Xception:DeepLearningwithDepthwiseSeparableConvolutions[J].2016:1800-**YichuanTang,DeepLearningusingLinearSupportVectorMachines,ICMLlandmark對(duì)于原來(lái)的初始的圖象做了densemap作為輸入的一個(gè)通道，結(jié)合原始圖片會(huì)使區(qū)域會(huì)更明顯；合成的輸入ReducedXceptionlossSVMmargeloss，測(cè)采制階段：預(yù)能力建測(cè)率率準(zhǔn)確 準(zhǔn)確率率率率準(zhǔn)確 準(zhǔn)率率

《長(zhǎng)安十二時(shí)辰》背后的文娛大腦：如何提升爆款的確定100W+，普通熱門劇的“北50-60W2倍。217天，從定劇本、選內(nèi)容主創(chuàng)班子是一個(gè)極強(qiáng)的系統(tǒng)化工程，在上圖左側(cè)會(huì)基于內(nèi)容理解做分析和挖掘，而右相比IPDomainKnowledge&KG解決。應(yīng)用解法中不確定分析BeliefNetwork等解法。（SMOTEDNNRelationNetMTL相結(jié)合，降低過(guò)擬合，提高模型的echniquexnew=x+rand(0,1)?|x?xn|，生成的樣本可直接應(yīng)用到項(xiàng)目中，但提升效果5%。DNN去擬合，外softmax分類到某個(gè)答案詞上面，進(jìn)行正確與否的判斷。UncertaintyLearning2016Network了特別多的數(shù)據(jù)，AI能力也得到了前所未有的發(fā)展，我們建立了“文娛大腦”北斗星、AI劇 （NLG（semanticrepresentation，常用的是框架語(yǔ)義表示（framesemantics）（domainquery成分分析技術(shù)，依托實(shí)體知識(shí)圖譜提供的節(jié)目/人物/角色等文娛數(shù)據(jù)，實(shí)現(xiàn)用戶需求CNN的意圖分類（NLG，DMNLU模塊的輸出、用戶的特征等；推薦具體節(jié)目或者更換搜索詞，如“沒有找到xxxxxxFS,基于SM的D，優(yōu)點(diǎn)是簡(jiǎn)單易用，缺點(diǎn)是狀態(tài)的定義以及每個(gè)狀態(tài)下對(duì)應(yīng)的動(dòng)作都要靠人工設(shè)計(jì)，因此不適合知識(shí)圖譜（KnowledgeGraph）本質(zhì)上是一種大規(guī)模語(yǔ)義網(wǎng)絡(luò)，是一種基于圖的數(shù)據(jù)結(jié)構(gòu)，由節(jié)點(diǎn)（Point）和邊（Edge）（Entity（RelationKnowledgeGraphDKG度和粒度上，DKG90后演DKG就可以在更深更細(xì)的層面上為垂直搜索賦能。query90%query是長(zhǎng)尾詞，相關(guān)性query和文檔轉(zhuǎn)化到同一空間進(jìn)行計(jì)算，pLSA，LDA，SMTquery和文檔交互時(shí)間和內(nèi)容&DSSM，ARC-I，CNTNARC-II，MatchPyramid等。BERT以強(qiáng)大的知但是所有數(shù)據(jù)都交由人工標(biāo)注也是不切實(shí)際的。因此在數(shù)據(jù)集的構(gòu)建方面，我們采用主動(dòng)1.笑傲江湖（綜藝，電影，電視劇德羅巴（非洲劉德華志明與春嬌（春嬌與志明term英語(yǔ)書寫（英語(yǔ)怎么寫才好看核心詞，termRNN來(lái)解決視頻搜索中的語(yǔ)義匹配問題?？紤]到下游任務(wù)的通用性，我們是參照DSSMvocabularyDSSMlettertrigram來(lái)增加詞典的覆蓋率。然而不同于英文單詞詞干就帶有單詞的語(yǔ)義信目以及網(wǎng)絡(luò)用語(yǔ)，二是詞語(yǔ)本身也會(huì)經(jīng)常出現(xiàn)轉(zhuǎn)義。例如“鎮(zhèn)魂”這個(gè)詞，前一段時(shí)間可能是（表示日期、期數(shù)等）或者英文（人UGCDSSMlettertrigram處理。雖然在一定程度上這會(huì)損失部分語(yǔ)義信息，但是可以極大的縮OOV情況。對(duì)中文我們則盡可能利用最大粒度分詞確保語(yǔ)義的無(wú)損。當(dāng)大粒RNNBiLSTM來(lái)獲取每個(gè)單詞的上下文信息，于是每個(gè)單詞的表征可以表示為前向和后向序列隱藏狀的拼接[?????,?????]。人們對(duì)一個(gè)文檔的興趣點(diǎn)通常來(lái)自幾個(gè)核心詞。因此我們引入全連接網(wǎng)絡(luò)作為注意力網(wǎng)絡(luò)weighti=FFN([hfi,傳統(tǒng)IDF得到的權(quán)重是全局信息，而此處學(xué)習(xí)到的權(quán)重包含了詞的位置及上下文信息，能Repsent= ????[?????,a= ∑j∈????????1.BiLSTM+Attention得到querycosine??(??)=?∑ exp(????????(??,??+))+∑0.58%2BiLSTM后，模型能夠捕獲到query中蘊(yùn)含的主謂關(guān)系以及主題信息，基準(zhǔn)桶里“法國(guó)”不是核心詞甚至只是被提及語(yǔ)義跟queryterm沒有匹配時(shí)的相關(guān)性u(píng)ryurydEbdgRNNBerttransformer特征提取器具有良好的并行能力和可擴(kuò)展性。在bert第一階段利用term3bert，query與doc分別送入bert得到二者的表示，然后再把他們送入特定的深度網(wǎng)bert。以一般性語(yǔ)料（如wiki或者百科）為基礎(chǔ)結(jié)合行業(yè)垂直領(lǐng)域知識(shí)以及實(shí)體信息進(jìn)行預(yù)訓(xùn)練是提querypairwise任務(wù)更加pairwisequery-docpointwise

??1>???12= ??1< ??1=

1+????2???????=?1+?2+?=????log(P(s))?(1????)log(1?3.bert的嘗試和落地，在第一版中我們沒有直接訓(xùn)練我們自己的模型。經(jīng)過(guò)調(diào)研，我們24RoBERTa-zh-Large的中文預(yù)訓(xùn)練模型。我們利用23萬(wàn)語(yǔ)義相關(guān)性樣本對(duì)模型進(jìn)行微調(diào)。在特意挑選的比較困難的測(cè)試集合上，bertAUC0.79bertF10.3。的模型與基準(zhǔn)模型差不多；而當(dāng)用戶輸入傾向于口語(yǔ)表達(dá)時(shí)，bert的優(yōu)勢(shì)就凸顯出來(lái)了。下面44.9xUGC內(nèi)容時(shí)，標(biāo)題比較簡(jiǎn)單，很難將豐富的視頻內(nèi)容表達(dá)TOB側(cè)需求增長(zhǎng)：內(nèi)容二次創(chuàng)作型的的用戶對(duì)于視頻內(nèi)容語(yǔ)義檢索的訴求顯著增加，獨(dú)的關(guān)系推理，最近video/visualbert的端到端的解決方案也有很大的突破。CV算法將其OCR/ASR等技術(shù)將視頻對(duì)話信息降維到文本域；其核心的內(nèi)容關(guān)鍵詞抽取技術(shù)框架如從上圖可以看到，通內(nèi)容關(guān)鍵詞的詞庫(kù)體量非常大，且內(nèi)容和關(guān)鍵詞屬于多對(duì)多關(guān)系，我NE”grm（）模型預(yù)測(cè)3檔，分別為核心內(nèi)容關(guān)鍵詞，相關(guān)內(nèi)容關(guān)鍵詞以及提及內(nèi)容關(guān)鍵詞，預(yù)測(cè)模型的核在實(shí)體知識(shí)圖譜基礎(chǔ)上，我們基于視覺技術(shù)，實(shí)現(xiàn)視覺元素級(jí)知識(shí)圖譜的構(gòu)建，如人物/動(dòng)作/表情/QPNUugc視頻（記為U)8ugc同時(shí)產(chǎn)出HV輸入：視頻U、UVHqueryCR(Cq)MaxR(c,q)forcinVorcinSa(C)是方案引入視覺內(nèi)容相關(guān)性這個(gè)模塊，在排序階段輸出視覺相關(guān)性得分，從封面美觀度，ury為，考察的視頻目標(biāo)為rR(c,q)=SelectRule(Sa,FaceMatch,TermMatch, Sa是封面質(zhì)量得分，F(xiàn)aceMatchquery中主體人物和通過(guò)人臉識(shí)別得到的人物的匹配分?jǐn)?shù)。TermMatchtag與queryNE的匹配結(jié)果。TextImageRel為圖文優(yōu)酷主APP線上案例效果如下圖，基于內(nèi)容關(guān)鍵詞的多模態(tài)搜索大大彌補(bǔ)了標(biāo)題等單模態(tài)觸發(fā)query25%130%這也從數(shù)據(jù)維度驗(yàn)證了用戶的搜索文娛智能算 文娛智能算 Bi-LSTMTermWeightrmweghtW)Qury與ermhtOSg向ekgM9.%SVM準(zhǔn)確率44提升%MP0s298Qury端WBt次搜索有效點(diǎn)擊比率」提高0.37%4.2%，效果顯著，現(xiàn)已全流量上線。QueryTitle中，有些詞在句子中占有中心地位，如果沒有匹配會(huì)導(dǎo)致意思完QT之間的相似度。自動(dòng)確定句子中詞語(yǔ)權(quán)重的模型被稱為TermWeight模型。TermWeight模型被應(yīng)用在相關(guān)性計(jì)算和倒排查找中。由于權(quán)重較高的詞語(yǔ)具有更重要的作用，可以將TWQuery與Title的匹配得分與TermWeightTermWeight的標(biāo)注數(shù)據(jù)采用偏序關(guān)系來(lái)表達(dá)詞語(yǔ)之間的重要性關(guān)系，中心詞的權(quán)重大于普通詞，單純修飾性詞的權(quán)重則更小一些。標(biāo)注數(shù)據(jù)由人工標(biāo)注，共2700條。TermWeight標(biāo)注樣例的另一種方法是通過(guò)搜索的點(diǎn)擊來(lái)確定哪個(gè)詞是重要的，如果QueryABTitleXATitleY中只出現(xiàn)了詞BTitleXTitleYAB更重要，這種方式廣泛使用在TermWeight的優(yōu)化中。QueryQuery，使得絕大多數(shù)搜索結(jié)果都Query中的所有詞。而不滿足這一條件的搜索詞出現(xiàn)機(jī)會(huì)又很少，進(jìn)一步使得我們很基于以上原因，我們最終采用人工標(biāo)注者對(duì)句子進(jìn)行偏序關(guān)系標(biāo)注的方式來(lái)生成TermWeight的訓(xùn)練/測(cè)試集。TermWeight基線TermWeight模型是一個(gè)線性RankSVM分類器[1]/queryidf/titleidf/作為query/jiebaidf特征。四、深度學(xué)習(xí)TermWeight模型Tensorflow來(lái)實(shí)現(xiàn)文中的深度學(xué)習(xí)模Skip-gramTWSVMqueryidf特征、titleidf特征、作queryjiebaidf[0,1]區(qū)AliNLPPOSTaggerPOS是枚舉值，我們用4維的Embedding來(lái)表示它，該Embedding矩陣參與模型訓(xùn)練。LSTMMLP模型，無(wú)法建模上下文對(duì)詞權(quán)重的影響，但是運(yùn)算LSTMLSTM模型有兩個(gè)主要的改動(dòng)，一是在LSTM的輸出層后又添加了一個(gè)隱層，這主要是為了融合其他來(lái)源的信息，比如全局平均詞特征；二是將每個(gè)位置的詞特征與LSTM輸出層拼接起來(lái)，形成一個(gè)Bypass連接。這使得該LSTM模型實(shí)際上成為序列模型和淺層模型的一個(gè)融合。MLPMLP模型主要是為了優(yōu)化模型效率。在網(wǎng)dropoutensemble模型輸出一個(gè)與句子等長(zhǎng)的權(quán)重序列，使用Sigmoid作為輸出層激勵(lì)來(lái)使得權(quán)重在0到1PairwiseHingeLoss的損失函數(shù)，句子中每?jī)蓚€(gè)權(quán)重我們?cè)谄蜿P(guān)系測(cè)試集、QT匹配的相關(guān)性測(cè)試集上對(duì)模型進(jìn)行了測(cè)試。原基線模型的準(zhǔn)84.4%。我們發(fā)現(xiàn)，使用原統(tǒng)計(jì)特征在特征交叉后達(dá)到了詞序準(zhǔn)確率的上限，對(duì)模型進(jìn)POSTagEmbeddingMLP模型可以將模88.4%Bi-LSTM90.8%Embedding50萬(wàn)，Bi-LSTM模型也沒有出現(xiàn)性能MLP50MLPBi-LSTMMLP模型是上下文無(wú)關(guān)模型，一個(gè)詞的權(quán)重只與詞語(yǔ)本身有關(guān)。多數(shù)情況下，訓(xùn)練MLP模型傾向于將人名預(yù)測(cè)為最高權(quán)重；Bi-LSTM模型是上下文相關(guān)模型，因而不存在這樣的問題。另外，Bi-LSTMMLP模型更傾向Bi-LSTM模型能夠更好地利用上12術(shù):0.992優(yōu)質(zhì)課:0.868展示:0.611詞的重要性排序，但是搜索中則需要對(duì)Title按照相關(guān)性排序。一種可能的解決方案是使用點(diǎn)/未點(diǎn)擊行為構(gòu)造樣本對(duì)直接對(duì)構(gòu)造的相關(guān)性特征進(jìn)行訓(xùn)練，我們將在后續(xù)工作中對(duì)這種方我們建設(shè)了一個(gè)擁有百萬(wàn)標(biāo)注視頻，1000+個(gè)標(biāo)簽的數(shù)據(jù)集，涵蓋音樂、舞蹈、游戲、親2.4個(gè)標(biāo)簽。我們分別對(duì)視頻特征和音頻為了減少存儲(chǔ)和處理的開銷，我們對(duì)視頻畫面進(jìn)行抽幀處理，每2s視頻抽取一幀畫面并InceptionV31sVggish網(wǎng)絡(luò)特征。我們對(duì)文本Late-fusionLate-fusion就是將每個(gè)模態(tài)單獨(dú)AveragePooling/CNN/Bi-LSTM/LearnablePooling四種算法進(jìn)行音視頻的CNN網(wǎng)絡(luò)pattern，由于我們已經(jīng)將每一幀提取為特征，這里我們采用的是1D-CNN，結(jié)構(gòu)與Text-CNN相同。Bi-LSTM是一種捕捉雙向序列依賴關(guān)系的RNNmemoryaabeongoogD/VD/。NetVADVADNetVD和VVAD間分成若干個(gè)區(qū)域，并在每個(gè)區(qū)域內(nèi)分別計(jì)算落在該區(qū)域內(nèi)的向量的殘差。它是一種不考慮幀間順序的PngvrgePogAveragePoolingL2正則會(huì)明BatchNormalization的結(jié)果。這可能是因?yàn)轭A(yù)先正則化對(duì)各個(gè)模Mixture-of-Experts是多標(biāo)簽分類中常用的末端分類器單元，我們?cè)谑褂昧薓OEResidualMOE的效果。我們發(fā)現(xiàn)，ResidualMOE通過(guò)加深網(wǎng)絡(luò)層數(shù)，層層41.5萬(wàn)數(shù)據(jù)用于訓(xùn)練，5萬(wàn)數(shù)據(jù)用于驗(yàn)證，10萬(wàn)數(shù)據(jù)用于測(cè)試。在測(cè)試集上得了音視頻模態(tài)信息后，最好的單模型相比其好5%左右，而融合模型則比其好9%左右。呢？我們用幾個(gè)showcase來(lái)說(shuō)明不同模態(tài)的融合的意義。case說(shuō)明了這個(gè)問題。對(duì)于文本模型來(lái)說(shuō)，這里的大部分信息來(lái)自「奧特曼」與相關(guān)詞語(yǔ)，因CollaborativeDeepMetricLearningCDML賴關(guān)系，也失去了動(dòng)作等短時(shí)信息。我們還計(jì)劃通過(guò)C3D等算法對(duì)短時(shí)視頻信息進(jìn)行表示，Multi-view問題：Multi-view如何利用Single-view的樣本幫助Multi-view訓(xùn)練，如果采用Multi-view的思路，是否可以將各個(gè)view投影到公共空間來(lái)進(jìn)行分類，充分利用各個(gè)view自身的樣本。LabelCorrelationLabel本身的知識(shí)以及之間的各種關(guān)系，如何讓少樣本的CollectiveLearning本，這個(gè)方向與outlierdetection又有著一定的聯(lián)系。 AARRRRARRA模式，提升產(chǎn)品留存、拉活、分享傳播等方式是構(gòu)建增app特有用戶心智。由于H戰(zhàn)略（Happiness&Health）中最為重要的踐行者，在不斷為（pushpid的動(dòng)態(tài)報(bào)價(jià)upliftmodel的營(yíng)銷增益模型正是應(yīng)用在這兩大業(yè)務(wù)體系中的，我們已經(jīng)在多個(gè)1，傳統(tǒng)數(shù)據(jù)分析主要是建模變量之間的相關(guān)性而非因果關(guān)系，不能從真正的因2，傳統(tǒng)的推薦算法主要進(jìn)行短期的點(diǎn)擊、時(shí)長(zhǎng)等多目標(biāo)預(yù)估，未能從用戶狀態(tài)uplift模型本質(zhì)上也是因果推斷思想的一個(gè)典型應(yīng)用。因此，我push和dsp業(yè)務(wù)中的沉默用戶召回這個(gè)場(chǎng)景下就取得1.傳統(tǒng)的用戶畫像表示技術(shù)要么服務(wù)于運(yùn)營(yíng)可解釋性，要么服務(wù)于推薦或廣告系統(tǒng)的模型預(yù)估，通常建模成向量（離散高維或低維稠密app中的里程碑可以大2019年用戶增長(zhǎng)&智能營(yíng)銷團(tuán)隊(duì)組建之后，對(duì)因果推斷（Causaluser-cf因果推斷（CausalInference）作為新興的人工智能技術(shù)方向，旨在突破傳統(tǒng)數(shù)據(jù)分析和機(jī)（causes；2）預(yù)估某個(gè)行為/因素的影響力/效益（causaleffect）。利用無(wú)偏信息構(gòu)造相似度量，構(gòu)造低活userusermatching：a）app信息等；causes包括：itemFigure3：無(wú)偏usercfbaseline相對(duì)較高的算法場(chǎng)景中取得了較大的收益：其中個(gè)性化推（push四、總結(jié)&基于UpliftModel的營(yíng)銷增益模型（ResponseUplift=p(Yi|Xi,T=1)?p(Yi|Xi,T=UpliftModel本質(zhì)上是一種因果推斷模型，可以用于預(yù)測(cè)/估計(jì)某種干預(yù)對(duì)個(gè)體狀態(tài)/行為的因果效應(yīng)（ITEindividualtreatmenteffect。同時(shí)也與大多數(shù)因果推斷任務(wù)一樣，Uplift建模遇到的主要挑戰(zhàn)是反事實(shí)，即同一個(gè)用戶不能既被干預(yù)又不被干預(yù)，上述計(jì)算公式中p(T=1)和p(T=0)至少有一項(xiàng)是未知的，需要通過(guò)模型預(yù)估的方式得到。營(yíng)銷實(shí)踐中，針對(duì)UpliftupliftResponseModel，然Model；另一類，我們可以直接根據(jù)輸入的用戶特征預(yù)測(cè)最終Uplift，我們稱之為直接模型（DirectlyModel差分模型的思路非常直接即利用有干預(yù)的treatment組樣本和無(wú)干預(yù)的control組樣本分別訓(xùn)練兩個(gè)ResponseModel，干預(yù)模型GT=1(Yi|Xi)和非干預(yù)模型 (Yi|Xi)，然后二者的U=G′?這種建模方式優(yōu)點(diǎn)是原理簡(jiǎn)單，可以復(fù)用常見的ResponseModelLR/GBDT/DNN實(shí)際應(yīng)用中，G和G′Two-Model方法；也可以用同一個(gè)模型來(lái)預(yù)測(cè)G和G′Treatment特征的不同（T1vs.T0）來(lái)表One-Model方法。二者的訓(xùn)練過(guò)程和數(shù)據(jù)區(qū)別如下圖所示：One-Modeltreatment組樣本和control組樣本貢獻(xiàn)，模型訓(xùn)練數(shù)據(jù)相對(duì)更豐富，模型訓(xùn)練也相對(duì)更充分。同時(shí)，One-Model方法針對(duì)Timultiple-treamtment的情況，比如營(yíng)銷upliftmodel可應(yīng)用的場(chǎng)景。Two-ModelOne-ModelResponseModel，Response的準(zhǔn)確性，而由于缺少upliftlosstreatmentuplift微小差別并不敏感。直接模型（ModelUpliftGBDT等樹模型的構(gòu)造方法。gain=info?????????????????????(D)?upliftmodelgain=D?????????????????????(PT,PC)?D???????????????????????(PT,其中，PT與PCTreatmentControl組的轉(zhuǎn)化概率分布，D其分布差異的度量規(guī)KL散度、歐氏距離、Chi-平方距離等常見度量方法。T組和C組轉(zhuǎn)化概率分布的差異，TreatmentControlUplift。UpliftLoss的量化更靈敏更精準(zhǔn)，但實(shí)際應(yīng)用中需要對(duì)機(jī)器學(xué)習(xí)模型進(jìn)本獲取難度更大。所以在我們的營(yíng)銷實(shí)踐中，以O(shè)ne-Model的差分模型應(yīng)用為主。UpliftModel訓(xùn)練過(guò)程中，無(wú)論采用以上哪種建模方法，都會(huì)遇到前文提到的反事實(shí)問題，即樣本集合中存在同一個(gè)用戶u分別在有干預(yù)（T=1）和無(wú)干預(yù)（T=0）情況下的反饋時(shí)，我們才能準(zhǔn)確衡量用戶uUplift，而這在實(shí)際應(yīng)用中幾乎是無(wú)法做到的。要求最高的直接模型（ModelUpliftDirectly，也只需要訓(xùn)練集符合CIA假設(shè)（ConditionalIndependenceAssumption）就好，即樣本特征XT獨(dú)立（XiT），直觀點(diǎn)的表達(dá)就是對(duì)用戶Matching、propensity-score等方法構(gòu)建無(wú)偏數(shù)據(jù)集，這里不做過(guò)多展開。對(duì)于模型效果的離線評(píng)估中，ResponseModelAUC，ROC，F(xiàn)score等常見的指標(biāo)ResponseGroud-truthCIAUpliftGround-truth的control/treatmentCIAupliftscore進(jìn)行降序ResponseUpliftGround-truth，在圖形UpliftCurve；Curve除了AUUCUpliftModel效果，這里不做展開，只Monotonicity-of-Incremental-gains：模型打分越高，upliftupliftUpliftModel方法，直接建模每次紅包發(fā)放對(duì)于每個(gè)用戶購(gòu)票轉(zhuǎn)化增量的期望。而可以針對(duì)“用戶xxPV級(jí)的增量預(yù)估，其基本流程見下圖。UpliftModelOne-ModelCTR/CVR預(yù)估模型比較成熟，用戶、場(chǎng)景、內(nèi)容等基礎(chǔ)特征的表示和深度模型PV級(jí)的大規(guī)模訓(xùn)練和實(shí)時(shí)預(yù)估基礎(chǔ)設(shè)施已比較完善。我們只需要TreatmentUplift相關(guān)的模型改造；Response到關(guān)注Uplift的建模的關(guān)鍵問題，在隨機(jī)實(shí)驗(yàn)之外，通過(guò)人群ObservationStudy的方法更充分利用歷史存在的Multi-TaskLearning的方智能營(yíng)銷實(shí)踐中，營(yíng)銷玩法越來(lái)越復(fù)雜，場(chǎng)景越來(lái)越多樣，也給算法建模提出了更多的挑reatnt外投DSP自動(dòng)報(bào)價(jià)算法實(shí)踐一、報(bào)價(jià)算法對(duì)于DSP的意義DAU量問題，不僅減少了人力耗費(fèi)，且有效在解決DSP沖量投放場(chǎng)景的報(bào)價(jià)問題時(shí)，我們存在著單一約束，即用戶點(diǎn)擊成本或轉(zhuǎn)化成

??

????? ??=1 ??. ≤

????????i次競(jìng)價(jià)是成功，10，????????i次轉(zhuǎn)化率預(yù)估值，w????i????????=??? 鑒《BidOptimizationbyMultivariableControlinDisplayAdvertising（KDD2018）中的辦法對(duì)其如上圖所示，DSP內(nèi)部的核心控價(jià)組件由控制函數(shù)與執(zhí)行函數(shù)組成，監(jiān)視器則提供對(duì)競(jìng)價(jià)Feedback數(shù)據(jù)的處理和統(tǒng)計(jì)，統(tǒng)計(jì)后的數(shù)