2024網(wǎng)站視頻內(nèi)容理解

網(wǎng)站視頻內(nèi)容理解HuluHulu的Hulugo1換掉視頻中的廣告片段并插入Hulu自己的廣告等。下面，我們以片頭/片尾檢測(cè)、內(nèi)嵌字1示越可能是正片內(nèi)容。如圖3所示，圖片中如果包含大段字幕信息，得分就會(huì)比較高，被認(rèn)為可能是片尾幀。DeepCNN是一個(gè)有監(jiān)督模型，它的訓(xùn)練數(shù)據(jù)來(lái)自于Hulu內(nèi)部穩(wěn)定的DeepCNN分類(lèi)器。DeepCNNCNNShallowCNN，用來(lái)融合幀與幀之間在時(shí)間維幀與上一集、下一集對(duì)應(yīng)位置處的幀是否相同/相似，并把這個(gè)信息歸一化之后作為ShallowCNN的一個(gè)額外輸入（添加一個(gè)新的channel），與DeepCNN的得分放在頻的誤差在10秒以內(nèi)。與Hulu之前已有數(shù)據(jù)相比，這兩個(gè)指標(biāo)分別提高了24.22%和的時(shí)間分布，用這個(gè)分布的波峰點(diǎn)來(lái)預(yù)測(cè)片尾點(diǎn)的位置。我們用Hulu過(guò)去六個(gè)月的用戶行Deep-and-ShallowCNNDeep-and-ShallowCNN23DeepCNN在字幕中，一般會(huì)伴隨著“previouslyon”、“l(fā)asttime”等關(guān)鍵詞，或者同一部劇不同Hulu頻內(nèi)嵌字幕的檢測(cè)和語(yǔ)言識(shí)別在Hulu也是非常重要的。視頻內(nèi)嵌字幕的檢測(cè)，實(shí)際上是文本檢測(cè)任務(wù)，一般來(lái)說(shuō)并不是一個(gè)難題，主流的（Connectionisttextproposalnetwork）模型就可以解決。但是，在實(shí)際應(yīng)用中，也遇CRNN（ConvolutionalRecurrentNeuralNetwork）模型的基礎(chǔ)上，增加了一個(gè)分支，繼續(xù)進(jìn)入CRNN的另外一個(gè)分支，做字幕文字的識(shí)別（OCR），最后將識(shí)別出來(lái)的字符輸框架如圖4所示。45Hulu5meta-data驗(yàn)。因此，Hulu一直對(duì)這些數(shù)據(jù)的質(zhì)量有著比較高的要求。為了達(dá)到高質(zhì)量，就需要花費(fèi)很多人工去檢查和校驗(yàn)這些數(shù)據(jù)。上面提到，有了AI算法之后，我們可以利用算法來(lái)快速檢測(cè)很多信息。然而，算法的準(zhǔn)確性畢竟比不上人，更好的方案是：先用AI算法計(jì)算一遍通過(guò)AI算法和人工校驗(yàn)的配合，既能提升效率，也能保證質(zhì)量，同時(shí)沒(méi)有增加人工負(fù)擔(dān)。作為流媒體平臺(tái)，HuluHulu工負(fù)擔(dān)。因此，我們構(gòu)建了一個(gè)針對(duì)Hulu新來(lái)視頻的AI算法自動(dòng)化流程：一旦有新視頻HuluAImeta-data的AI算法自動(dòng)化流程的示意圖。6AI日常生活中，我們一般不鼓勵(lì)給某個(gè)人或某件事打上一個(gè)標(biāo)簽。但是，對(duì)于Hulu的海量視不同質(zhì)量的標(biāo)注數(shù)據(jù)。對(duì)于Hulu而言，考慮到自身的業(yè)務(wù)場(chǎng)景和特定任務(wù)，我們對(duì)于視頻Hulu統(tǒng)一的標(biāo)簽類(lèi)別體系。這是一件非常復(fù)雜、工作量很大的事情，我們需要融合多個(gè)開(kāi)得到每個(gè)視頻在Hulu統(tǒng)一的標(biāo)簽體系下的標(biāo)簽結(jié)果，具體的框架結(jié)構(gòu)如圖7所示。簽可以是幀級(jí)的、鏡頭級(jí)的、場(chǎng)景級(jí)的，甚至可以聚合為視頻級(jí)別的（如圖8所示）。7.構(gòu)建Hulu.視頻級(jí)別的標(biāo)簽AIAI的動(dòng)態(tài)預(yù)覽圖、視頻封面圖片等。以視頻封面圖片為例，由于特殊的UI設(shè)計(jì)，Hulu對(duì)于裁剪、調(diào)整，使其滿足一系列條件，例如，封面圖片中不能有文字（UI上會(huì)顯示文字），圖片中的人臉、重要區(qū)域的位置要合適（UI）等