2024異構(gòu)多媒體視頻內(nèi)容識別規(guī)范

GB/T35273—2020OCR（OpticalCharacter1。1異構(gòu)多媒體視頻內(nèi)容識別技術(shù)架構(gòu)detect-dissolveHSV2-10（范圍按照Q/NDH001—選用x-clip預(yù)訓(xùn)練模型，該模型由微軟的研究者于2022型拓展到通用視頻識別，在建模時序信息的同時，利用類別標(biāo)簽文本中的語義信息。該模型在Kinetics-400/60087.788.3Top-1ViViTVideoSwinfew-shotzero-shot零使用視頻-文本預(yù)訓(xùn)練；方法簡單、高效且通用：無縫銜接至不同的語言-圖像模型，可用于多種數(shù)據(jù)分布場景，如全樣本、少樣本和零樣本。至于視頻分類的效果，與其他方法相比，X-CLIP可用于零樣本識Cross-frameCommunicationTransformerMulti-frameIntegrationTransformer在預(yù)訓(xùn)練模型中引入時序信息，來在語言-圖像預(yù)訓(xùn)練模型中建模視頻的時序信息；并提出了Video-specificPrompting機(jī)制，用于產(chǎn)生視頻自適應(yīng)的提示信息，充分地利用了類別標(biāo)d)X-CLIPclipclipChinese-CLIPCLIP模型的中文版本，使用大規(guī)模中文數(shù)據(jù)進(jìn)行訓(xùn)練(~2檢索、圖像表示等，針對中文領(lǐng)域數(shù)據(jù)以及在中文數(shù)據(jù)上實(shí)現(xiàn)更好的效果做了優(yōu)化。該模型開源了5個CLIPResNet、ViT-B/16、ViT-L/14、ViT-L/14@336pxViT-H/14。實(shí)驗(yàn)做了3finetune；并對數(shù)據(jù)的結(jié)構(gòu)及處理程序進(jìn)行修改。x-clip采用數(shù)據(jù)并行，即每個GPUGPUbatch_size，得到ONNXONNXRuntime（知知識圖譜可視為兩個分離但是相關(guān)聯(lián)的任務(wù)，進(jìn)行交替學(xué)習(xí)。MKR算法框架由三個主要組件組成：推薦模塊、知識圖譜模塊和交叉壓縮單元。MKR2所示：MLP，輸出視頻標(biāo)簽的預(yù)測概率。2MKRuuL-layerMLP數(shù)σ(·)vLcross&compressunits提取其特征:S(vvuuLv的潛在特vLfRSuv的最終預(yù)測概部t：S(h)t^t的預(yù)測向量。最后，三元組（h,r,t）的分?jǐn)?shù)33位交叉特征共享單元結(jié)構(gòu)圖。vlRd和elRd其中，Cll層的交叉特征矩陣，dve在交叉特征矩陣compress部分的公式為：其中wlRd和blRd是訓(xùn)練權(quán)重和偏差向量，權(quán)重向量將交叉特征矩陣從Rd*d壓縮為Rd NLPTF-IDF等算法）k個關(guān)鍵詞，并且得到每300（4） （5）pythonPycharm,mongodb。訓(xùn)練