T-CAPT 013-2024 新聞行業(yè) 大規(guī)模預(yù)訓(xùn)練模型 多模態(tài)要求

ICS35.240CCSL70CAPT求NewsIndustry—Large-scalepre-trainedmodels—Requirmentsformulti-modalIT/CAPT013—2024前言 42規(guī)范性引用文件 43術(shù)語(yǔ)和定義 44多模態(tài)新聞任務(wù)要求 54.1概述 54.2多模態(tài)新聞報(bào)道 54.3多模態(tài)新聞理解 64.4多模態(tài)新聞檢索 64.5多模態(tài)新聞編輯 75多模態(tài)研發(fā)數(shù)據(jù)要求 85.1概述 85.2預(yù)訓(xùn)練數(shù)據(jù) 85.3微調(diào)數(shù)據(jù) 96多模態(tài)大模型任務(wù)評(píng)測(cè)要求 6.1評(píng)測(cè)執(zhí)行方法 6.2評(píng)測(cè)指標(biāo) 6.3評(píng)測(cè)框架 7多模態(tài)新聞任務(wù)安全性要求 7.1數(shù)據(jù)保護(hù) 7.2內(nèi)容審核 7.3身份驗(yàn)證 7.4透明度和可解釋性 7.5資質(zhì)與合規(guī)性 7.6應(yīng)急響應(yīng) 附錄A（資料性）多模態(tài)任務(wù)評(píng)測(cè)示例 20A.1多模態(tài)新聞報(bào)道類(lèi) A.2多模態(tài)新聞理解類(lèi) A.3多模態(tài)新聞檢索類(lèi) A.4多模態(tài)新聞編輯類(lèi) 附錄B（資料性）多模態(tài)大模型技術(shù)參考資料 31B.1模型架構(gòu) B.2訓(xùn)練算法 B.3硬件要求 參考文獻(xiàn) T/CAPT013—2024本文件按照GB/T1.1—2020《標(biāo)準(zhǔn)化工作導(dǎo)則第1部分：標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專(zhuān)利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專(zhuān)利的責(zé)任。本文件由中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)新聞信息標(biāo)準(zhǔn)化分會(huì)秘書(shū)處和新華通訊社通信技術(shù)局聯(lián)合提本文件由中國(guó)新聞技術(shù)工作者聯(lián)合會(huì)歸口。本文件起草單位：中國(guó)傳媒大學(xué)、新華通訊社通信技術(shù)局、視覺(jué)（中國(guó)）文化發(fā)展股份有限公司、大眾報(bào)業(yè)集團(tuán)（大眾日?qǐng)?bào)社）、武漢鏑次元數(shù)據(jù)科技有限公司、傳播大腦科技（浙江）股份有限公司、廣東南方新媒體股份有限公司、中國(guó)搜索信息科技股份有限公司、新華社媒體融合生產(chǎn)技術(shù)與系統(tǒng)國(guó)家重點(diǎn)實(shí)驗(yàn)室（新華融合媒體科技發(fā)展（北京）有限公司）、新華通訊社北美總分社、深圳市創(chuàng)意智慧港科技有限責(zé)任公司（深圳報(bào)業(yè)集團(tuán)技術(shù)公司）、中聯(lián)超清（北京）科技有限公司、福建理工大學(xué)。本文件主要起草人：路海燕、曹娟、劉瓊、張鵬洲、王駿清、湯代祿、魏漫江、劉麗芳、張健、王兵、龍飛、蔡金慧、席懿婷、張震、李姝蒙、王瓊、陳志業(yè)、郭永康、王永興、羅毅、林波、成鵬、王仲豪、熊立波、王慕維、王宇琦、瞿曦、鄧海瀅、鄭創(chuàng)偉、王付生、王熠、瞿弋微、王志民、楊士龍、黃菁、張建偉、付蓉。T/CAPT013—2024《新聞行業(yè)大規(guī)模預(yù)訓(xùn)練模型》系列標(biāo)準(zhǔn)由語(yǔ)言模型實(shí)用性要求、語(yǔ)言模型評(píng)測(cè)要求、語(yǔ)言模型安全性要求和研發(fā)數(shù)據(jù)要求、多模態(tài)要求5部分組成。分別從實(shí)用性、評(píng)測(cè)、安全性、研發(fā)數(shù)據(jù)和多模態(tài)等多個(gè)角度出發(fā)，構(gòu)建了一個(gè)完整的標(biāo)準(zhǔn)體系，確保大規(guī)模預(yù)訓(xùn)練模型在新聞行業(yè)中的有效、安全和規(guī)范使用。旨在為新聞?lì)I(lǐng)域大規(guī)模預(yù)訓(xùn)練模型的研發(fā)、應(yīng)用和評(píng)估提供全面而系統(tǒng)的指導(dǎo)?！缎侣勑袠I(yè)大規(guī)模預(yù)訓(xùn)練模型語(yǔ)言模型實(shí)用性要求》明確了預(yù)訓(xùn)練語(yǔ)言模型在完成新聞任務(wù)時(shí)的使用場(chǎng)景要求、效果要求以及產(chǎn)品化要求。該標(biāo)準(zhǔn)為模型的實(shí)際應(yīng)用提供了具體指導(dǎo)，確保模型在真實(shí)新聞生產(chǎn)過(guò)程中具備足夠的實(shí)用性和效果?！缎侣勑袠I(yè)大規(guī)模預(yù)訓(xùn)練模型語(yǔ)言模型評(píng)測(cè)要求》為評(píng)估這些預(yù)訓(xùn)練語(yǔ)言模型提供了詳盡的方法和指標(biāo)。該標(biāo)準(zhǔn)規(guī)定了新聞行業(yè)預(yù)訓(xùn)練語(yǔ)言模型的評(píng)測(cè)指標(biāo)和評(píng)測(cè)方法要求，并給出了具體的評(píng)測(cè)示例，以確保評(píng)測(cè)過(guò)程的科學(xué)性和規(guī)范性?！缎侣勑袠I(yè)大規(guī)模預(yù)訓(xùn)練模型語(yǔ)言模型安全性要求》詳細(xì)規(guī)定了在內(nèi)容、數(shù)據(jù)、合規(guī)和技術(shù)等環(huán)節(jié)中所涉及的安全性要求。該標(biāo)準(zhǔn)旨在保障預(yù)訓(xùn)練模型在新聞?lì)I(lǐng)域的應(yīng)用中，能夠遵守相關(guān)法律法規(guī)，確保數(shù)據(jù)安全、內(nèi)容合規(guī)?！缎侣勑袠I(yè)大規(guī)模預(yù)訓(xùn)練模型研發(fā)數(shù)據(jù)要求》針對(duì)用于訓(xùn)練、微調(diào)和評(píng)估預(yù)訓(xùn)練模型的所有數(shù)據(jù)，提出了技術(shù)要求。該標(biāo)準(zhǔn)確保了在預(yù)訓(xùn)練模型研發(fā)過(guò)程中，數(shù)據(jù)的質(zhì)量和規(guī)范性，從而提升模型的性能和可靠性。《新聞行業(yè)大規(guī)模預(yù)訓(xùn)練模型多模態(tài)要求》規(guī)定了預(yù)訓(xùn)練模型在研發(fā)、應(yīng)用、評(píng)測(cè)和安全性等方面的要求，特別是在處理多模態(tài)數(shù)據(jù)時(shí)的技術(shù)標(biāo)準(zhǔn)。該標(biāo)準(zhǔn)的制定，進(jìn)一步拓展了預(yù)訓(xùn)練模型的應(yīng)用范圍，使其在多模態(tài)新聞內(nèi)容生成和處理方面也能高效、可靠地發(fā)揮作用。5個(gè)標(biāo)準(zhǔn)的緊密銜接和相互配合，為新聞行業(yè)的大規(guī)模預(yù)訓(xùn)練模型構(gòu)建了一個(gè)全面而系統(tǒng)的框架，為新聞?lì)I(lǐng)域大規(guī)模預(yù)訓(xùn)練模型的開(kāi)發(fā)和應(yīng)用提供了堅(jiān)實(shí)的基礎(chǔ)和有力的保障。4T/CAPT013—2024新聞行業(yè)大規(guī)模預(yù)訓(xùn)練模型多模態(tài)要求本文件規(guī)定了新聞行業(yè)大規(guī)模預(yù)訓(xùn)練模型多模態(tài)的新聞任務(wù)、研發(fā)數(shù)據(jù)、任務(wù)評(píng)測(cè)以及安全性等要本文件適用于通訊社、報(bào)社、廣播電臺(tái)、電視臺(tái)、雜志社、網(wǎng)絡(luò)媒體等多種媒體機(jī)構(gòu)在新聞?lì)I(lǐng)域進(jìn)行多模態(tài)大規(guī)模預(yù)訓(xùn)練模型研發(fā)、部署、應(yīng)用、評(píng)測(cè)和安全管理。2規(guī)范性引用文件下列文件中的內(nèi)容通過(guò)文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對(duì)應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T22240信息安全技術(shù)網(wǎng)絡(luò)安全等級(jí)保護(hù)定級(jí)指南GB/T35273信息安全技術(shù)個(gè)人信息安全規(guī)范GB/T37988信息安全技術(shù)數(shù)據(jù)安全能力成熟度模型TC260-003生成式人工智能服務(wù)安全基本要求3術(shù)語(yǔ)和定義GB/T41867界定的以及下列術(shù)語(yǔ)和定義適用于本文件。3.1大規(guī)模預(yù)訓(xùn)練模型large-scalepre-trainedmodels一種具有大規(guī)模參數(shù)和復(fù)雜計(jì)算結(jié)構(gòu)的超大型機(jī)器學(xué)習(xí)模型（一般超過(guò)10億個(gè)參數(shù)通常由深度神經(jīng)網(wǎng)絡(luò)構(gòu)建，對(duì)海量數(shù)據(jù)進(jìn)行預(yù)訓(xùn)練處理。3.2預(yù)訓(xùn)練pre-training在大量通用數(shù)據(jù)上進(jìn)行模型訓(xùn)練的過(guò)程。3.3微調(diào)fine-tuning為提升人工智能模型的預(yù)測(cè)精確度,一種先以大型廣泛領(lǐng)域數(shù)據(jù)集訓(xùn)練,再以小型專(zhuān)門(mén)領(lǐng)域數(shù)據(jù)集繼續(xù)訓(xùn)練的附加訓(xùn)練技術(shù)。注：常用于解決過(guò)擬合問(wèn)題。[來(lái)源：GB/T41867—2022,3.2.31]3.4微調(diào)數(shù)據(jù)finetuningdata針對(duì)新聞理解、生成、編輯等具體任務(wù)，用于模型微調(diào)的標(biāo)注數(shù)據(jù)。3.5多模態(tài)大模型multimodallargemodels利用大規(guī)模多模態(tài)數(shù)據(jù)(包括文本、圖像、音視頻等)進(jìn)行預(yù)訓(xùn)練，并通過(guò)微調(diào)適應(yīng)新聞?lì)I(lǐng)域特定任務(wù)的大型人工智能模型。3.6預(yù)訓(xùn)練數(shù)據(jù)pre-trainingdata用于模型預(yù)訓(xùn)練的大量新聞相關(guān)多模態(tài)數(shù)據(jù)，包括新聞報(bào)道、圖像、音視頻等。3.7指令/提示詞prompt給預(yù)訓(xùn)練模型提示輸入模型的參數(shù)信息，描述問(wèn)題需求類(lèi)型，幫助模型更好地理解輸入的意圖，并5T/CAPT013—2024作出相應(yīng)的響應(yīng)。3.8問(wèn)答questionanswering確定以自然語(yǔ)言提供的問(wèn)題最合適答案的任務(wù)。[來(lái)源：GB/T41867—2022，3.3.9]4多模態(tài)新聞任務(wù)要求4.1概述在多模態(tài)新聞業(yè)務(wù)場(chǎng)景下，利用大型預(yù)訓(xùn)練模型完成的任務(wù)涵蓋了從新聞報(bào)道生成、新聞理解、新聞檢索到新聞編輯等多個(gè)方面，旨在為用戶(hù)提供全面、多樣化的新聞服務(wù)和體驗(yàn)。各分類(lèi)要求如下：4.2多模態(tài)新聞報(bào)道4.2.1概述多模態(tài)新聞報(bào)道旨在利用多種數(shù)據(jù)類(lèi)型，如文本、圖像、視頻、音頻等，為用戶(hù)呈現(xiàn)豐富多樣的新聞內(nèi)容。主要包括：視頻報(bào)道生成、圖文報(bào)道生成、語(yǔ)音報(bào)道生成和虛擬主播新聞生成。4.2.2視頻報(bào)道生成視頻報(bào)道生成要求包括：a)基于用戶(hù)輸入的文本內(nèi)容，可提供符合新聞事實(shí)的圖像、視頻等素材，利用大型預(yù)訓(xùn)練模型自動(dòng)生成符合新聞事件描述的視頻內(nèi)容；b)設(shè)計(jì)問(wèn)題指令時(shí)，要求模型根據(jù)提供的詳細(xì)文本描述生成一段視頻，描述其中涉及的人物、場(chǎng)景、動(dòng)作、攝影角度、光線(xiàn)和色調(diào)等視覺(jué)效果，但不能脫離新聞事實(shí)；c)模型根據(jù)文本描述生成一段視頻內(nèi)容，準(zhǔn)確還原文本中描述的新聞事件，包括人物動(dòng)作、表情，場(chǎng)景布置以及整體視覺(jué)效果。生成的視頻可作為視頻新聞報(bào)道的素材，也可經(jīng)過(guò)后期編輯制作成完整的視頻報(bào)道。4.2.3圖文報(bào)道生成圖文報(bào)道生成要求包括：a)基于用戶(hù)輸入的文本內(nèi)容，從龐大的新聞素材庫(kù)中檢索相關(guān)的圖像、視頻或其他模態(tài)內(nèi)容，并與文本進(jìn)行匹配，為用戶(hù)提供相關(guān)的多模態(tài)報(bào)道；b)設(shè)計(jì)問(wèn)題指令時(shí)，要求模型根據(jù)提供的文本描述，生成一段圖文內(nèi)容，描述其中涉及的人物、場(chǎng)景、事件發(fā)展過(guò)程，以及其他相關(guān)細(xì)節(jié)。指明報(bào)道應(yīng)包含相關(guān)的圖片和文字內(nèi)容，以豐富和詳細(xì)地呈現(xiàn)文本描述的情景和事件；c)模型經(jīng)過(guò)深度分析后得到的文本核心內(nèi)容和主旨摘要，結(jié)合用戶(hù)輸入的文本主旨以及從素材庫(kù)中檢索到的高質(zhì)量文本、圖像和視頻內(nèi)容。在報(bào)道中，合理地插入所選圖片和視頻，并確保整篇報(bào)道內(nèi)容連貫、圖文并茂，為讀者提供豐富而直觀(guān)的閱讀體驗(yàn)。4.2.4語(yǔ)音報(bào)道生成語(yǔ)音報(bào)道生成要求包括：a)利用大型預(yù)訓(xùn)練模型，將文本內(nèi)容轉(zhuǎn)化為語(yǔ)音形式，并配以相應(yīng)的音頻效果，以自動(dòng)生成符合新聞事件描述的語(yǔ)音內(nèi)容；b)設(shè)計(jì)問(wèn)題指令時(shí)，要求模型根據(jù)提供文本描述，生成一段語(yǔ)音報(bào)道，描述其中涉及的人物、場(chǎng)景、事件發(fā)展過(guò)程，以及其他相關(guān)細(xì)節(jié)。指明報(bào)道應(yīng)包含適當(dāng)?shù)恼Z(yǔ)調(diào)和語(yǔ)速，以生動(dòng)地呈現(xiàn)文本描述的情景和事件；c)模型根據(jù)文本內(nèi)容對(duì)應(yīng)的情緒標(biāo)簽，在預(yù)設(shè)的音頻庫(kù)中搜索并選擇能與該情緒相契合的背景音樂(lè)或音效，并結(jié)合完整的新聞報(bào)道文字和檢索到的配樂(lè)，利用語(yǔ)音合成技術(shù)生成一段包含6T/CAPT013—2024清晰語(yǔ)音播報(bào)和恰當(dāng)配樂(lè)的音頻新聞報(bào)道。報(bào)道中的語(yǔ)音應(yīng)具有清晰的聲音、適中的語(yǔ)速，與配樂(lè)同步，營(yíng)造出恰當(dāng)?shù)男侣劮諊?.2.5虛擬主播新聞生成虛擬主播新聞生成要求包括：a)將新聞內(nèi)容呈現(xiàn)為由虛擬主播播報(bào)的視頻形式；b)設(shè)計(jì)問(wèn)題指令時(shí)，要求模型根據(jù)提供的完整新聞報(bào)道內(nèi)容，生成一段高質(zhì)量的虛擬主播新聞報(bào)道視頻。要求視頻中虛擬主播的唇形與新聞報(bào)道的文本內(nèi)容相同步，手勢(shì)動(dòng)作與新聞內(nèi)容相匹配，且虛擬主播形象非真人；c)模型根據(jù)指令生成一段高質(zhì)量的虛擬主播新聞報(bào)道視頻，其中虛擬主播的表現(xiàn)生動(dòng)自然，唇形與文本同步，虛擬主播動(dòng)作與新聞內(nèi)容相匹配，且非真人形象。4.3多模態(tài)新聞理解4.3.1概述多模態(tài)新聞理解涉及對(duì)多模態(tài)新聞內(nèi)容進(jìn)行深入分析和理解，旨在從中提取出關(guān)鍵信息并為用戶(hù)呈現(xiàn)。主要包括：新聞事件綜合分析、新聞事件視頻精縮和新聞視頻生成圖文摘要。4.3.2新聞事件綜合分析新聞事件綜合分析要求包括：a)通過(guò)對(duì)文本、圖片、視頻等多模態(tài)新聞數(shù)據(jù)進(jìn)行深度分析，從不同模態(tài)的信息中挖掘和總結(jié)新聞事件的重要內(nèi)容、關(guān)聯(lián)關(guān)系和趨勢(shì)；b)設(shè)計(jì)問(wèn)題指令時(shí)，要求模型檢測(cè)文本中所描述的事件，并提取相關(guān)信息，分析文本中所表達(dá)的情感傾向，如積極、消極、中性等；c)模型根據(jù)指令生成的新聞事件綜合分析，其中包括事件的主題、時(shí)間、地點(diǎn)、參與者以及文本的情感傾向分析。分析報(bào)告應(yīng)全面、準(zhǔn)確，并突出不同模態(tài)信息之間的關(guān)聯(lián)性和一致性。4.3.3新聞事件視頻精縮新聞事件視頻精縮要求包括：a)對(duì)新聞視頻進(jìn)行內(nèi)容摘要和精簡(jiǎn)，以提煉出關(guān)鍵信息和精彩片段，幫助用戶(hù)快速了解新聞事件的核心內(nèi)容。識(shí)別視頻中的人物或?qū)ο蟮男袨椋⒋_定其所處的狀態(tài)或動(dòng)作，從視頻中提取關(guān)鍵幀等；b)設(shè)計(jì)問(wèn)題指令時(shí)，要求模型識(shí)別視頻中的人物或?qū)ο蟮男袨?，并確定其狀態(tài)或動(dòng)作，同時(shí)從視頻中提取關(guān)鍵幀。要求模型識(shí)別音頻中的不同說(shuō)話(huà)人，并確定他們的身份或特征，同時(shí)從音頻中提取關(guān)鍵詞或關(guān)鍵短語(yǔ)；c)生成結(jié)果包含視頻中相關(guān)人員的具體行為或動(dòng)作的描述，以及對(duì)具體身份特征和關(guān)鍵短語(yǔ)的描述。4.3.4新聞視頻生成圖文摘要新聞視頻生成圖文摘要要求包括：a)通過(guò)分析新聞視頻的內(nèi)容和用戶(hù)需求，自動(dòng)生成簡(jiǎn)潔清晰的文字摘要和相關(guān)圖像，幫助用戶(hù)快速了解新聞事件的要點(diǎn)和重點(diǎn)內(nèi)容；b)設(shè)計(jì)問(wèn)題指令時(shí)，要求模型識(shí)別文本中的實(shí)體，如人名、地名、組織名、關(guān)鍵詞或關(guān)鍵短語(yǔ)等。檢測(cè)圖像中的對(duì)象并確定其位置和類(lèi)別，確定其所屬的類(lèi)別或類(lèi)型，運(yùn)動(dòng)軌跡等；c)生成結(jié)果能概括視頻的主要信息，包括文本摘要、關(guān)鍵詞、圖像描述和視頻摘要等內(nèi)容。這些摘要將新聞事件的要點(diǎn)、關(guān)鍵信息以及視頻中的關(guān)鍵場(chǎng)景、重要?jiǎng)幼髡显谝黄?，以圖文結(jié)合的形式呈現(xiàn)給用戶(hù)，幫助用戶(hù)快速了解新聞視頻的內(nèi)容。4.4多模態(tài)新聞檢索4.4.1概述7T/CAPT013—2024利用不同模態(tài)的輸入數(shù)據(jù)，如文本、圖片、視頻等，從龐大的新聞素材庫(kù)中檢索相關(guān)內(nèi)容。主要包括：跨模態(tài)新聞素材檢索、新聞視頻片段定位和多模態(tài)新聞事件檢索。4.4.2跨模態(tài)新聞素材檢索跨模態(tài)新聞素材檢索要求包括：a)根據(jù)用戶(hù)給定的文本描述或其他模態(tài)的輸入（如圖片），從大量新聞素材庫(kù)中檢索出相關(guān)的圖像、視頻或其他模態(tài)的內(nèi)容；b)設(shè)計(jì)問(wèn)題指令時(shí)，需明確指定檢索的新聞主題，詳細(xì)描述所需素材的內(nèi)容特征，包括但不限于事件、人物、組織機(jī)構(gòu)、地點(diǎn)等關(guān)鍵元素。應(yīng)指定素材的模態(tài)類(lèi)型（如圖片、視頻）；c)生成的跨模態(tài)新聞素材檢索結(jié)果應(yīng)嚴(yán)格與用戶(hù)指定的主題相關(guān)，全面覆蓋事件的關(guān)鍵點(diǎn)和亮4.4.3新聞視頻片段定位新聞視頻片段定位要求包括：a)在長(zhǎng)時(shí)間的新聞視頻中，根據(jù)文本查詢(xún)或其他模態(tài)的提示，快速定位到視頻中具有特定內(nèi)容的片段。該場(chǎng)景關(guān)注于如何快速準(zhǔn)確地從大量新聞視頻中定位到包含特定內(nèi)容的片段；b)設(shè)計(jì)問(wèn)題指令時(shí)，需提供具體的文本描述或關(guān)鍵詞，明確指出想要檢索的視頻片段內(nèi)容，包括但不限于事件、人物、組織機(jī)構(gòu)、地點(diǎn)等關(guān)鍵元素。如果適用，也可描述任何相關(guān)的圖像、音頻或其他模態(tài)信息，以輔助定位。如可能，還可指出哪些內(nèi)容特征是定位過(guò)程中的優(yōu)先考慮因素；c)生成的新聞視頻片段定位結(jié)果，應(yīng)包含與文本查詢(xún)或模態(tài)提示直接相關(guān)的特定內(nèi)容，提供片段的確切時(shí)間戳或位置信息，便于用戶(hù)直接訪(fǎng)問(wèn)。4.4.4多模態(tài)新聞事件檢索多模態(tài)新聞事件檢索要求包括：a)利用多種媒體形式（文本、圖像、視頻等）來(lái)檢索、識(shí)別和跟蹤新聞事件。與跨模態(tài)新聞素材檢索相比，多模態(tài)新聞事件檢索更側(cè)重于對(duì)整個(gè)新聞事件的理解和分析，而不僅僅是在單個(gè)模態(tài)（如文本、圖片或視頻）上進(jìn)行檢索；b)設(shè)計(jì)問(wèn)題指令時(shí)，需提供新聞事件的詳細(xì)描述或關(guān)鍵詞，以明確檢索的主題。需指出需要對(duì)事件進(jìn)行的分析深度，如概述、詳細(xì)分析或趨勢(shì)跟蹤。需指定希望檢索的媒體形式，如文本、圖像、視頻等；c)結(jié)果應(yīng)盡可能覆蓋事件的所有相關(guān)方面，展示不同模態(tài)內(nèi)容之間的聯(lián)系，如視頻片段與相關(guān)新聞報(bào)道的鏈接。生成結(jié)果應(yīng)組織有序，按照指令要求的檢索與分析深度，便于用戶(hù)根據(jù)時(shí)間線(xiàn)或主題進(jìn)行查看。4.5多模態(tài)新聞編輯4.5.1概述多模態(tài)新聞編輯是對(duì)文本、圖片、視頻等不同形式的內(nèi)容進(jìn)行綜合處理和優(yōu)化，旨在提高新聞內(nèi)容的質(zhì)量和表現(xiàn)形式。主要包括：多模態(tài)新聞內(nèi)容審校、多模態(tài)新聞視頻再創(chuàng)作和多模態(tài)新聞圖片二次編輯。4.5.2多模態(tài)新聞內(nèi)容審校多模態(tài)新聞內(nèi)容審校要求包括：a)對(duì)新聞報(bào)道的多模態(tài)內(nèi)容進(jìn)行審核和校對(duì)，確保其符合新聞報(bào)道的真實(shí)性、客觀(guān)性和合法性要求；b)設(shè)計(jì)問(wèn)題指令時(shí)，要求模型對(duì)多模態(tài)新聞報(bào)道進(jìn)行審校，包括文本內(nèi)容的事實(shí)核查、圖片和視頻的真實(shí)性驗(yàn)證，以及多模態(tài)內(nèi)容之間的一致性和連貫性檢查；8T/CAPT013—2024c)審校結(jié)果包括對(duì)文本內(nèi)容的修改建議或確認(rèn)、對(duì)圖片和視頻真實(shí)性的驗(yàn)證結(jié)果，以及對(duì)多模態(tài)內(nèi)容之間關(guān)聯(lián)性和連貫性的評(píng)估。審校結(jié)果應(yīng)指出可能存在的錯(cuò)誤或不準(zhǔn)確之處，并提供改進(jìn)建議，以確保新聞報(bào)道的準(zhǔn)確性和可信度。4.5.3多模態(tài)新聞視頻再創(chuàng)作多模態(tài)新聞視頻再創(chuàng)作要求包括：a)對(duì)現(xiàn)有的新聞視頻進(jìn)行再次編輯和創(chuàng)作；b)設(shè)計(jì)問(wèn)題指令時(shí)，要求模型根據(jù)新聞視頻進(jìn)行再創(chuàng)作，包括剪輯、配音、特效添加等處理，以及對(duì)視頻結(jié)構(gòu)和敘事方式的重新設(shè)計(jì)；c)再創(chuàng)作后的視頻應(yīng)包括經(jīng)過(guò)剪輯處理的新聞內(nèi)容、新增的配音和特效效果，以及重新設(shè)計(jì)的視頻結(jié)構(gòu)和敘事方式。4.5.4多模態(tài)新聞圖片二次編輯多模態(tài)新聞圖片二次編輯要求包括：a)對(duì)新聞報(bào)道中的圖片內(nèi)容進(jìn)行二次編輯和處理；b)設(shè)計(jì)問(wèn)題指令時(shí)，要求模型包括對(duì)圖片的修剪、調(diào)色、濾鏡處理等美學(xué)調(diào)整，以及對(duì)圖片內(nèi)容的標(biāo)注、說(shuō)明文字的添加等信息補(bǔ)充；c)生成結(jié)果包括調(diào)整圖片的大小、顏色、對(duì)比度等參數(shù)，同時(shí)包括在圖片中添加文字、圖標(biāo)或其他圖像元素，以便更好地表達(dá)新聞內(nèi)容或符合特定的視覺(jué)風(fēng)格。5多模態(tài)大模型研發(fā)數(shù)據(jù)要求5.1概述新聞行業(yè)多模態(tài)大模型的研發(fā)數(shù)據(jù)分為預(yù)訓(xùn)練數(shù)據(jù)和微調(diào)數(shù)據(jù)。5.2預(yù)訓(xùn)練數(shù)據(jù)5.2.1概述在預(yù)訓(xùn)練階段，多模態(tài)模型通過(guò)分析大規(guī)模、多樣性數(shù)據(jù)集來(lái)學(xué)習(xí)通用知識(shí)，以增強(qiáng)泛化能力。數(shù)據(jù)需高質(zhì)量、無(wú)偏見(jiàn)和準(zhǔn)確標(biāo)注，確保了樣本類(lèi)型均衡，避免模型偏向。5.2.2類(lèi)型要求類(lèi)型要求包括：a)大規(guī)模數(shù)據(jù)集：確保數(shù)據(jù)集擁有足夠的規(guī)模，以支持深度學(xué)習(xí)模型的有效訓(xùn)練；b)多模態(tài)數(shù)據(jù)類(lèi)型：數(shù)據(jù)集應(yīng)包含圖像、文本、視頻、音頻等多種數(shù)據(jù)類(lèi)型，并確保各類(lèi)型數(shù)據(jù)量均衡，以防模型偏向某一特定模態(tài)。此外，這些數(shù)據(jù)類(lèi)型應(yīng)能在信息表達(dá)上相互補(bǔ)充，形成多模態(tài)協(xié)同處理能力；c)場(chǎng)景覆蓋：數(shù)據(jù)涵蓋廣泛真實(shí)世界場(chǎng)景，并展示多模態(tài)表現(xiàn)；d)知識(shí)領(lǐng)域覆蓋：數(shù)據(jù)集應(yīng)包含來(lái)自至少3個(gè)不同專(zhuān)業(yè)領(lǐng)域的數(shù)據(jù)。這樣的要求旨在增強(qiáng)數(shù)據(jù)集在多個(gè)行業(yè)或?qū)W科中的適用性和實(shí)用性；e)任務(wù)類(lèi)型支持：數(shù)據(jù)集應(yīng)能支持多種跨模態(tài)任務(wù)，如視頻字幕生成、圖像和視頻的文本描述生成、視聽(tīng)同步檢測(cè)等；f)交互數(shù)據(jù)：加入用戶(hù)交互數(shù)據(jù)，如問(wèn)答對(duì)和用戶(hù)評(píng)論，不僅應(yīng)支持傳統(tǒng)的文本基礎(chǔ)對(duì)話(huà)系統(tǒng)和情感分析的模型訓(xùn)練，還應(yīng)包括語(yǔ)音和視覺(jué)反饋。例如，包含視頻回應(yīng)、語(yǔ)音指令以及基于圖像的用戶(hù)反饋；g)文化和語(yǔ)言：包括多種文化背景和語(yǔ)言的數(shù)據(jù)，確保模型能處理不同語(yǔ)言和方言。此外，應(yīng)包括與特定文化相關(guān)的圖像、視頻和音頻內(nèi)容，以促進(jìn)模型在視覺(jué)和聽(tīng)覺(jué)上的跨文化理解。例如，包含不同地區(qū)的傳統(tǒng)活動(dòng)、節(jié)日慶典的視覺(jué)表現(xiàn)以及地方語(yǔ)言的音頻樣本；9T/CAPT013—2024h)模態(tài)融合和協(xié)同處理：數(shù)據(jù)集應(yīng)體現(xiàn)不同模態(tài)之間的互補(bǔ)性和融合能力。例如，確保圖像數(shù)據(jù)可與相關(guān)的文本數(shù)據(jù)相結(jié)合，提供視覺(jué)場(chǎng)景的語(yǔ)義理解，或者音視頻數(shù)據(jù)與對(duì)應(yīng)的情感標(biāo)簽緊密結(jié)合，支持復(fù)雜的情感分析任務(wù)；i)上下文理解和場(chǎng)景再現(xiàn)：在多模態(tài)數(shù)據(jù)集中包括上下文信息，如時(shí)間、地點(diǎn)、社會(huì)文化背景等，使模型能在處理數(shù)據(jù)時(shí)考慮到這些因素，從而更好地理解和再現(xiàn)真實(shí)世界的復(fù)雜場(chǎng)景；j)異常檢測(cè)和不一致性標(biāo)識(shí)：在數(shù)據(jù)集中特別標(biāo)注那些模態(tài)之間存在不一致或異常的例子，如圖像中的物體與描述不符的文本，或聲音與視頻不同步的情況。5.2.3格式要求格式要求包括：a)模態(tài)對(duì)齊：確保不同模態(tài)間數(shù)據(jù)對(duì)齊，圖像中的對(duì)象與描述它的文本對(duì)應(yīng)，視頻動(dòng)作與音頻解釋同步；b)格式標(biāo)準(zhǔn)化：為每種模態(tài)定義格式和質(zhì)量標(biāo)準(zhǔn)，確保數(shù)據(jù)具有一致的處理質(zhì)量和格式；c)跨模態(tài)標(biāo)注：為圖像、視頻和音頻數(shù)據(jù)提供文本描述、對(duì)象標(biāo)簽、情感分析等，并確保與視覺(jué)或聽(tīng)覺(jué)內(nèi)容相關(guān)；d)富元數(shù)據(jù)：包括圖像的拍攝地點(diǎn)和時(shí)間，視頻的時(shí)長(zhǎng)，音頻的采樣率等信息；e)圖像+文本數(shù)據(jù)集：確保所有圖像-文本對(duì)來(lái)自可驗(yàn)證且信譽(yù)良好的數(shù)據(jù)源，每個(gè)圖像-文本對(duì)需經(jīng)過(guò)質(zhì)量檢驗(yàn)，確保圖像清晰，文本描述準(zhǔn)確無(wú)誤。圖像-文本對(duì)應(yīng)關(guān)系需清晰標(biāo)注，如對(duì)象標(biāo)簽、詳細(xì)描述及情感分析；f)視頻+文本數(shù)據(jù)集：視頻來(lái)源于經(jīng)過(guò)認(rèn)證的內(nèi)容提供者，確保視頻與字幕的時(shí)間軸同步。視頻應(yīng)清晰無(wú)模糊，音頻清晰可辨，文本準(zhǔn)確描述視頻內(nèi)容；g)音頻+文本數(shù)據(jù)集：音頻數(shù)據(jù)集來(lái)自標(biāo)準(zhǔn)語(yǔ)音庫(kù)，音頻清晰度和文本轉(zhuǎn)錄的準(zhǔn)確性需達(dá)到預(yù)定標(biāo)準(zhǔn)。音頻文件應(yīng)包含詳細(xì)的元數(shù)據(jù)，如錄音環(huán)境、說(shuō)話(huà)者信息和語(yǔ)言；h)其他多模態(tài)數(shù)據(jù)集：包括但不限于文本、圖像、視頻和音頻的組合。確保所有數(shù)據(jù)格式統(tǒng)一，支持跨模態(tài)分析與處理。數(shù)據(jù)集中應(yīng)包含交互式元素，如用戶(hù)問(wèn)答對(duì)和評(píng)論數(shù)據(jù)，以支持對(duì)話(huà)系統(tǒng)和情感分析的模型訓(xùn)練。5.2.4來(lái)源要求來(lái)源要求包括：a)多模態(tài)數(shù)據(jù)源：確保數(shù)據(jù)來(lái)源的多樣性，涵蓋社交媒體、新聞網(wǎng)站、科學(xué)文章、公共圖像庫(kù)和視頻庫(kù)等。所有數(shù)據(jù)來(lái)源應(yīng)是可靠和權(quán)威的，例如官方發(fā)布、專(zhuān)業(yè)機(jī)構(gòu)或經(jīng)過(guò)驗(yàn)證的數(shù)據(jù)集。同時(shí)，對(duì)數(shù)據(jù)源進(jìn)行記錄，包括發(fā)布日期、作者信息及其憑據(jù)；b)同步采集：對(duì)于涉及多種數(shù)據(jù)類(lèi)型的場(chǎng)景，保證時(shí)間同步性，如視頻中音頻與圖像內(nèi)容的匹配。5.3微調(diào)數(shù)據(jù)5.3.1概述微調(diào)是將已經(jīng)訓(xùn)練好的模型通過(guò)少量特定的數(shù)據(jù)集進(jìn)行再訓(xùn)練，以適應(yīng)具體應(yīng)用的過(guò)程。微調(diào)數(shù)據(jù)的質(zhì)量直接影響模型在真實(shí)世界場(chǎng)景中的表現(xiàn)。因此，這些數(shù)據(jù)需要是高質(zhì)量、具代表性且細(xì)粒度標(biāo)注5.3.2多模態(tài)新聞報(bào)道數(shù)據(jù)類(lèi)型微調(diào)數(shù)據(jù)類(lèi)型應(yīng)覆蓋文本、圖像、視頻和音頻等模態(tài)，以貼合新聞報(bào)道的多樣化傳播渠道，并確保能支持包括自動(dòng)生成新聞?wù)托侣劮诸?lèi)在內(nèi)的特定任務(wù)。數(shù)據(jù)集需覆蓋各種類(lèi)型的新聞主題，如政治、經(jīng)濟(jì)、娛樂(lè)等，以提供全面的視角，增加報(bào)道的廣度和深度。數(shù)據(jù)來(lái)源T/CAPT013—2024來(lái)源上要求多元化，涵蓋新聞發(fā)布機(jī)構(gòu)、專(zhuān)題論壇、社交媒體等。這些數(shù)據(jù)應(yīng)覆蓋廣度長(zhǎng)的時(shí)間范圍，證實(shí)事件的時(shí)序性和歷史背景。數(shù)據(jù)來(lái)源應(yīng)包括實(shí)時(shí)信息、過(guò)往新聞文本和報(bào)道材料。微調(diào)數(shù)據(jù)集需符合相關(guān)隱私法規(guī)，確保個(gè)人信息得到匿名化處理，并確保內(nèi)容獲得授權(quán)，特別是版權(quán)受限的素材。數(shù)據(jù)規(guī)模數(shù)據(jù)集規(guī)模應(yīng)適中，不必與預(yù)訓(xùn)練數(shù)據(jù)的海量程度等同，但應(yīng)具備足夠的樣本來(lái)代表新聞?lì)I(lǐng)域的廣泛主題和風(fēng)格。確保數(shù)據(jù)集在結(jié)構(gòu)上與新聞行業(yè)報(bào)道統(tǒng)一，反映準(zhǔn)確的新聞格式和風(fēng)格。數(shù)據(jù)質(zhì)量所有模態(tài)的數(shù)據(jù)應(yīng)清晰無(wú)歧義，并向用戶(hù)提供精準(zhǔn)的新聞信息。需經(jīng)過(guò)嚴(yán)格的質(zhì)量控制流程，以高準(zhǔn)確度滿(mǎn)足新聞行業(yè)的專(zhuān)業(yè)標(biāo)準(zhǔn)。微調(diào)數(shù)據(jù)集需要具有精準(zhǔn)的交叉模態(tài)標(biāo)注，包括但不限于圖像中對(duì)象的文本描述、視頻關(guān)鍵幀的注釋等，確保新聞內(nèi)容語(yǔ)義的準(zhǔn)確表達(dá)與完整性標(biāo)簽。數(shù)據(jù)集應(yīng)允許對(duì)模型進(jìn)行有意義的評(píng)估，以驗(yàn)證微調(diào)數(shù)據(jù)的效果，并確定模型在多模態(tài)新聞報(bào)道任務(wù)中的表現(xiàn)。5.3.3多模態(tài)新聞理解數(shù)據(jù)類(lèi)型微調(diào)數(shù)據(jù)應(yīng)包含傳統(tǒng)的新聞報(bào)道類(lèi)型，并且包括為新聞理解任務(wù)提供專(zhuān)門(mén)優(yōu)化的定向數(shù)據(jù)類(lèi)型。微調(diào)數(shù)據(jù)應(yīng)包括最新的新聞?wù)Z言用法和專(zhuān)業(yè)術(shù)語(yǔ)，確保模型在語(yǔ)言理解上與行業(yè)發(fā)展同步。數(shù)據(jù)來(lái)源數(shù)據(jù)來(lái)源應(yīng)包括實(shí)時(shí)新聞報(bào)道和過(guò)往新聞報(bào)道，確保數(shù)據(jù)集在時(shí)效性、歷史性和專(zhuān)業(yè)性上有足夠保數(shù)據(jù)集應(yīng)包含多領(lǐng)域和多文化背景的內(nèi)容，以支持模型的跨域適應(yīng)性和地域多樣性理解。數(shù)據(jù)規(guī)模確保數(shù)據(jù)規(guī)?？纱偈鼓Ｐ蛷亩鄠€(gè)角度全面理解新聞事件，數(shù)據(jù)需要覆蓋新聞的不同時(shí)間點(diǎn)和觀(guān)點(diǎn)，并展示多種表述方式。數(shù)據(jù)集應(yīng)支持模型的可擴(kuò)展性和增量學(xué)習(xí)能力，允許模型適應(yīng)新信息，并維護(hù)已有知識(shí)的穩(wěn)定性。數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量應(yīng)與新聞理解任務(wù)高度匹配，內(nèi)容應(yīng)涉及事件的全面詳情和深度背景分析，確保無(wú)誤導(dǎo)性，并提供信息源頭的明確標(biāo)記。數(shù)據(jù)集需要符合所采用模型架構(gòu)的特征提取和輸入格式要求，尤其要允許模型在真實(shí)世界應(yīng)用場(chǎng)景中有效地評(píng)估任務(wù)相關(guān)的性能和優(yōu)化空間。5.3.4多模態(tài)新聞檢索數(shù)據(jù)類(lèi)型數(shù)據(jù)類(lèi)型包括文本、圖像、視頻、音頻等類(lèi)型，其中文本數(shù)據(jù)包括新聞標(biāo)題、正文、作者、發(fā)布時(shí)間等文本信息。圖像數(shù)據(jù)包括與新聞相關(guān)的圖片或圖表。視頻數(shù)據(jù)包括與新聞相關(guān)的視頻素材。音頻數(shù)據(jù)包括與新聞相關(guān)的音頻素材。數(shù)據(jù)來(lái)源數(shù)據(jù)來(lái)源廣泛，包括新聞網(wǎng)站、平臺(tái)、機(jī)構(gòu)、社交媒體和開(kāi)放數(shù)據(jù)源等。這些渠道提供多樣的多模態(tài)新聞內(nèi)容，如報(bào)道、采訪(fǎng)視頻、社交媒體用戶(hù)發(fā)布的文本、圖片、視頻等。T/CAPT013—2024利用開(kāi)放數(shù)據(jù)源，如政府公共數(shù)據(jù)和研究機(jī)構(gòu)數(shù)據(jù)集，獲取更豐富的多模態(tài)新聞數(shù)據(jù)。這些來(lái)源為多模態(tài)新聞檢索系統(tǒng)提供豐富的資源，支持系統(tǒng)對(duì)各種形式的新聞內(nèi)容進(jìn)行檢索和分析。在獲取和使用數(shù)據(jù)時(shí)，需合法合規(guī)地保護(hù)用戶(hù)隱私和版權(quán)。數(shù)據(jù)規(guī)模數(shù)據(jù)規(guī)模通常包括文本數(shù)量，可按條目或字?jǐn)?shù)統(tǒng)計(jì)。應(yīng)確保數(shù)據(jù)足夠豐富，涵蓋各個(gè)領(lǐng)域和類(lèi)型的新聞。圖像數(shù)據(jù)包括新聞配圖、圖表和照片等，應(yīng)滿(mǎn)足用戶(hù)搜索和瀏覽的需求。視頻數(shù)據(jù)應(yīng)涵蓋報(bào)道和采訪(fǎng)等各類(lèi)視頻，以覆蓋多樣的新聞事件和主題。音頻數(shù)據(jù)包括廣播和專(zhuān)訪(fǎng)錄音等，應(yīng)滿(mǎn)足用戶(hù)對(duì)新聞音頻內(nèi)容的需求。數(shù)據(jù)質(zhì)量數(shù)據(jù)應(yīng)準(zhǔn)確反映現(xiàn)實(shí)情況，全面覆蓋各領(lǐng)域和主題，確保新聞內(nèi)容、圖像、視頻等信息無(wú)誤導(dǎo)性或錯(cuò)誤。數(shù)據(jù)應(yīng)及時(shí)更新，反映最新新聞事件和信息，確保用戶(hù)獲得最新資訊。數(shù)據(jù)需具備多樣性，涵蓋各種主題和領(lǐng)域，以滿(mǎn)足用戶(hù)多樣化需求。同時(shí)，數(shù)據(jù)應(yīng)易于使用和理解，提供清晰明了的界面和信息展示，方便用戶(hù)檢索和瀏覽。數(shù)據(jù)應(yīng)遵循隱私保護(hù)原則，確保用戶(hù)個(gè)人信息和隱私安全，合法合規(guī)地處理和使用用戶(hù)數(shù)據(jù)。5.3.5多模態(tài)新聞編輯數(shù)據(jù)類(lèi)型數(shù)據(jù)類(lèi)型包括文本數(shù)據(jù)類(lèi)型（如標(biāo)題、正文、作者、發(fā)布時(shí)間）、圖像數(shù)據(jù)類(lèi)型（如配圖、統(tǒng)計(jì)圖表）、視頻數(shù)據(jù)類(lèi)型（如報(bào)道視頻、采訪(fǎng)視頻）、音頻數(shù)據(jù)類(lèi)型（如廣播、專(zhuān)訪(fǎng)錄音）。數(shù)據(jù)包括元數(shù)據(jù)（描述信息、標(biāo)簽、分類(lèi)、關(guān)鍵詞）、編輯操作數(shù)據(jù)（編輯、修訂、審核）、發(fā)布渠道（網(wǎng)站、移動(dòng)應(yīng)用、社交媒體等）、版本控制（版本號(hào)、更新記錄）、安全審查（敏感信息審核、版權(quán)審核）。數(shù)據(jù)來(lái)源通過(guò)與新聞機(jī)構(gòu)、媒體公司以及第三方數(shù)據(jù)提供商的合作，獲取他們發(fā)布的多模態(tài)新聞內(nèi)容或購(gòu)買(mǎi)其提供的服務(wù)。利用社交媒體監(jiān)測(cè)工具，監(jiān)測(cè)社交媒體平臺(tái)上用戶(hù)發(fā)布的多模態(tài)新聞內(nèi)容。利用開(kāi)放數(shù)據(jù)源，獲取多模態(tài)新聞數(shù)據(jù)，也可通過(guò)收集用戶(hù)生成的多模態(tài)新聞內(nèi)容來(lái)豐富數(shù)據(jù)資源。數(shù)據(jù)規(guī)模覆蓋多個(gè)領(lǐng)域和主題的新聞內(nèi)容，內(nèi)容豐富多樣。包含各種形式的新聞內(nèi)容，以滿(mǎn)足不同用戶(hù)的需求和偏好。數(shù)據(jù)質(zhì)量新聞內(nèi)容應(yīng)準(zhǔn)確可靠，避免錯(cuò)誤或誤導(dǎo)性的信息，以提高用戶(hù)對(duì)系統(tǒng)的信任度。在獲取和使用新聞數(shù)據(jù)時(shí)，應(yīng)遵守相關(guān)的版權(quán)法律法規(guī)，確保數(shù)據(jù)的合法合規(guī)性，保護(hù)知識(shí)產(chǎn)權(quán)和用戶(hù)權(quán)益。及時(shí)更新新聞內(nèi)容，確保用戶(hù)獲取到最新的消息和資訊，提高系統(tǒng)的實(shí)用性和吸引力。6多模態(tài)大模型任務(wù)評(píng)測(cè)要求6.1評(píng)測(cè)執(zhí)行方法6.1.1基本要求新聞行業(yè)多模態(tài)預(yù)訓(xùn)練語(yǔ)言模型評(píng)測(cè)的執(zhí)行，首先按照6.1.3方法，基于第4章：多模態(tài)新聞任務(wù)要求中的問(wèn)題設(shè)計(jì)，使用6.1.4工具，輸入在6.1.2環(huán)境中的待評(píng)測(cè)預(yù)訓(xùn)練大模型，得到對(duì)應(yīng)問(wèn)題的答案，T/CAPT013—2024按照6.1.5方法，參考6.2中評(píng)測(cè)指標(biāo)規(guī)范，根據(jù)評(píng)測(cè)問(wèn)題類(lèi)別，具體參考6.3中的對(duì)應(yīng)問(wèn)題評(píng)測(cè)方法，對(duì)答案進(jìn)行人工評(píng)分，綜合定量衡量大模型的好壞，給出不同維度的評(píng)測(cè)結(jié)果。參考評(píng)測(cè)示例見(jiàn)附錄A。6.1.2評(píng)測(cè)環(huán)境根據(jù)被測(cè)模型的功能手冊(cè)，應(yīng)按照被測(cè)系統(tǒng)的使用要求進(jìn)行軟硬件環(huán)境配置。6.1.3評(píng)測(cè)數(shù)據(jù)集應(yīng)滿(mǎn)足以下要求，其中涉及到具體數(shù)值的可根據(jù)評(píng)測(cè)需求進(jìn)行適當(dāng)調(diào)整：a)應(yīng)通過(guò)新聞專(zhuān)家構(gòu)建、權(quán)威數(shù)據(jù)集篩選等方式進(jìn)行評(píng)估數(shù)據(jù)集的構(gòu)建；b)應(yīng)為每類(lèi)評(píng)價(jià)任務(wù)構(gòu)建不少于100條，滿(mǎn)足第4章各類(lèi)任務(wù)要求的數(shù)據(jù)集；c)數(shù)據(jù)集應(yīng)結(jié)合新聞時(shí)效性、多樣性、價(jià)值性的要求，定期更新維護(hù)。6.1.4評(píng)測(cè)工具針對(duì)開(kāi)放應(yīng)用程序編程接口（ApplicationProgrammingInterface，API）和不開(kāi)放API的兩種系統(tǒng)，應(yīng)準(zhǔn)備兩種評(píng)測(cè)工具：a)對(duì)開(kāi)放API的預(yù)訓(xùn)練模型系統(tǒng)，應(yīng)編寫(xiě)調(diào)用API的測(cè)試工具，進(jìn)行輸入問(wèn)題的批量請(qǐng)求，獲取結(jié)果。b)對(duì)不開(kāi)放API的預(yù)訓(xùn)練模型系統(tǒng)，應(yīng)進(jìn)行終端上的使用(例如web或者APP)，提供用戶(hù)界面（UserInterface，UI）或其他可輸入問(wèn)題、獲取結(jié)果的辦法。6.1.5評(píng)測(cè)執(zhí)行評(píng)測(cè)執(zhí)行的具體步驟如下，其中涉及到具體數(shù)值或比例的可根據(jù)評(píng)測(cè)需求進(jìn)行適當(dāng)調(diào)整：a)對(duì)6.1.3的評(píng)測(cè)數(shù)據(jù)集，使用6.1.4的評(píng)測(cè)工具，對(duì)每個(gè)評(píng)測(cè)問(wèn)題執(zhí)行3～5次，或按第4章問(wèn)題指令要求執(zhí)行相應(yīng)次數(shù)，將問(wèn)題和多個(gè)答案對(duì)應(yīng)記錄；b)對(duì)于“問(wèn)題-答案”對(duì)，若有標(biāo)準(zhǔn)答案則直接判斷對(duì)錯(cuò)，多個(gè)答案的分值以算術(shù)平均計(jì)算總得c)無(wú)標(biāo)準(zhǔn)答案的問(wèn)題，采用多專(zhuān)家雙盲人工評(píng)分（Double-BlindExpertRating，DBER）方案，讓專(zhuān)家在雙盲情況下對(duì)“問(wèn)題-答案”中提供對(duì)應(yīng)問(wèn)題的人類(lèi)優(yōu)質(zhì)答案、行業(yè)領(lǐng)先或其他對(duì)比模型答案進(jìn)行匿名對(duì)比評(píng)測(cè)；d)專(zhuān)家根據(jù)評(píng)測(cè)問(wèn)題類(lèi)別具體參考6.3中的對(duì)應(yīng)問(wèn)題評(píng)測(cè)方法對(duì)答案進(jìn)行評(píng)分，以不同維度的加權(quán)得分作為單個(gè)答案得分，不同問(wèn)題的答案可計(jì)算算術(shù)平均或根據(jù)具體需求計(jì)算加權(quán)平均。若不同專(zhuān)家對(duì)同一樣本的評(píng)分方差較大，可先進(jìn)行均值對(duì)齊（MeanCalibration，MC），這有助于消除不同專(zhuān)家之間的主觀(guān)偏差，使得評(píng)分更加客觀(guān)和一致；e)統(tǒng)計(jì)所有評(píng)測(cè)項(xiàng)目的DBER-MC分?jǐn)?shù)，以總分?jǐn)?shù)乘以60%作為及格分，分析各項(xiàng)評(píng)測(cè)項(xiàng)目下待評(píng)測(cè)模型的可用性；f)若進(jìn)行了與行業(yè)領(lǐng)先或其他模型的對(duì)比，則根據(jù)同一問(wèn)題下不同答案的分?jǐn)?shù)高低，分?jǐn)?shù)高者記為勝出，統(tǒng)計(jì)計(jì)算勝出率（WinRate）（同分?jǐn)?shù)樣本計(jì)一半），分析各項(xiàng)評(píng)測(cè)項(xiàng)目下待評(píng)測(cè)模型對(duì)比行業(yè)其他模型的領(lǐng)先性；g)若進(jìn)行了人工優(yōu)質(zhì)答案的對(duì)比，則根據(jù)同一問(wèn)題下不同答案的分?jǐn)?shù)高低，分?jǐn)?shù)高者記為勝出，統(tǒng)計(jì)計(jì)算勝出率（WinRate）（同分?jǐn)?shù)樣本計(jì)一半），分析各項(xiàng)評(píng)測(cè)項(xiàng)目下待評(píng)測(cè)模型對(duì)比人工優(yōu)質(zhì)答案的出彩性。6.2評(píng)測(cè)指標(biāo)6.2.1概述新聞行業(yè)預(yù)訓(xùn)練多模態(tài)大模型各任務(wù)生成結(jié)果應(yīng)符合專(zhuān)業(yè)性、可靠性、適用性、融合性要求。6.2.2專(zhuān)業(yè)性基本要求T/CAPT013—2024專(zhuān)業(yè)性要求旨在判斷大模型生成結(jié)果的新聞行業(yè)專(zhuān)業(yè)標(biāo)準(zhǔn)和價(jià)值取向體現(xiàn)情況。評(píng)測(cè)維度包括內(nèi)容、結(jié)構(gòu)、語(yǔ)言3個(gè)子維度。內(nèi)容大模型生成的新聞信息內(nèi)容質(zhì)量能匹配新聞行業(yè)中的主要應(yīng)用場(chǎng)景下的需求，確保模型產(chǎn)出及整合的新聞內(nèi)容（文本、圖像、音頻和視頻）的事實(shí)的準(zhǔn)確性、數(shù)據(jù)的正確引用能力和引用來(lái)源的可靠性。結(jié)構(gòu)大模型生成的新聞信息結(jié)構(gòu)符合新聞專(zhuān)業(yè)標(biāo)準(zhǔn)，確保模型能生成格式正確、具有清晰結(jié)構(gòu)與邏輯的語(yǔ)言大模型生成的新聞信息語(yǔ)言能符合新聞傳播場(chǎng)景的風(fēng)格需求，確保模型在使用專(zhuān)業(yè)術(shù)語(yǔ)時(shí)準(zhǔn)確無(wú)誤，在不同模態(tài)（文本、圖像、音頻、視頻）中使用的術(shù)語(yǔ)定義、用法與專(zhuān)業(yè)領(lǐng)域的標(biāo)準(zhǔn)一致，并且使用最新的專(zhuān)業(yè)術(shù)語(yǔ)。6.2.3可靠性基本要求可靠性要求應(yīng)保證大模型在新聞行業(yè)使用過(guò)程中的安全、合法、可信賴(lài)，減少、防止大模型的不良輸出或侵權(quán)行為。評(píng)測(cè)維度包括安全、可控、可解釋3個(gè)子維度。安全大模型生成內(nèi)容應(yīng)符合國(guó)家法律法規(guī)和行業(yè)規(guī)范，尊重知識(shí)產(chǎn)權(quán)和個(gè)人隱私，遵守道德和公序良俗，符合社會(huì)主義核心價(jià)值觀(guān)，可參考法律法規(guī)等相關(guān)文件對(duì)前述要求作出具體規(guī)定和建立負(fù)面清單?？煽卮竽Ｐ驮谶M(jìn)行媒體工作時(shí)，能理解并遵循指令中的限制性、傾向性要求，以生成符合用戶(hù)傾向的專(zhuān)業(yè)結(jié)果，保證大模型的輸出是可被輸入控制的，且專(zhuān)業(yè)性不發(fā)生明顯衰減?？山忉尨竽Ｐ驮谶M(jìn)行媒體工作時(shí)，能清楚地說(shuō)明其在新聞行業(yè)中的工作原理和邏輯推理過(guò)程，以便用戶(hù)進(jìn)行核查檢驗(yàn)，從而提高大模型的可信度和可靠性。6.2.4適用性基本要求適用性要求大模型應(yīng)適應(yīng)新聞行業(yè)的領(lǐng)域多樣性和用戶(hù)需求多樣化，反映大模型在新聞行業(yè)中的實(shí)際效果和用戶(hù)體驗(yàn)。評(píng)測(cè)維度包括靈活、兼容、創(chuàng)新3個(gè)子維度。靈活大模型在進(jìn)行不同領(lǐng)域的媒體工作時(shí)，能處理多樣性的新聞素材輸入，包括文字、圖像、視頻等多種形式的信息，根據(jù)不同領(lǐng)域的新聞需求自動(dòng)調(diào)整表達(dá)方式和輸出結(jié)果。兼容大模型在進(jìn)行媒體工作時(shí)，對(duì)于同樣需求、不同風(fēng)格描述語(yǔ)言的問(wèn)題輸入，能給出符合需求的回答。創(chuàng)新指大模型在媒體行業(yè)中的應(yīng)用能顯示自身的創(chuàng)新能力和價(jià)值貢獻(xiàn)，尤其是對(duì)于開(kāi)放性生成任務(wù)。6.2.5融合性基本要求T/CAPT013—2024融合性評(píng)測(cè)指標(biāo)應(yīng)反映大模型理解與生成的內(nèi)容在多個(gè)維度上保持統(tǒng)一與連貫，并且具有良好的功能擴(kuò)展能力。評(píng)測(cè)維度包括理解、表達(dá)、功能3個(gè)子維度。理解大模型在多模態(tài)交互過(guò)程中，能理解不同模態(tài)數(shù)據(jù)的語(yǔ)義信息，并將其整合到統(tǒng)一的語(yǔ)義空間中，確保捕捉到不同模態(tài)數(shù)據(jù)之間的語(yǔ)義關(guān)聯(lián)性，從而實(shí)現(xiàn)對(duì)多模態(tài)數(shù)據(jù)的一致性理解。表達(dá)大模型生成的多模態(tài)內(nèi)容在不同媒體形式下能保持一致，確保傳達(dá)的新聞主題和風(fēng)格統(tǒng)一而連貫。功能大模型能通過(guò)各種API接入不同的服務(wù)和工具，為其提供更廣泛的功能拓展，進(jìn)而實(shí)現(xiàn)更豐富、更多樣化的應(yīng)用。6.3評(píng)測(cè)框架6.3.1多模態(tài)新聞報(bào)道類(lèi)基本要求按4.2下的4個(gè)子類(lèi)別，基于6.2評(píng)測(cè)維度以及各類(lèi)別的具體要求，按6.1方法執(zhí)行評(píng)測(cè)。視頻報(bào)道生成按4.2.2生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表1。表1視頻報(bào)道生成類(lèi)人工評(píng)測(cè)框架符合新聞傳播場(chǎng)景的風(fēng)格需求，確保模型在使點(diǎn)確保視頻內(nèi)文本、圖像和語(yǔ)音在語(yǔ)義層面上意確保視頻中的多模態(tài)內(nèi)容實(shí)現(xiàn)新聞主題和風(fēng)格的統(tǒng)一圖文報(bào)道生成按4.2.3生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表2。表2圖文報(bào)道生成類(lèi)人工評(píng)測(cè)框架符合新聞傳播場(chǎng)景的風(fēng)格需求，確保模型在使T/CAPT013—2024表2圖文報(bào)道生成類(lèi)人工評(píng)測(cè)框架（續(xù)）語(yǔ)音報(bào)道生成按4.2.4生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表3。表3語(yǔ)音報(bào)道生成類(lèi)人工評(píng)測(cè)框架符合新聞傳播場(chǎng)景的風(fēng)格需求，確保模型在使語(yǔ)音提供的附加信息（如語(yǔ)調(diào)、重音）能恰當(dāng)?shù)胤从澄奶摂M主播新聞生成按4.2.5生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表4。表4虛擬主播新聞生成類(lèi)人工評(píng)測(cè)框架符合新聞傳播場(chǎng)景的風(fēng)格需求，確保模型在使模型可接受多種類(lèi)型、多種文件格式的輸入數(shù)據(jù);對(duì)在不同新聞場(chǎng)合和頻道中，能根據(jù)媒介特點(diǎn)調(diào)整虛多模態(tài)交互過(guò)程中，能理解不同模態(tài)數(shù)據(jù)的6.3.2多模態(tài)新聞理解類(lèi)基本要求按4.3下的3個(gè)子類(lèi)別，基于6.2評(píng)測(cè)維度以及各類(lèi)別的具體要求，按6.1方法執(zhí)行評(píng)測(cè)。新聞事件綜合分析按4.3.2生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表5。T/CAPT013—2024表5新聞事件綜合分析類(lèi)人工評(píng)測(cè)框架分析報(bào)告能清晰定義新聞事件的各個(gè)方面，并有條符合新聞傳播場(chǎng)景的風(fēng)格需求，確保模型在使分析新聞素材時(shí)能把握不同模態(tài)中相同信息的不同表達(dá)，整合多個(gè)新聞源的分析時(shí)，能保持一個(gè)一致的新聞事件視頻精縮按4.3.3生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表6。表6新聞事件視頻精縮類(lèi)人工評(píng)測(cè)框架符合新聞傳播場(chǎng)景的風(fēng)格需求，確保模型在使模型可接受多種類(lèi)型、多種文件格式的輸入數(shù)據(jù)；對(duì)本質(zhì)一致表支持對(duì)各種質(zhì)量和風(fēng)格的視頻內(nèi)容進(jìn)行精縮，以適應(yīng)不同能識(shí)別多模態(tài)之間的關(guān)鍵語(yǔ)義信息，并將其融視頻精縮后能保持新聞主題和風(fēng)格的統(tǒng)一新聞視頻生成圖文摘要按4.3.4生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表7。表7新聞視頻生成圖文摘要類(lèi)人工評(píng)測(cè)框架符合新聞傳播場(chǎng)景的風(fēng)格需求，確保模型在使模型可接受多種類(lèi)型、多種文件格式的輸入數(shù)據(jù)；對(duì)本質(zhì)一致表能根據(jù)新聞視頻的性質(zhì)、內(nèi)容復(fù)雜度、媒介特生成的圖文摘要能清晰傳達(dá)視頻的中心思想，并與視頻T/CAPT013—2024基本要求按4.4下的3個(gè)子類(lèi)別，基于6.2評(píng)測(cè)維度以及各類(lèi)別的具體要求，按6.1方法執(zhí)行評(píng)測(cè)?？缒B(tài)新聞素材檢索按4.4.2生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表8。表8跨模態(tài)新聞素材檢索類(lèi)人工評(píng)測(cè)框架模型可接受多種類(lèi)型、多種文件格式的輸入數(shù)據(jù)；對(duì)本質(zhì)一致、檢索到各模態(tài)下全面的內(nèi)容，且檢索到的模態(tài)內(nèi)容應(yīng)與輸入模新聞視頻片段定位按4.4.3生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表9。表9新聞視頻片段定位類(lèi)人工評(píng)測(cè)框架多模態(tài)新聞事件檢索按4.4.4生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表10。表10多模態(tài)新聞事件檢索類(lèi)人工評(píng)測(cè)框架6.3.4多模態(tài)新聞編輯類(lèi)基本要求按4.5下的3個(gè)子類(lèi)別，基于6.2評(píng)測(cè)維度以及各類(lèi)別的具體要求，按6.1方法執(zhí)行評(píng)測(cè)。多模態(tài)新聞內(nèi)容審校T/CAPT013—2024按4.5.2生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表11。表11多模態(tài)新聞內(nèi)容審校類(lèi)人工評(píng)測(cè)框架多模態(tài)新聞視頻再創(chuàng)作按4.5.3生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表12。表12多模態(tài)新聞視頻再創(chuàng)作類(lèi)人工評(píng)測(cè)框架多模態(tài)新聞圖片二次編輯按4.5.4生成評(píng)測(cè)問(wèn)題，基于6.2評(píng)測(cè)維度，按6.1方法執(zhí)行評(píng)測(cè)，該子類(lèi)別評(píng)測(cè)框架見(jiàn)表13。表13多模態(tài)新聞圖片二次編輯類(lèi)人工評(píng)測(cè)框架與輸入素材風(fēng)格一致，簡(jiǎn)潔、明了，能在短模型可接受多種類(lèi)型、多種文件格式的輸入數(shù)據(jù)；對(duì)本質(zhì)一致、表13多模態(tài)新聞圖片二次編輯類(lèi)人工評(píng)測(cè)框架（續(xù)）T/CAPT013—2024理解跨模態(tài)內(nèi)容表達(dá)的情感色彩、情緒氛圍以及作確保原始圖片中的信息得到準(zhǔn)確傳遞，在內(nèi)容、色彩、比例等7多模態(tài)新聞任務(wù)安全性要求7.1數(shù)據(jù)保護(hù)在收集和使用個(gè)人敏感信息方面，應(yīng)符合GB/T35273中的要求進(jìn)行管理。在提供服務(wù)時(shí)，應(yīng)向用戶(hù)提供個(gè)人隱私政策相關(guān)服務(wù)條款。在收集用戶(hù)信息時(shí)，應(yīng)明確告知用戶(hù)信息種類(lèi)、范圍、目的和使用范圍，并允許用戶(hù)自主選擇是否接受，允許用戶(hù)關(guān)閉共享輸入數(shù)據(jù)。7.2內(nèi)容審核需建立專(zhuān)門(mén)的內(nèi)容審核部門(mén)，負(fù)責(zé)日常的內(nèi)容監(jiān)控和應(yīng)急處理。需設(shè)立安全委員會(huì)，負(fù)責(zé)聯(lián)動(dòng)組織內(nèi)各部門(mén)和監(jiān)督內(nèi)容審核部門(mén)的工作，以及協(xié)調(diào)各內(nèi)外部組織落實(shí)安全相關(guān)的規(guī)章制度和安全架構(gòu)設(shè)計(jì)。需建立相關(guān)內(nèi)容審核關(guān)鍵詞庫(kù)，由專(zhuān)門(mén)團(tuán)隊(duì)和人員管理與維護(hù)，定期進(jìn)行更新?？刹捎米匝谢虿少?gòu)第三方內(nèi)容風(fēng)控服務(wù)商的相關(guān)服務(wù)，完善安全審核機(jī)制與流程。應(yīng)具備覆蓋TC26-003附錄A中涉及的17種安全風(fēng)險(xiǎn)關(guān)鍵詞庫(kù)，并定期進(jìn)行更新。7.3身份驗(yàn)證應(yīng)在向用戶(hù)提供相關(guān)服務(wù)前進(jìn)行注冊(cè)并進(jìn)行實(shí)名認(rèn)證。應(yīng)對(duì)用戶(hù)輸入的內(nèi)容進(jìn)行檢測(cè)，可采用關(guān)鍵詞、分類(lèi)模型等多種方式，用戶(hù)連續(xù)三次或一天內(nèi)累計(jì)五次輸入違法不良信息或明顯誘導(dǎo)生成違法不良信息的，應(yīng)依法依約采取暫停提供服務(wù)等處置措施。應(yīng)拒答用戶(hù)主觀(guān)惡意、有明顯偏激和誘導(dǎo)的輸入。7.4透明度和可解釋性以交互界面提供服務(wù)的應(yīng)在醒目位置標(biāo)明服務(wù)的相關(guān)條款，隱私政策和適用人群范圍等信息。由人工智能生成的多模態(tài)內(nèi)容中應(yīng)有顯性水印標(biāo)識(shí)和隱性水印標(biāo)識(shí)，標(biāo)明內(nèi)容是由人工智能生成。對(duì)于圖片、音頻、視頻應(yīng)在內(nèi)容生成區(qū)域框下方或用戶(hù)輸入信息區(qū)域添加“AI生成”或“人工智能生成”的標(biāo)識(shí)。由人工智能生成的圖片、音頻、視頻以文件輸出時(shí)，應(yīng)在文件元數(shù)據(jù)中增加相應(yīng)字段標(biāo)識(shí)內(nèi)容由人工智能生成，包括模型信息、服務(wù)提供方信息、內(nèi)容生成時(shí)間信息，宜使用可信時(shí)間戳技術(shù)手段確保內(nèi)容可存證及溯源。7.5資質(zhì)與合規(guī)性組織和訓(xùn)練大模型或提供生成式人工智能服務(wù)時(shí)，應(yīng)具備基本數(shù)據(jù)安全能力，應(yīng)達(dá)到GB/T37988—2019中規(guī)定的2級(jí)水平，宜達(dá)到3級(jí)。同時(shí)考慮規(guī)模、價(jià)值等因素，不應(yīng)低于GB/T22240—2020中規(guī)定的二級(jí)，宜達(dá)到三級(jí)。如服務(wù)只面向則企業(yè)內(nèi)部生成環(huán)節(jié)使用，無(wú)需進(jìn)行模型備案。如提供具有輿論屬性或者社會(huì)動(dòng)員能力的生成式人工智能服務(wù)的則需依照國(guó)家有關(guān)規(guī)定進(jìn)行備案手續(xù)。訓(xùn)練數(shù)據(jù)如包含知識(shí)產(chǎn)權(quán)內(nèi)容，應(yīng)有合法合規(guī)的采購(gòu)協(xié)議，避免侵犯知識(shí)產(chǎn)權(quán)。7.6應(yīng)急響應(yīng)應(yīng)建立專(zhuān)門(mén)的應(yīng)急響應(yīng)團(tuán)隊(duì)，處理安全事件。應(yīng)制定詳細(xì)的應(yīng)急預(yù)案，包括事件相應(yīng)流程和通知程序等。除上述要求外，其他安全性要求可參考《新聞行業(yè)大規(guī)模預(yù)訓(xùn)練模型語(yǔ)言模型安全性要求》。T/CAPT013—2024多模態(tài)任務(wù)評(píng)測(cè)示例A.1多模態(tài)新聞報(bào)道類(lèi)A.1.1視頻報(bào)道生成指令：生成一個(gè)多模態(tài)新聞報(bào)道，主題為“2024年全球開(kāi)發(fā)者先鋒大會(huì)”。報(bào)道應(yīng)包括文本描述，結(jié)合已有視頻素材。文本內(nèi)容應(yīng)詳細(xì)介紹大會(huì)的主題、“模速空間開(kāi)發(fā)者的模力之源”，包括開(kāi)幕式、頂尖青年開(kāi)發(fā)者交流會(huì)、前沿技術(shù)講壇的主要活動(dòng)，并突出特邀發(fā)言人扎克·卡斯和史蒂夫·霍夫曼的演講內(nèi)容。描述應(yīng)指引觀(guān)眾關(guān)注視頻中的關(guān)鍵時(shí)刻和發(fā)言人的重要觀(guān)點(diǎn)。確保文本與視頻內(nèi)容高度相關(guān)，增強(qiáng)信息傳遞。歡迎收看我們對(duì)2024年全球開(kāi)發(fā)者先鋒大會(huì)的特別報(bào)道。本屆大會(huì)在西岸穹頂藝術(shù)中心以及油罐和B館等地盛大開(kāi)幕，以“模速空間開(kāi)發(fā)者的模力之源”為主題，旨在展示開(kāi)發(fā)者社區(qū)的創(chuàng)新力量和科技潛能。請(qǐng)關(guān)注視頻中的開(kāi)幕式場(chǎng)景，您將看到來(lái)自全球的開(kāi)發(fā)者和科技愛(ài)好者齊聚一堂，熱情高漲。本次大會(huì)集聚了超過(guò)100個(gè)開(kāi)發(fā)者社區(qū)，通過(guò)一系列精彩活動(dòng)展現(xiàn)了科技與產(chǎn)業(yè)發(fā)展的緊密聯(lián)系。特別值得一提的是，視頻將帶您深入了解兩位特邀發(fā)言人的精彩演講。扎克·卡斯將討論人工智能的商業(yè)化途徑，而史蒂夫·霍夫曼則分享了他的硅谷創(chuàng)業(yè)經(jīng)驗(yàn)。請(qǐng)注意他們演講中的關(guān)鍵觀(guān)點(diǎn)，這些內(nèi)容對(duì)于理解當(dāng)前科技趨勢(shì)至關(guān)重要。此外，不要錯(cuò)過(guò)頂尖青年開(kāi)發(fā)者交流會(huì)的部分，這是一個(gè)青年才俊們展示創(chuàng)新想法和技術(shù)解決方案的平臺(tái)。視頻中的這些交流場(chǎng)景充滿(mǎn)活力，反映了全球開(kāi)發(fā)者社區(qū)的活躍交流和合作精神。通過(guò)本報(bào)道，我們希望帶給您全面的大會(huì)動(dòng)態(tài)，展示如何通過(guò)科技創(chuàng)新驅(qū)動(dòng)產(chǎn)業(yè)進(jìn)步，并由產(chǎn)業(yè)發(fā)展反哺人才培養(yǎng)，形成良性循環(huán)。感謝您的觀(guān)看，敬請(qǐng)期待更多精彩內(nèi)容。A.1.2圖文報(bào)道生成指令：生成一個(gè)圖文報(bào)道，主題為“中央氣象臺(tái)發(fā)布強(qiáng)對(duì)流天氣藍(lán)色預(yù)警”。報(bào)道應(yīng)包括詳細(xì)的文本描述和配套的圖像選擇。文本內(nèi)容應(yīng)詳細(xì)介紹預(yù)警的具體內(nèi)容，包括受影響地區(qū)、預(yù)計(jì)的天氣現(xiàn)象（如雷暴大風(fēng)、冰雹和強(qiáng)降水）、以及建議的防范措施。圖像應(yīng)選擇反映天氣狀況的照片或圖表，如雷暴云圖、受影響地區(qū)地圖等。確保圖像內(nèi)容與文本描述高度相關(guān)，以提供信息豐富、視覺(jué)吸引的報(bào)道體驗(yàn)。生成結(jié)果：文本描述：中央氣象臺(tái)于5月10日18時(shí)繼續(xù)發(fā)布強(qiáng)對(duì)流天氣藍(lán)色預(yù)警，警告即將來(lái)臨的惡劣天氣條件。預(yù)計(jì)從5月10日20時(shí)至11日20時(shí)，多個(gè)地區(qū)將經(jīng)歷極端天氣現(xiàn)象，包括8級(jí)以上的雷暴大風(fēng)和可能的冰雹。受影響的地區(qū)包括遼寧西部、河北東南部、天津南部、山東西北部等地，這些地區(qū)將可能面臨雷暴大風(fēng)。特別是在貴州中北部和湖南中西部等地，局部地區(qū)的雷暴大風(fēng)力度可能會(huì)超過(guò)10級(jí)，最大風(fēng)力達(dá)到11級(jí)以上。此外，包括黑龍江西南部、安徽南部、江蘇東北部和南部在內(nèi)的多個(gè)地區(qū)，將有短時(shí)強(qiáng)降水天氣，小時(shí)雨量可能超過(guò)20毫米。在安徽南部、江蘇西南部、貴州中東部等地，局部地區(qū)的小時(shí)雨量可能大于50毫米，最大可達(dá)70毫米以上。中央氣象臺(tái)呼吁所有受影響地區(qū)的居民保持警惕，避免戶(hù)外活動(dòng)，并采取必要的防范措施以保護(hù)人身和財(cái)產(chǎn)安全。圖像描述：雷暴云圖像：顯示當(dāng)前雷暴云的衛(wèi)星圖像，突出顯示受影響地區(qū)。T/CAPT013—2024受影響地區(qū)地圖：詳細(xì)地圖標(biāo)出所有受雷暴大風(fēng)和強(qiáng)降水影響的地區(qū)。防災(zāi)準(zhǔn)備指南圖：圖形化展示如何在家中安全應(yīng)對(duì)雷暴大風(fēng)和強(qiáng)降水的簡(jiǎn)要指南。A.1.3語(yǔ)音報(bào)道生成指令：生成一個(gè)語(yǔ)音報(bào)道，主題為“全球氣候變化對(duì)農(nóng)業(yè)的影響”。報(bào)道應(yīng)包括詳細(xì)的文本描述，隨后轉(zhuǎn)化為語(yǔ)音格式。文本內(nèi)容應(yīng)詳細(xì)介紹由于全球變暖導(dǎo)致的主要農(nóng)業(yè)問(wèn)題、具體受影響的地區(qū)、及其對(duì)當(dāng)?shù)剞r(nóng)業(yè)產(chǎn)量的具體影響。此外，請(qǐng)?zhí)峁┻m應(yīng)和緩解策略的建議。要求語(yǔ)音清晰、專(zhuān)業(yè)，適合廣播。生成結(jié)果：文本描述：“在全球氣候變化的大背景下，農(nóng)業(yè)正面臨前所未有的挑戰(zhàn)。溫度的持續(xù)升高、不規(guī)律的降雨模式和極端天氣事件的增多，對(duì)世界各地的農(nóng)作物生產(chǎn)構(gòu)成了嚴(yán)重威脅。特別是在非洲的撒哈拉以南地區(qū)、亞洲的東南部以及南美的部分地區(qū)，這些地方的農(nóng)業(yè)生產(chǎn)尤為脆弱，面臨嚴(yán)重的生產(chǎn)下降。農(nóng)作物如玉米、小麥和稻米的產(chǎn)量已經(jīng)開(kāi)始受到氣候變化的負(fù)面影響。例如，印度的部分地區(qū)由于持續(xù)高溫和降雨量不足，預(yù)計(jì)未來(lái)十年內(nèi)稻米產(chǎn)量可能下降10%到15%。此外，非洲的一些國(guó)家由于干旱和高溫，玉米產(chǎn)量急劇下降，嚴(yán)重影響了當(dāng)?shù)氐氖澄锇踩娃r(nóng)民的生計(jì)。面對(duì)這些挑戰(zhàn)，農(nóng)業(yè)部門(mén)需要采取適應(yīng)和緩解措施。一是改進(jìn)灌溉系統(tǒng)，確保水資源的有效使用；二是培育耐旱和耐熱的作物品種；三是提高農(nóng)業(yè)科技，例如使用衛(wèi)星監(jiān)測(cè)和數(shù)據(jù)分析來(lái)優(yōu)化種植計(jì)劃和作物管理。現(xiàn)在讓我們聆聽(tīng)這段專(zhuān)題報(bào)道，詳細(xì)了解全球氣候變化如何影響我們的糧食生產(chǎn)和我們可采取哪些措施來(lái)應(yīng)對(duì)這一挑戰(zhàn)?！闭Z(yǔ)音輸出：模型將上述文本轉(zhuǎn)化為語(yǔ)音格式，使用清晰、流暢的聲音進(jìn)行播報(bào)，適合在廣播或在線(xiàn)媒體上播放。語(yǔ)音報(bào)道以專(zhuān)業(yè)的口吻介紹信息，背景可加入輕微的音樂(lè)或自然聲音以增強(qiáng)聽(tīng)眾的聆聽(tīng)體驗(yàn)。A.1.4虛擬主播新聞生成指令：生成一個(gè)虛擬主播新聞報(bào)道的腳本和行為指南，主題是“最新技術(shù)在教育中的應(yīng)用”。報(bào)道應(yīng)包括教育技術(shù)的最新發(fā)展，如虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）在學(xué)校的應(yīng)用示例，以及這些技術(shù)如何改變教學(xué)方式。要求虛擬主播的表達(dá)要清晰、專(zhuān)業(yè)，并具有親和力。請(qǐng)描述虛擬主播的視覺(jué)呈現(xiàn)、語(yǔ)音風(fēng)格和與觀(guān)眾的互動(dòng)方式。“大家好，我是今天的虛擬主播小智。在本期新聞中，我們將探索最新技術(shù)如何在教育領(lǐng)域中發(fā)揮革命性作用。隨著虛擬現(xiàn)實(shí)和增強(qiáng)現(xiàn)實(shí)技術(shù)的進(jìn)步，全球各地的學(xué)校正在這些技術(shù)上進(jìn)行大膽嘗試，以提高教學(xué)質(zhì)量和學(xué)生的學(xué)習(xí)體驗(yàn)。這些技術(shù)的引入，不僅使學(xué)習(xí)過(guò)程更加生動(dòng)有趣，還幫助學(xué)生獲得更深刻的知識(shí)理解。接下來(lái)，讓我們看一段在一所學(xué)校使用VR技術(shù)的視頻?！碧摂M主播行為指南：視覺(jué)呈現(xiàn)：虛擬主播“小智”應(yīng)設(shè)計(jì)為一個(gè)年輕的、充滿(mǎn)活力的形象，穿著簡(jiǎn)潔現(xiàn)代的服裝。在報(bào)道中，背景應(yīng)展示高科技感的虛擬環(huán)境。語(yǔ)音風(fēng)格：小智的語(yǔ)音應(yīng)清晰、流暢，帶有一定的專(zhuān)業(yè)性，同時(shí)保持友好的語(yǔ)調(diào)以吸引和保持觀(guān)眾的注意力?；?dòng)方式：在報(bào)道的過(guò)程中，小智可提問(wèn)觀(guān)眾，例如“你想體驗(yàn)一下VR化學(xué)實(shí)驗(yàn)室嗎？”或“你認(rèn)為AR技術(shù)在歷史教學(xué)中的應(yīng)用如何？”這些互動(dòng)可通過(guò)新聞節(jié)目的社交媒體平臺(tái)進(jìn)行，增加觀(guān)眾的參與度。A.2多模態(tài)新聞理解類(lèi)A.2.1新聞事件綜合分析T/CAPT013—2024指令：請(qǐng)檢測(cè)以下文本中所描述的新聞事件，提取相關(guān)信息并進(jìn)行深度分析。分析應(yīng)包括事件的主題、時(shí)間、地點(diǎn)、參與者以及文本中的情感傾向（如積極、消極、中性）。此外，請(qǐng)結(jié)合文本、圖片和視頻等多模態(tài)數(shù)據(jù)，挖掘和總結(jié)新聞事件的重要內(nèi)容、關(guān)聯(lián)關(guān)系和趨勢(shì)。文本描述：在某某市，2024年5月10日，一場(chǎng)大型慈善活動(dòng)成功舉辦，數(shù)千名志愿者參與其中，幫助分發(fā)食品和衣物給有需要的市民。活動(dòng)現(xiàn)場(chǎng)充滿(mǎn)歡聲笑語(yǔ)，志愿者們積極互動(dòng)，傳遞愛(ài)心和溫暖。圖片描述：一張圖片顯示，志愿者們微笑著將食品和衣物分發(fā)給市民。人們臉上洋溢著感激的笑容，現(xiàn)場(chǎng)氣氛溫馨和諧。視頻描述：視頻片段顯示，活動(dòng)現(xiàn)場(chǎng)熱鬧非凡，志愿者們忙碌地工作著。背景中可聽(tīng)到人們的歡聲笑語(yǔ)和感激之情，志愿者與市民互動(dòng)頻繁，場(chǎng)面感人。請(qǐng)根據(jù)以上內(nèi)容生成新聞事件綜合分析。生成結(jié)果：主題：大型慈善活動(dòng)時(shí)間：2024年5月10日地點(diǎn)：某某市參與者：志愿者、市民情感傾向：文本情感傾向：積極文本描述了數(shù)千名志愿者積極參與慈善活動(dòng)，幫助有需要的市民，現(xiàn)場(chǎng)充滿(mǎn)歡聲笑語(yǔ)和溫馨氛圍，整體情感傾向積極。綜合分析：事件描述：2024年5月10日，某某市成功舉辦了一場(chǎng)大型慈善活動(dòng)，吸引了數(shù)千名志愿者參與。他們幫助分發(fā)食品和衣物給有需要的市民，傳遞愛(ài)心和溫暖?；顒?dòng)現(xiàn)場(chǎng)充滿(mǎn)了積極的互動(dòng)和感激之情，氣氛溫馨和諧。圖片分析：圖片顯示志愿者們微笑著將食品和衣物分發(fā)給市民，市民臉上洋溢著感激的笑容，現(xiàn)場(chǎng)氣氛溫馨和諧。志愿者們的積極行動(dòng)和市民的感激反應(yīng)，進(jìn)一步突顯了活動(dòng)的積極情感。視頻分析：視頻片段展示了熱鬧非凡的活動(dòng)現(xiàn)場(chǎng)，志愿者們忙碌地工作，背景中充滿(mǎn)了人們的歡聲笑語(yǔ)和感激之情。志愿者與市民頻繁互動(dòng)，場(chǎng)面感人，顯示出活動(dòng)的成功和積極影響。關(guān)聯(lián)關(guān)系和趨勢(shì)：從文本、圖片和視頻多模態(tài)數(shù)據(jù)中可看出，慈善活動(dòng)不僅有效幫助了有需要的市民，也促進(jìn)了社區(qū)的團(tuán)結(jié)和愛(ài)心傳播。這樣的積極活動(dòng)有助于提升社會(huì)凝聚力和公眾參與感，預(yù)計(jì)未來(lái)可能會(huì)有更多類(lèi)似的慈善活動(dòng)舉辦。建議相關(guān)組織繼續(xù)推動(dòng)此類(lèi)活動(dòng)，進(jìn)一步擴(kuò)大影響，鼓勵(lì)更多人參與其中，共同構(gòu)建和諧美好的社會(huì)。A.2.2新聞事件視頻精縮指令：請(qǐng)對(duì)以下新聞視頻進(jìn)行內(nèi)容摘要和精簡(jiǎn)，識(shí)別視頻中的人物或?qū)ο蟮男袨?，并確定其狀態(tài)或動(dòng)作。同時(shí)，從視頻中提取關(guān)鍵幀，并識(shí)別音頻中的不同說(shuō)話(huà)人，確定他們的身份或特征，提取音頻中的關(guān)鍵詞或關(guān)鍵短語(yǔ)。視頻描述：視頻顯示了某某市一場(chǎng)大型慈善活動(dòng)的場(chǎng)景。志愿者們?cè)诜职l(fā)食品和衣物給市民。視頻中可看到志愿者們微笑著與市民互動(dòng)，背景中有歡聲笑語(yǔ)。視頻的后半部分采訪(fǎng)了一位名叫李華的志愿者，他描述了參與活動(dòng)的感受和見(jiàn)聞。請(qǐng)生成包含以下內(nèi)容的新聞事件視頻精縮結(jié)果：1.視頻中相關(guān)人員的具體行為或動(dòng)作的描述。2.對(duì)具體身份特征和關(guān)鍵短語(yǔ)的描述。生成結(jié)果：T/CAPT013—2024視頻中相關(guān)人員的具體行為或動(dòng)作的描述：志愿者分發(fā)食品和衣物：視頻開(kāi)頭展示了志愿者們?cè)诜职l(fā)食品和衣物給市民的場(chǎng)景。他們手持食品袋和衣物，微笑著遞給市民，并與他們交流互動(dòng)。志愿者與市民互動(dòng)：志愿者們不斷與市民交流，安慰和鼓勵(lì)他們，整個(gè)過(guò)程充滿(mǎn)了溫暖和關(guān)懷。志愿者李華的采訪(fǎng)：視頻后半部分，志愿者李華接受采訪(fǎng)時(shí)，面帶微笑，語(yǔ)氣真誠(chéng)，描述了參與活動(dòng)的感受和見(jiàn)聞。對(duì)具體身份特征和關(guān)鍵短語(yǔ)的描述：志愿者李華：一位名叫李華的志愿者，他是一名大學(xué)生，穿著印有活動(dòng)標(biāo)志的T恤，言談中充滿(mǎn)了對(duì)慈善活動(dòng)的熱情。音頻關(guān)鍵詞和關(guān)鍵短語(yǔ)：“大型慈善活動(dòng)”：李華在采訪(fǎng)中多次提到這次活動(dòng)的規(guī)模和意義?！皫椭行枰娜恕保哼@是李華在采訪(fǎng)中強(qiáng)調(diào)的主要目標(biāo)?！皭?ài)心和溫暖”：李華描述活動(dòng)氛圍時(shí)使用的關(guān)鍵詞，反映了活動(dòng)的積極情感。“志愿者精神”：李華談到參與活動(dòng)的志愿者們所展現(xiàn)的精神風(fēng)貌。提取的關(guān)鍵幀：關(guān)鍵幀1：志愿者們分發(fā)食品和衣物時(shí)的場(chǎng)景，顯示了忙碌且溫馨的互動(dòng)瞬間。關(guān)鍵幀2：市民接受食品和衣物時(shí)的笑臉，反映了他們的感激之情。關(guān)鍵幀3：志愿者李華接受采訪(fǎng)時(shí)的鏡頭，展示了他的個(gè)人特征和情感表達(dá)。A.2.3新聞視頻生成圖文摘要指令：請(qǐng)對(duì)以下新聞視頻進(jìn)行分析，生成簡(jiǎn)潔清晰的文字摘要和相關(guān)圖像，幫助用戶(hù)快速了解新聞事件的要點(diǎn)和重點(diǎn)內(nèi)容。要求模型識(shí)別文本中的實(shí)體，如人名、地名、組織名、關(guān)鍵詞或關(guān)鍵短語(yǔ)等，檢測(cè)圖像中的對(duì)象并確定其位置和類(lèi)別，確定其所屬的類(lèi)別或類(lèi)型，運(yùn)動(dòng)軌跡等。視頻描述：視頻顯示了某某市一場(chǎng)大型慈善活動(dòng)的場(chǎng)景。志愿者們?cè)诜职l(fā)食品和衣物給市民。視頻中可看到志愿者們微笑著與市民互動(dòng)，背景中有歡聲笑語(yǔ)。視頻的后半部分采訪(fǎng)了一位名叫李華的志愿者，他描述了參與活動(dòng)的感受和見(jiàn)聞。請(qǐng)生成包含以下內(nèi)容的新聞視頻圖文摘要結(jié)果：1.文本摘要2.關(guān)鍵詞3.圖像描述4.視頻摘要生成結(jié)果：文本摘要：在某某市，2024年5月10日，一場(chǎng)大型慈善活動(dòng)成功舉辦，數(shù)千名志愿者參與其中，幫助分發(fā)食品和衣物給有需要的市民?；顒?dòng)現(xiàn)場(chǎng)充滿(mǎn)歡聲笑語(yǔ)，志愿者們積極互動(dòng)，傳遞愛(ài)心和溫暖。志愿者李華在接受采訪(fǎng)時(shí)，描述了參與活動(dòng)的感受和見(jiàn)聞，稱(chēng)此次活動(dòng)讓他深刻體會(huì)到幫助他人的意義。關(guān)鍵詞：大型慈善活動(dòng)志愿者李華分發(fā)食品和衣物愛(ài)心和溫暖某某市2024年5月10日?qǐng)D像描述：圖像1：志愿者們微笑著將食品和衣物分發(fā)給市民。志愿者們身穿印有活動(dòng)標(biāo)志的T恤，手持食品袋和衣物，現(xiàn)場(chǎng)氣氛溫馨和諧。T/CAPT013—2024圖像2：市民們接過(guò)食品和衣物，臉上洋溢著感激的笑容。場(chǎng)景中可看到志愿者與市民互動(dòng)頻繁，整個(gè)活動(dòng)充滿(mǎn)了愛(ài)心和溫暖。圖像3：志愿者李華接受采訪(fǎng)時(shí)的鏡頭。他面帶微笑，身后是活動(dòng)現(xiàn)場(chǎng)，周?chē)錆M(mǎn)了忙碌的志愿者和愉快的市民。視頻摘要：視頻展示了某某市舉行的大型慈善活動(dòng)。數(shù)千名志愿者積極參與，分發(fā)食品和衣物給有需要的市民。視頻開(kāi)頭展示了志愿者與市民互動(dòng)的溫馨場(chǎng)景，志愿者們微笑著將食品和衣物遞給市民，市民們臉上露出感激的笑容。視頻的后半部分，采訪(fǎng)了一位志愿者李華，他描述了參與活動(dòng)的感受，稱(chēng)此次活動(dòng)讓他深刻體會(huì)到幫助他人的意義。視頻中的關(guān)鍵場(chǎng)景和重要?jiǎng)幼靼ㄖ驹刚叻职l(fā)物資、與市民互動(dòng)，以及李華的采訪(fǎng)片段，所有這些都體現(xiàn)了活動(dòng)的成功和積極的社會(huì)影響。A.3多模態(tài)新聞檢索類(lèi)A.3.1跨模態(tài)新聞素材檢索指令：請(qǐng)根據(jù)以下文本描述，從新聞素材庫(kù)中檢索出相關(guān)的圖片和視頻內(nèi)容。要求檢索的新聞主題明確，詳細(xì)描述所需素材的內(nèi)容特征，包括事件、人物、組織機(jī)構(gòu)、地點(diǎn)等關(guān)鍵元素。應(yīng)指定素材的模態(tài)類(lèi)型新聞主題：某某市的環(huán)?；顒?dòng)文本描述：2024年6月5日，某某市舉辦了一場(chǎng)大型環(huán)?；顒?dòng)，成千上萬(wàn)的市民參與其中，清理河道和公園，宣傳環(huán)保知識(shí)?；顒?dòng)現(xiàn)場(chǎng)氣氛熱烈，參與者們齊心協(xié)力，展示了強(qiáng)烈的環(huán)保意識(shí)和社會(huì)責(zé)任感。市長(zhǎng)王偉在活動(dòng)中發(fā)表講話(huà)，強(qiáng)調(diào)環(huán)保的重要性。請(qǐng)生成跨模態(tài)新聞素材檢索結(jié)果，確保結(jié)果與指定主題嚴(yán)格相關(guān)，全面覆蓋事件的關(guān)鍵點(diǎn)和亮點(diǎn)。生成結(jié)果：描述：志愿者們?cè)诤拥肋吳謇砝?。圖片中志愿者們穿著環(huán)保活動(dòng)的標(biāo)志T恤，手持垃圾袋和工具，正在認(rèn)真地清理垃圾。內(nèi)容特征：事件：清理河道人物：志愿者地點(diǎn)：某某市河道邊描述：市民們?cè)诠珗@里宣傳環(huán)保知識(shí)。圖片展示了參與者們與過(guò)往市民互動(dòng)，發(fā)放宣傳資料，講解環(huán)保的重要性。內(nèi)容特征：事件：宣傳環(huán)保知識(shí)人物：市民、志愿者地點(diǎn)：某某市公園描述：市長(zhǎng)王偉在活動(dòng)中發(fā)表講話(huà)。他站在講臺(tái)上，背景是環(huán)?；顒?dòng)的橫幅，旁邊站著幾位主要組織者。內(nèi)容特征：事件：發(fā)表講話(huà)人物：市長(zhǎng)王偉地點(diǎn)：某某市活動(dòng)現(xiàn)場(chǎng)視頻1：描述：視頻開(kāi)頭展示了志愿者們?cè)诤拥肋吳謇砝膱?chǎng)景。志愿者們齊心協(xié)力，背景中有他們的歡T/CAPT013—2024聲笑語(yǔ)。內(nèi)容特征：事件：清理河道人物：志愿者地點(diǎn)：某某市河道邊視頻2：描述：視頻片段中，市長(zhǎng)王偉在活動(dòng)中發(fā)表講話(huà)，強(qiáng)調(diào)環(huán)保的重要性。他站在講臺(tái)上，背景是環(huán)保活動(dòng)的橫幅，現(xiàn)場(chǎng)氣氛熱烈。內(nèi)容特征：事件：講話(huà)人物：市長(zhǎng)王偉地點(diǎn)：某某市活動(dòng)現(xiàn)場(chǎng)視頻3：描述：視頻展示了活動(dòng)的整體氛圍，市民們?cè)诠珗@里宣傳環(huán)保知識(shí)，與過(guò)往行人互動(dòng)，場(chǎng)面熱烈感內(nèi)容特征：事件：宣傳環(huán)保知識(shí)人物：市民、志愿者地點(diǎn)：某某市公園A.3.2新聞視頻片段定位指令：請(qǐng)根據(jù)以下文本描述或關(guān)鍵詞，從長(zhǎng)時(shí)間的新聞視頻中快速定位出相關(guān)的片段。明確指出想要檢索的視頻片段內(nèi)容，包括但不限于事件、人物、組織機(jī)構(gòu)、地點(diǎn)等關(guān)鍵元素。如可能，也可描述任何相關(guān)的圖像、音頻或其他模態(tài)信息，以輔助定位。新聞主題：某某市新建的風(fēng)景公園開(kāi)幕文本描述：2024年7月20日，某某市的新建風(fēng)景公園正式開(kāi)幕。市長(zhǎng)王偉出席開(kāi)幕儀式并剪彩，公園內(nèi)有美麗的湖泊、茂密的森林和花壇。市民們?cè)诠珗@內(nèi)散步、劃船，享受自然美景。請(qǐng)生成新聞視頻片段定位結(jié)果，確保結(jié)果與指定的文本查詢(xún)或模態(tài)提示直接相關(guān)，并提供片段的確切時(shí)間戳或位置信息，便于用戶(hù)直接訪(fǎng)問(wèn)。生成結(jié)果：描述：市長(zhǎng)王偉出席開(kāi)幕儀式并剪彩。他站在講臺(tái)上，背景是新建的風(fēng)景公園入口，周?chē)鷩鷿M(mǎn)了觀(guān)眾，現(xiàn)場(chǎng)氣氛熱烈。時(shí)間戳：00:05:10-00:07:00內(nèi)容特征：事件：開(kāi)幕儀式人物：市長(zhǎng)王偉地點(diǎn)：某某市新建風(fēng)景公園視頻片段2：描述：公園內(nèi)美麗的湖泊景色。視頻展示了湖泊周?chē)木吧?，有市民在湖邊散步，幾艘小船在湖面上劃行。時(shí)間戳：00:08:30-00:09:45內(nèi)容特征：事件：市民劃船和散步地點(diǎn)：某某市新建風(fēng)景公園的湖泊視頻片段3：描述：公園內(nèi)的茂密森林和花壇。視頻展示了茂密的樹(shù)林和色彩斑斕的花壇，市民們?cè)诹珠g小道上T/CAPT013—2024散步，孩子們?cè)诨▔酝嫠?。?nèi)容特征：事件：市民散步和玩耍地點(diǎn)：某某市新建風(fēng)景公園的森林和花壇A.3.3多模態(tài)新聞事件檢索指令：請(qǐng)根據(jù)以下詳細(xì)描述或關(guān)鍵詞，進(jìn)行多模態(tài)新聞事件檢索。明確檢索的主題，并進(jìn)行深度分析，包括概述、詳細(xì)分析和趨勢(shì)跟蹤。請(qǐng)指定需要檢索的媒體形式，包括文本、圖像和視頻等。要求結(jié)果覆蓋事件的所有相關(guān)方面，展示不同模態(tài)內(nèi)容之間的聯(lián)系，如視頻片段與相關(guān)新聞報(bào)道的鏈接。新聞主題：新型可穿戴科技產(chǎn)品發(fā)布文本描述：2024年7月15日，某某科技公司在某某市發(fā)布了一款新型可穿戴科技產(chǎn)品。該產(chǎn)品集成了最新的健康監(jiān)測(cè)和通信技術(shù)，能實(shí)時(shí)監(jiān)測(cè)用戶(hù)的健康數(shù)據(jù)并提供智能提醒。發(fā)布會(huì)上，公司CEO張偉詳細(xì)介紹了產(chǎn)品的創(chuàng)新點(diǎn)，并展示了產(chǎn)品的實(shí)際應(yīng)用場(chǎng)景?，F(xiàn)場(chǎng)演示環(huán)節(jié)中，觀(guān)眾可體驗(yàn)該產(chǎn)品的各種功能。請(qǐng)生成多模態(tài)新聞事件檢索結(jié)果，確保結(jié)果與指定主題嚴(yán)格相關(guān)，并按照概述、詳細(xì)分析和趨勢(shì)跟蹤的順序組織內(nèi)容。提供相關(guān)媒體形式的鏈接和描述，便于用戶(hù)根據(jù)時(shí)間線(xiàn)或主題輕松導(dǎo)航。1.概述2024年7月15日，某某科技公司在某某市發(fā)布了一款新型可穿戴科技產(chǎn)品。該產(chǎn)品集成了最新的健康監(jiān)測(cè)和通信技術(shù)，能實(shí)時(shí)監(jiān)測(cè)用戶(hù)的健康數(shù)據(jù)并提供智能提醒。發(fā)布會(huì)上，公司CEO張偉詳細(xì)介紹了產(chǎn)品的創(chuàng)新點(diǎn)，并展示了產(chǎn)品的實(shí)際應(yīng)用場(chǎng)景。現(xiàn)場(chǎng)演示環(huán)節(jié)中，觀(guān)眾可體驗(yàn)該產(chǎn)品的各種功能。關(guān)鍵詞：新型可穿戴科技產(chǎn)品、健康監(jiān)測(cè)、通信技術(shù)、實(shí)時(shí)監(jiān)測(cè)、智能提醒、某某科技公司發(fā)布會(huì)、張偉2.詳細(xì)分析文本報(bào)道：新聞文章1：標(biāo)題：某某科技公司發(fā)布新型可穿戴科技產(chǎn)品，開(kāi)啟健康監(jiān)測(cè)新紀(jì)元鏈接：點(diǎn)擊查看內(nèi)容：文章詳細(xì)介紹了該產(chǎn)品的技術(shù)特點(diǎn)和創(chuàng)新點(diǎn)，包括集成的健康監(jiān)測(cè)傳感器、實(shí)時(shí)數(shù)據(jù)分析功能以及智能提醒系統(tǒng)。報(bào)道還提到了發(fā)布會(huì)上的演示環(huán)節(jié)，觀(guān)眾對(duì)產(chǎn)品的反響。描述：公司CEO張偉在發(fā)布會(huì)上介紹新產(chǎn)品。背景顯示了產(chǎn)品的技術(shù)特點(diǎn)和功能演示。鏈接：點(diǎn)擊查看內(nèi)容特征：事件：產(chǎn)品發(fā)布會(huì)人物：張偉（公司CEO）地點(diǎn)：某某市發(fā)布會(huì)現(xiàn)場(chǎng)描述：觀(guān)眾在現(xiàn)場(chǎng)體驗(yàn)新型可穿戴科技產(chǎn)品。圖片展示了產(chǎn)品的實(shí)際應(yīng)用場(chǎng)景，包括健康監(jiān)測(cè)和通信功能。鏈接：點(diǎn)擊查看內(nèi)容特征：事件：現(xiàn)場(chǎng)演示人物：觀(guān)眾、志愿者地點(diǎn)：某某市發(fā)布會(huì)現(xiàn)場(chǎng)T/CAPT013—2024視頻1：描述：張偉在發(fā)布會(huì)上介紹新產(chǎn)品的功能和技術(shù)創(chuàng)新點(diǎn)。時(shí)間戳：00:03:10-00:05:45鏈接：點(diǎn)擊查看內(nèi)容特征：事件：產(chǎn)品介紹人物：張偉（公司CEO）地點(diǎn)：某某市發(fā)布會(huì)現(xiàn)場(chǎng)視頻2：描述：觀(guān)眾在發(fā)布會(huì)現(xiàn)場(chǎng)體驗(yàn)產(chǎn)品功能，包括健康數(shù)據(jù)實(shí)時(shí)監(jiān)測(cè)和智能提醒。時(shí)間戳：00:10:20-00:12:30鏈接：點(diǎn)擊查看內(nèi)容特征：事件：現(xiàn)場(chǎng)演示人物：觀(guān)眾、志愿者地點(diǎn)：某某市發(fā)布會(huì)現(xiàn)場(chǎng)3.趨勢(shì)跟蹤趨勢(shì)分析：技術(shù)創(chuàng)新趨勢(shì)：該產(chǎn)品體現(xiàn)了當(dāng)前可穿戴設(shè)備在健康監(jiān)測(cè)和通信技術(shù)上的最新進(jìn)展，反映了行業(yè)對(duì)智能健康設(shè)備需求的增長(zhǎng)。市場(chǎng)反響：發(fā)布會(huì)后，市場(chǎng)對(duì)新產(chǎn)品反應(yīng)積極，社交媒體上出現(xiàn)大量討論和評(píng)價(jià)，用戶(hù)對(duì)產(chǎn)品的實(shí)用性和創(chuàng)新性表示認(rèn)可。未來(lái)發(fā)展：預(yù)計(jì)未來(lái)將有更多科技公司推出類(lèi)似的健康監(jiān)測(cè)設(shè)備，推動(dòng)可穿戴設(shè)備市場(chǎng)的進(jìn)一步發(fā)A.4多模態(tài)新聞編輯類(lèi)A.4.1多模態(tài)新聞內(nèi)容審校指令：請(qǐng)對(duì)以下多模態(tài)新聞報(bào)道進(jìn)行審校，包括文本內(nèi)容的事實(shí)核查、圖片和視頻的真實(shí)性驗(yàn)證，以及多模態(tài)內(nèi)容之間的一致性和連貫性檢查。請(qǐng)?zhí)峁徯＝Y(jié)果，包括對(duì)文本內(nèi)容的修改建議或確認(rèn)、對(duì)圖片和視頻真實(shí)性的驗(yàn)證結(jié)果，以及對(duì)多模態(tài)內(nèi)容之間關(guān)聯(lián)性和連貫性的評(píng)估。指出可能存在的錯(cuò)誤或不準(zhǔn)確之處，并提供改進(jìn)建議，以確保新聞報(bào)道的準(zhǔn)確性和可信度。新聞主題：新型電動(dòng)車(chē)發(fā)布文本描述：2024年8月10日，某某汽車(chē)公司在某某市發(fā)布了一款新型電動(dòng)車(chē)。這款電動(dòng)車(chē)采用了最新的電池技術(shù)，續(xù)航里程達(dá)到600公里。發(fā)布會(huì)上，公司CEO李明詳細(xì)介紹了這款電動(dòng)車(chē)的創(chuàng)新設(shè)計(jì)和技術(shù)優(yōu)勢(shì)，并展示了車(chē)輛的自動(dòng)駕駛功能?，F(xiàn)場(chǎng)演示環(huán)節(jié)中，觀(guān)眾可親自試駕體驗(yàn)這款電動(dòng)車(chē)的各項(xiàng)功能。圖片描述：1.圖片1：公司CEO李明在發(fā)布會(huì)上介紹新型電動(dòng)車(chē)。背景顯示了車(chē)輛的技術(shù)特點(diǎn)和功能演示。2.圖片2：觀(guān)眾在試駕新型電動(dòng)車(chē)，展示了車(chē)輛的自動(dòng)駕駛功能和內(nèi)飾設(shè)計(jì)。視頻描述：1.視頻1：李明在發(fā)布會(huì)上詳細(xì)介紹新型電動(dòng)車(chē)的設(shè)計(jì)和技術(shù)優(yōu)勢(shì)。2.視頻2：觀(guān)眾在現(xiàn)場(chǎng)試駕體驗(yàn)電動(dòng)車(chē)的自動(dòng)駕駛功能。請(qǐng)生成多模態(tài)新聞內(nèi)容審校結(jié)果。生成結(jié)果：1.文本內(nèi)容審校文本內(nèi)容：2024年8月10日，某某汽車(chē)公司在某某市發(fā)布了一款新型電動(dòng)車(chē)。這款電動(dòng)車(chē)采用了最新的電池技T/CAPT013—2024術(shù)，續(xù)航里程達(dá)到600公里。發(fā)布會(huì)上，公司CEO李明詳細(xì)介紹了這款電動(dòng)車(chē)的創(chuàng)新設(shè)計(jì)和技術(shù)優(yōu)勢(shì)，并展示了車(chē)輛的自動(dòng)駕駛功能?，F(xiàn)場(chǎng)演示環(huán)節(jié)中，觀(guān)眾可親自試駕體驗(yàn)這款電動(dòng)車(chē)的各項(xiàng)功能。事實(shí)核查結(jié)果：日期和地點(diǎn)：確認(rèn)無(wú)誤，2024年8月10日某某市確實(shí)舉辦了新型電動(dòng)車(chē)發(fā)布會(huì)。公司和人物：某某汽車(chē)公司及其CEO李明的相關(guān)信息核查無(wú)誤。產(chǎn)品功能：該電動(dòng)車(chē)確實(shí)采用了最新的電池技術(shù)，續(xù)航里程達(dá)到600公里，并具備自動(dòng)駕駛功能。修改建議：文本內(nèi)容準(zhǔn)確且無(wú)明顯錯(cuò)誤，無(wú)需修改。2.圖片真實(shí)性驗(yàn)證圖片描述：圖片1：公司CEO李明在發(fā)布會(huì)上介紹新型電動(dòng)車(chē)。背景顯示了車(chē)輛的技術(shù)特點(diǎn)和功能演示。圖片2：觀(guān)眾在試駕新型電動(dòng)車(chē)，展示了車(chē)輛的自動(dòng)駕駛功能和內(nèi)飾設(shè)計(jì)。驗(yàn)證結(jié)果：圖片1：經(jīng)過(guò)圖像分析和網(wǎng)上相關(guān)資料比對(duì)，確認(rèn)該圖片真實(shí)，未發(fā)現(xiàn)編輯痕跡或不符事實(shí)的內(nèi)容。圖片2：圖片與描述一致，顯示了觀(guān)眾試駕新型電動(dòng)車(chē)的場(chǎng)景，未發(fā)現(xiàn)虛假信息。改進(jìn)建議：兩張圖片均為真實(shí)可靠，無(wú)需修改。3.視頻真實(shí)性驗(yàn)證視頻描述：視頻1：李明在發(fā)布會(huì)上詳細(xì)介紹新型電動(dòng)車(chē)的設(shè)計(jì)和技術(shù)優(yōu)勢(shì)。視頻2：觀(guān)眾在現(xiàn)場(chǎng)試駕體驗(yàn)電動(dòng)車(chē)的自動(dòng)駕駛功能。驗(yàn)證結(jié)果：視頻1：通過(guò)視頻內(nèi)容與發(fā)布會(huì)現(xiàn)場(chǎng)記錄對(duì)比，確認(rèn)視頻中的人物和場(chǎng)景均真實(shí)，內(nèi)容無(wú)誤。視頻2：視頻中觀(guān)眾試駕體驗(yàn)電動(dòng)車(chē)的場(chǎng)景與實(shí)際發(fā)布會(huì)記錄一致，未發(fā)現(xiàn)虛假信息。改進(jìn)建議：兩段視頻均為真實(shí)可靠，無(wú)需修改。4.多模態(tài)內(nèi)容一致性和連貫性檢查一致性和連貫性評(píng)估：文本與圖片：文本描述的發(fā)布會(huì)場(chǎng)景和電動(dòng)車(chē)功能與圖片內(nèi)容一致，顯示了李明介紹新型電動(dòng)車(chē)以及觀(guān)眾試駕的場(chǎng)景。文本與視頻：文本描述的發(fā)布會(huì)內(nèi)容和電動(dòng)車(chē)功能與視頻內(nèi)容一致，視頻展示了李明的演講和觀(guān)眾的試駕過(guò)程。圖片與視頻：圖片和視頻內(nèi)容一致，均展示了發(fā)布會(huì)現(xiàn)場(chǎng)的真實(shí)場(chǎng)景，且相互補(bǔ)充，增強(qiáng)了報(bào)道的連貫性和真實(shí)性。改進(jìn)建議：多模態(tài)內(nèi)容之間具有良好的一致性和連貫性，無(wú)需修改。A.4.2多模態(tài)新聞視頻再創(chuàng)作指令：請(qǐng)根據(jù)以下新聞視頻進(jìn)行再創(chuàng)作，包括剪輯、配音、特效添加等處理，并對(duì)視頻結(jié)構(gòu)和敘事方式進(jìn)行重新設(shè)計(jì)。要求再創(chuàng)作后的視頻更具吸引力和觀(guān)賞性，包含經(jīng)過(guò)剪輯處理的新聞內(nèi)容、新增的配音和特效效果，以及重新設(shè)計(jì)的視頻結(jié)構(gòu)和敘事方式。新聞主題：新型電動(dòng)車(chē)發(fā)布原始視頻描述：2024年8月10日，某某汽車(chē)公司在某某市發(fā)布了一款新型電動(dòng)車(chē)。這款電動(dòng)車(chē)采用了最新的電池技術(shù)，續(xù)航里程達(dá)到600公里。發(fā)布會(huì)上，公司CEO李明詳細(xì)介紹了這款電動(dòng)車(chē)的創(chuàng)新設(shè)計(jì)和技術(shù)優(yōu)勢(shì)，并展示了車(chē)輛的自動(dòng)駕駛功能?，F(xiàn)場(chǎng)演示環(huán)節(jié)中，觀(guān)眾可親自試駕體驗(yàn)這款電動(dòng)車(chē)的各項(xiàng)功能。請(qǐng)生成多模態(tài)新聞視頻再創(chuàng)作結(jié)果，包括剪輯處理的新聞內(nèi)容、新增的配音和特效效果，以及重新設(shè)計(jì)的視頻結(jié)構(gòu)和敘事方式。T/CAPT013—2024生成結(jié)果：1.視頻結(jié)構(gòu)和敘事方式原始視頻結(jié)構(gòu)：開(kāi)場(chǎng)：公司CEO李明介紹新型電動(dòng)車(chē)中間部分：展示電動(dòng)車(chē)的技術(shù)優(yōu)勢(shì)和創(chuàng)新設(shè)計(jì)結(jié)尾：現(xiàn)場(chǎng)演示環(huán)節(jié)，觀(guān)眾試駕體驗(yàn)再創(chuàng)作視頻結(jié)構(gòu)：開(kāi)場(chǎng)：快速引入新型電動(dòng)車(chē)的發(fā)布，配以動(dòng)感的音樂(lè)和吸引眼球的特效標(biāo)題。第一部分：CEO李明簡(jiǎn)要介紹新車(chē)亮點(diǎn)，配以關(guān)鍵技術(shù)細(xì)節(jié)的圖形動(dòng)畫(huà)。第二部分：深度展示電動(dòng)車(chē)的核心技術(shù)，如電池續(xù)航和自動(dòng)駕駛功能，添加技術(shù)演示的視覺(jué)特效。第三部分：觀(guān)眾試駕體驗(yàn)，包含真實(shí)反饋的采訪(fǎng)片段，增加配音解說(shuō)和背景音樂(lè)。結(jié)尾：總結(jié)電動(dòng)車(chē)的市場(chǎng)前景和未來(lái)發(fā)展，配以激勵(lì)人心的音樂(lè)和畫(huà)面。2.剪輯處理的新聞內(nèi)容開(kāi)場(chǎng)剪輯：原始片段：公司CEO李明上臺(tái)介紹電動(dòng)車(chē)。剪輯片段：使用快速切換的鏡頭展示發(fā)布會(huì)現(xiàn)場(chǎng)，并加上特效標(biāo)題“新型電動(dòng)車(chē)發(fā)布”。技術(shù)展示剪輯：原始片段：李明詳細(xì)介紹技術(shù)細(xì)節(jié)。剪輯片段：將長(zhǎng)篇介紹剪輯成多個(gè)短片段，并插入技術(shù)演示的圖形動(dòng)畫(huà)，使信息更易理解。試駕體驗(yàn)剪輯：原始片段：觀(guān)眾試駕電動(dòng)車(chē)。剪輯片段：剪輯出觀(guān)眾試駕的精彩片段，配以動(dòng)