AI生成內(nèi)容產(chǎn)業(yè)展望報告

AIGC，AI-GeneratedContentAIGC/AI生成內(nèi)容Industryinsightreport產(chǎn)業(yè)展望報告?在價值上，AIGC除了直接生成藝術(shù)作品還能做什么？?在未來，AIGC將如何改變內(nèi)容及相關(guān)產(chǎn)業(yè)？?......量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC技術(shù)及場景篇01技術(shù)定義02文本生成05音頻及文字—音頻生成06圖像生成09視頻生成11圖像、視頻、文本間跨模態(tài)生成15策略生成15GameAI17虛擬人生成產(chǎn)業(yè)篇20價值分析21細(xì)分賽道分析21內(nèi)容領(lǐng)域24延展領(lǐng)域26行業(yè)發(fā)展階段分析29產(chǎn)業(yè)鏈分析29玩家分析量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC關(guān)鍵結(jié)論1.區(qū)別于GenerativeAI和Syntheticmedia，AIGC中的跨模態(tài)生成和策略/線索生成應(yīng)當(dāng)?shù)玫街匾暎@兩者也是AIGC長期的重要價值增長點。2.按照模態(tài)區(qū)分，AIGC可分為音頻生成、文本生成、圖像生成、視頻生成及圖像、視頻、文本間的跨模態(tài)生成，細(xì)分場景眾多，跨模態(tài)生成需要重點關(guān)注。GameAI和虛擬人生成是目前變現(xiàn)較為明確的兩大綜合賽道，預(yù)計對原行業(yè)產(chǎn)生整體性影響。3.以下技術(shù)要素值得關(guān)注：長/開放式文本生成、NeRF模型、Diffusion模型、跨模態(tài)大型預(yù)訓(xùn)練模型、小樣本學(xué)習(xí)及自監(jiān)督算法、強化學(xué)習(xí)及環(huán)境學(xué)習(xí)。以下技術(shù)場景值得關(guān)注：閑聊式文本生成、個性化營銷文本、富情感及細(xì)節(jié)TTS、拼湊式視頻生成、基于文本的AI繪畫、語音復(fù)刻。5.除降本增效、提供參考外，AIGC的以下兩點價值更值得關(guān)注：對不同模態(tài)元素進行二次拆解組合，改變內(nèi)容生產(chǎn)邏輯及形式；和其他AI系統(tǒng)或數(shù)據(jù)庫進行聯(lián)動，有實現(xiàn)高度個性化/高頻優(yōu)化。6.我國AIGC行業(yè)仍處于剛剛起步階段，距離大規(guī)模驗證和體系化發(fā)展仍有距離，“模塊分拆+個性化推薦”的“泛AIGC”形式預(yù)計將有所發(fā)展。AIGC相關(guān)技術(shù)場景及成熟度分類AIGC相關(guān)業(yè)務(wù)場景分析我國AIGC行業(yè)階段劃分我國AIGC產(chǎn)業(yè)鏈劃分感謝以下機構(gòu)及個人參加深度訪談：倒映有聲、Deepmusic、高林教授、黃民烈教授、rctAI、騰訊AILab、小冰公司量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC技術(shù)及場景篇AIGC全稱為AI-GeneratedContent，指基于生成對抗網(wǎng)絡(luò)GAN、大型預(yù)訓(xùn)練模型等人工智能技術(shù)，通過已有數(shù)據(jù)尋找規(guī)律，并通過適當(dāng)?shù)姆夯芰ι上嚓P(guān)內(nèi)容的技術(shù)。與之相類似的概念還Gartner也提出了相似概念GenerativeAI，也即生成式AI。生成式AI是指該技術(shù)從現(xiàn)有數(shù)據(jù)中生成相似的原始數(shù)據(jù)。GartnerGartner《2021年預(yù)測：人工智能對人類和社會的影響》給出積極預(yù)測：?至2023年將有20%的內(nèi)容被生成式AI所創(chuàng)建?至2025年，Gartner預(yù)計生成式AI產(chǎn)生的數(shù)據(jù)將占所有數(shù)據(jù)的10%，而今天這個比例不到1%?根據(jù)Gartner披露的“人工智能技術(shù)成熟度曲線”，生成式AI仍處于萌芽期，但其廣闊的應(yīng)用場景和巨大需求空間吸引著大量資本和技術(shù)的投入，預(yù)計將在2-5年內(nèi)實現(xiàn)規(guī)?；瘧?yīng)用一方面，這一概念忽略了跨模態(tài)生成（如基于文本生成圖像或基于文本生成視頻）這一愈加重要的AIGC部分。我們成”和“內(nèi)容”都應(yīng)該采取更為廣泛的概念。例內(nèi)在邏輯內(nèi)容。從特定角度來看，AI內(nèi)容生成意味著AI開始在現(xiàn)實內(nèi)容中承擔(dān)新的角色，從“觀察、預(yù)測”泛服務(wù)于各類內(nèi)容的相關(guān)場景及生產(chǎn)者。因此，我們不會將其定義為PGC\UGC之后的新內(nèi)容創(chuàng)作模式，而是認(rèn)為其在商業(yè)模式上會有大量其他交叉。我們會在價值篇對其商業(yè)1.2技術(shù)及落地場景介紹——基于模態(tài)我們認(rèn)為，目前AIGC生成正在完成從簡單的降本增效（以生創(chuàng)作素材為代表）轉(zhuǎn)移，跨模態(tài)/多模態(tài)內(nèi)容成為關(guān)鍵的發(fā)展節(jié)點。技術(shù)視角下，我們認(rèn)為以下場景將成為未來發(fā)展的重點：文本-圖像-視頻的跨模態(tài)生成、2D結(jié)合生成。后文將對以上技術(shù)場景的技術(shù)原理、現(xiàn)有進展、關(guān)鍵瓶頸等進商業(yè)視角下我們認(rèn)為，未來3年內(nèi)，虛擬人生成和游戲AI這兩種綜合性的AIGC場景將趨于商業(yè)化成熟。綠色部分，是我們認(rèn)為2-3年內(nèi)具有快速增長潛力的細(xì)分賽道。具體原因我們將在對應(yīng)位置進行具體展開。2量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC底層技術(shù)原理基本明確，預(yù)計1-2年內(nèi)將規(guī)?；瘧?yīng)用以結(jié)構(gòu)性新聞撰寫、內(nèi)容續(xù)寫、詩詞創(chuàng)作等細(xì)分功能為代表，基于NLP技術(shù)的文本生成可以算作是AIG量子位智庫在此看好個性化文本生成以及實時文字生成交互。一方面，2020年，1750億參數(shù)的GPT-3在問答、摘要、翻譯、續(xù)寫等語言類任務(wù)上均展現(xiàn)出了證明了“大力出奇跡”在語言類模型上的可行性。自此之后，海量內(nèi)清華大學(xué)、智源研究院、達摩院、華為、北京大學(xué)、于Writesonic、Conversion.ai、SnazzyAI、Copysmith、Copy.ai、Headlime等文本寫作/編輯工具中。3量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC另一方面，以Transformer架構(gòu)為重要代表，相關(guān)的底層架構(gòu)仍在不斷精進。研究者們正通過增加K-adapter、優(yōu)化Transformer架構(gòu)、合理引入知識圖譜及知識庫、增加特定任務(wù)對應(yīng)Embedding等方式，增加文本對于上下文的理解與承接能力、對常識性知識的嵌入能力、中長篇幅生成能力、生成內(nèi)容的內(nèi)在邏輯性等。通過隨機Mask（即遮擋）數(shù)據(jù)庫文本中的詞語或語段，讓神經(jīng)網(wǎng)絡(luò)自主學(xué)習(xí)復(fù)原被遮擋部分，從而擁有“猜測”缺失內(nèi)容的能力，產(chǎn)出預(yù)訓(xùn)練模型。再通過大規(guī)模預(yù)訓(xùn)練模型理解上文或給定條件，從概率層面推測最符合要求的摘要/標(biāo)題生成以TLDR為重要代表首先通過詞嵌入(WordEmbedding)將字、詞、句進行區(qū)分，然后基于特征評分、序列其次選擇相應(yīng)的文本單元子集組成摘要候選集，完成內(nèi)容選擇；最后是針對字?jǐn)?shù)要求等限定條件，對候選集的內(nèi)容進行整理形成其細(xì)分路徑又包含生成式文本摘要（AATS即形成抽象認(rèn)知并創(chuàng)造新詞靈活概括，和抽取式文本摘要（EATS即直接抽取原始素材并拼顯式方法首先尋找并刪除代表文風(fēng)的短語，其次檢索與目標(biāo)文風(fēng)最匹配的相似短語，最后生成目標(biāo)語句并保證語要實現(xiàn)多種風(fēng)格的轉(zhuǎn)化，典型方法有在通用語料庫上預(yù)訓(xùn)練基于Transformer的語言模型來初始化編碼器-解碼器，然后以多種風(fēng)格語言模型作對話式&結(jié)構(gòu)性文本生成對話式文本生成適用于智能客服等任務(wù)型和閑聊型機器人等非任務(wù)型人機交互場景，可分類為管道模式及管道模式即將對話拆分成四個主要模塊（自然語言理解、歷史狀態(tài)追蹤、對話策略選擇、自然語言生成）并分端對端模式將對話過程轉(zhuǎn)化為歷史對話信息到系統(tǒng)回復(fù)的映射問題，利用一個Seq2Seq框架構(gòu)建整個對話系統(tǒng)，并利用強化學(xué)習(xí)擺脫大量標(biāo)注結(jié)構(gòu)性的文本生成，首先通過注意力機制、多層感其次通過Transformer等模式結(jié)合上下文進行推導(dǎo)，控制句法及文本連貫性，將語義與句法統(tǒng)一分析，最后采用Seq2Seq等模式，以BiLSTM?應(yīng)用型文本生成應(yīng)用型文本大多為結(jié)構(gòu)化寫作，以客服類的聊天問答、新聞撰寫等為核心場景。2015年發(fā)展至今，商業(yè)4量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC公司財報、重大災(zāi)害等簡訊寫作。據(jù)分析師評價，由AI完成的新聞初稿已經(jīng)接近人類記者在30分鐘內(nèi)完成的報道水準(zhǔn)。NarrativeScience創(chuàng)始人甚至曾預(yù)測，到2030年，90%以上的新聞將由機器人完成。在結(jié)構(gòu)化寫作場景下，代表性垂直公司包括AutomatedInsights（美聯(lián)社Wordsmith）、NarrativeScience、textengine.io、AXSemantics、Yseop、Arria、Retresco、Viable、瀾舟科技等。同時也是小冰公司、騰訊、百度等綜合性覆蓋AIGC領(lǐng)域公司的重點布局領(lǐng)域。?創(chuàng)作型文本生成創(chuàng)作型文本主要適用于劇情續(xù)寫、營銷文本等細(xì)分場我們使用了市面上的小說續(xù)寫、文章生成等AIGC工具。發(fā)現(xiàn)長篇幅文字的內(nèi)部邏輯仍然存在較明顯的問題、且生議論文寫作、公文寫作等等具有重要意義。未來四到五年，可能會出情感和語言表達藝術(shù)。我們認(rèn)為，短期內(nèi)創(chuàng)作型文本更適合在特定的賽道下，基則進行場景落地。在創(chuàng)作型文本領(lǐng)域，代表性的國內(nèi)外公司包括Anyword、Phrasee、Persado、Pencil、Copy.ai、Friday.ai、Retresco、Writesonic、Conversion.ai、SnazzyAI、Rasa.io、LongShot.AI、彩云小夢這部分的國內(nèi)代表產(chǎn)品包括寫作貓、Gilso寫作機器人、Get寫作、寫作狐、沃沃AI人工智能寫作。長期來看，我們認(rèn)為閑聊型文本交互將會成為重要潛在場景，例如虛擬伴侶、游戲中的NPC個性化交互等。2022年夏季上線的社交AIGC敘事平臺HiddenDoor以及基于GPT-3開發(fā)的文本探索類游戲AIdungeon均已獲得了不錯的消費者反饋。隨著線上社交逐漸成為了一種常態(tài)，社交重點向轉(zhuǎn)移AI具有其合dungeon的Latitude.io等。AI圍繞認(rèn)知、情緒和行為三個維度對進行評估和干預(yù)。以多模態(tài)對話系已與北醫(yī)六院、湘雅二院、中日友好醫(yī)院、清華大學(xué)玉泉醫(yī)院等達成5量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC低音樂版權(quán)的采購成本。我們目前最為看好的場景是自動生成實時配樂、語音克隆以及心理安撫等功能性音?TTS（Text-to-speech）場景TTS在AIGC領(lǐng)域下已相當(dāng)成熟，廣泛應(yīng)用于客服及硬件機器人、有聲讀物制作、語音播報等任務(wù)。例如倒映有聲與音頻客戶端“云聽”APP合作打造AI新聞主播，提供音頻內(nèi)容服務(wù)的一站式解決方案，以及喜馬拉雅運用TTS技術(shù)重現(xiàn)單田芳聲音版本的《毛氏三兄弟》和歷史類作品。這種場景為文字內(nèi)容的有聲化提以及基于用戶較少的個性化數(shù)據(jù)得到整體的復(fù)制能力（如小樣本遷移學(xué)習(xí)）?；谏疃葘W(xué)習(xí)的端到在逐步替代傳統(tǒng)的拼接及參數(shù)法，代表模型包括WaveNet、DeepVoice及Tacotron等。目前的垂直代表公司包括倒映有聲、科大訊飛、思必馳（DUI）、Readspeaker、DeepZen和Sonantic。括不同方言和音色的AI智能配音主播。代表公司有九錘配音、加音、XAudioPro、剪映等。在TTS領(lǐng)域，語音克隆值得特別關(guān)注。語音克隆是本質(zhì)上屬于指定了目標(biāo)語音（如特定發(fā)言代表公司包括標(biāo)貝科技、Modulate、overdub、replika、ReplicaStudios、Lovo、Voicemod、ResembleAi、Respeecher、DeepZen、Sonantic、VoiceID、Descript。AIGC在詞曲創(chuàng)作中的功能可被逐步拆解為作詞（NLP中的文本創(chuàng)作/續(xù)寫）、作曲、編曲、人聲錄制和整體混音。目前而言，AIGC已經(jīng)支持基于開頭旋律、圖片、文字描述、音樂類型、情緒類型等生成特定樂曲。其中，AI作曲可以簡單理解為“以語言模型（目前以Transformer為代表，如谷歌Megenta、OpenAIJukebox、AIVA等）為中介，對音樂數(shù)據(jù)進行雙向轉(zhuǎn)化（通過MIDI等轉(zhuǎn)化路徑）”。此方面代表性的模型包括MelodyRNN、MusicTransformer。據(jù)Deepmusic介紹，為提升整體效率，在這一過程中，由于相關(guān)數(shù)據(jù)巨大，往往需要對段落、調(diào)性等高維度的樂理知識進6量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC通過這一功能，創(chuàng)作者即可得到AI創(chuàng)作的純音樂或樂曲中的主旋律。2021年末，貝多芬管弦樂團在波恩首該場景下的代表企業(yè)包括Deepmusic、網(wǎng)易-有靈智能創(chuàng)作平臺、AmperMusic、AIVA、Landr、IBMWatsonMusic、Magenta、Loudly、Brain.FM、Splash、Flowmachines。其中，自動編曲功能已在國內(nèi)主流音樂平臺上線，并成為相關(guān)大廠的重點關(guān)注領(lǐng)域。以專業(yè)人員基于樂理進行相關(guān)調(diào)整潤色。以Deepmusic為例，音樂標(biāo)注團隊一直專注在存量歌曲的音代表公司代表公司：Deepmusic公司致力于運用AI技術(shù)從作詞、作曲、編曲、演唱、混音的LYRICA、AI作曲軟件LAZYCOMPOSER。目前已與國內(nèi)多家音樂平臺廠商達成合作。由于可以指定曲目風(fēng)格、情緒、樂器等，AIGC音樂生成對于影視劇、游戲等多樣化、乃至實時的背景音樂生成GAN指GenerativeAdversarialNets，生成式對抗網(wǎng)絡(luò)，由生成器和判別器兩部分組成，生成器將抓取數(shù)據(jù)、量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC相較于2014年初現(xiàn)期，現(xiàn)有的GAN在神經(jīng)網(wǎng)絡(luò)架構(gòu)、損失函數(shù)設(shè)計、模型訓(xùn)練穩(wěn)定性、模型崩潰問題上取得了相GANGAN領(lǐng)域仍待解決的問題及創(chuàng)新思路GAN模型的相互博弈過程容易造成訓(xùn)練不穩(wěn)定，使得訓(xùn)練難以收斂。近期突破思路有RelativisticGAN。有別于傳統(tǒng)GAN測量生成樣本是否為真的概率這一做法，RelativisticGAN將關(guān)注點放在測量生成樣本比真實樣本“更真”的概率，這一嘗試使得GAN獲得了更好的收斂性。?緩解GAN的模式坍塌modelcollapse，即生成樣本大量重復(fù)相似模式坍塌被認(rèn)為是應(yīng)用GAN進行圖像生成時最難解決的問題之一，它會造成訓(xùn)練結(jié)果冗余、生成圖像質(zhì)量差、樣本單一等問題。近期突破性思路有包含兩個判別網(wǎng)絡(luò)的D2GAN。?GAN的結(jié)構(gòu)改善將GAN與機器學(xué)習(xí)中最新的理論成果進行交叉訓(xùn)練，引入遷移學(xué)習(xí)、強化學(xué)習(xí)等，使GAN與計算機圖形學(xué)等技術(shù)更好地融合，推動明顯結(jié)構(gòu)的改善，有望成為下一步的研究熱點。目前圖像生成技術(shù)想要落地，勢必要根據(jù)需求調(diào)整模型的大小，結(jié)合基于“知識蒸餾”的模型壓縮方法，進行匹配需求的優(yōu)化和壓縮，從而內(nèi)嵌入小型軟件中，拓寬應(yīng)用領(lǐng)域同樣為當(dāng)前的研究熱點。擴散模型DiffusionModel—新一代圖像生2022年，Diffusionmodel成為圖像生成領(lǐng)域的重要發(fā)現(xiàn)，甚至有超越GAN的勢頭。盡管大多通過Imagen、DALL·E2等項目知名，但Diffusion本身服務(wù)于圖像生成。我們將在此對Diffusionmodel進行介紹。何逆轉(zhuǎn)這種噪聲過程以恢復(fù)原始圖像。一旦Diffusion模型原理Diffusion模型與其他圖像生成模型對比相較于其他的圖像生成模型（比如GAN、VAE和基于流的模型在所需數(shù)據(jù)更少的背景下，DiffusionModel的圖像生成效果有明顯提升。我們將在跨模態(tài)部分對基于Diffusionmodel的知名模型，如GuideDiffusion、DiscoDiffusion、DALL·E2等進行具體介紹。神經(jīng)輻射場模型NeRF—符合3D內(nèi)容消費趨勢的新一代模型NeRF通過將場景表示為隱式的神經(jīng)輻射場，渲染時通過神經(jīng)網(wǎng)絡(luò)查詢位來說，NeRF利用深度學(xué)習(xí)完成了計算機圖形學(xué)中的3D渲染任務(wù)。此前，2D到3D生成的領(lǐng)域也包含GAN方面的嘗試，比如英偉達20-21年推出的GANverse3D能夠生成可自定而NerF在很大程度上克服了這一問題。78量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGCNeRFNeRF模型基本原理?將場景的體積表示優(yōu)化為向量函數(shù)，該函數(shù)由位置和視圖方向組成的連續(xù)5D坐標(biāo)定義。具體而言，是沿相機射線采樣5D坐標(biāo)，來合成圖像?將場景表示參數(shù)化為一個完全連接深度網(wǎng)絡(luò)（MLP），該網(wǎng)絡(luò)將通過5D坐標(biāo)信息，輸出對應(yīng)的顏色和體積密度值?通過體積渲染技術(shù)將這些值合成為RGB圖像?基于可微分的渲染函數(shù)，通過最小化合成圖像和真實圖像之間的殘差，優(yōu)化場景表示隨著元宇宙等概念、深度相機等相關(guān)基礎(chǔ)設(shè)施、VR眼鏡等消費渠道的發(fā)展，3D內(nèi)容生成將成必經(jīng)之路，可以預(yù)見，通過降低對創(chuàng)作者3D建模能力和渲染能力的要求，NeRF對于虛擬人創(chuàng)建、3D訓(xùn)練構(gòu)建、增強現(xiàn)實、線上游戲及電影特效等都具有重要意義。自NeRF在ECCV2020提出后，NeRF模型也持續(xù)在生成范圍、生成效果、乃至于所需基礎(chǔ)數(shù)據(jù)上進行改進。例如包含光影變化效果（谷歌團隊聯(lián)合MIT、UC伯克利發(fā)布的NeRV）、動態(tài)NeRF（HyperNeRF和ST-NeRF接近實時生成（英偉達的Instant-NGP和InstantNeRF全場景NeRF（谷歌，mip-NeRF360，對合成3D圖像的視角和深度有了大幅提升?？梢凿秩就暾?D物體及場景，并支持在看）、單張生成模型（2022年谷歌PHORHUM，甚至能夠重現(xiàn)不可視區(qū)域；蘇黎世聯(lián)邦理工Pix2NeRF）、可量子位智庫認(rèn)為，其中的關(guān)鍵節(jié)點是能夠基于單張圖像生成3d模型，這預(yù)示著3D建模效率的明顯提升?；趩螐垐D像生成3D模型PHONUMPix2NeRF盡管NeRF在3D內(nèi)容生成領(lǐng)域受到了廣泛關(guān)注，但具有創(chuàng)新架構(gòu)設(shè)計的3DGAN依舊在問題。而英偉達與斯坦福大學(xué)推出的結(jié)合了顯基于對不同技術(shù)原理的梳理，我們將圖像生成領(lǐng)域的技術(shù)場景劃分為圖像屬性編輯、到端的圖像生成。其中，前兩者的落地場景為圖像編輯工具，而端到端的圖像生成則對應(yīng)創(chuàng)意圖像及功能性圖像生成兩大落地場景。屬性編輯部分，可以直觀的將其理解為經(jīng)AI降低門檻的Phot置濾鏡（如Prisma、Versa、Vinci和Deepart）、修改顏色紋理（如DeepAI）、復(fù)刻/修改圖像風(fēng)格（DALL·E2已經(jīng)可以僅憑借單張圖像進行風(fēng)格復(fù)刻、NightCafe等）、提升分辨率等已經(jīng)常見。關(guān)于此類場景，初創(chuàng)公司數(shù)量龐大，Adobe等相關(guān)業(yè)務(wù)公司（AdobeSensai）也在進入這一領(lǐng)域。我們認(rèn)為9量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC此類業(yè)務(wù)而言，引流渠道和與技術(shù)流程掛鉤的產(chǎn)品臺）、Radius5、Photokit、Imglarger、Hotpot、Remove.bg、Skylum（MaskAI）、Photodiva。圖像部分編輯部分，指部分更改圖像部分構(gòu)成（如英偉達CycleGAN支持將圖內(nèi)的斑馬和馬進行更改）、修改面部特征（Metaphysics，可調(diào)節(jié)自身照片的情緒、年齡、微笑等；以Deepfake為代表的圖像換臉）。圖像。2019年，曾宣傳能夠直接生成完整模特圖的日本公司DataGrid目前已無動向。但同時，也出現(xiàn)了由局部生成拼接為完整圖像的生成思路。典型代表為選入CVPR2022的InsetGAN，該模型由Adobe推出。通過組合多個局部預(yù)訓(xùn)練模型生成完整圖像的InsetGAN該模型由兩類GAN組成，全身GAN（Full-BodyGAN），基于中等質(zhì)量的數(shù)據(jù)進行訓(xùn)練并生成一個人體和部分GAN，其中包含了多個針對臉部、手、腳等特定部位進行訓(xùn)練的GAN。該模型會通過檢測部分GAN生成的特定區(qū)域在底層畫布，也就是全身GAN生成的區(qū)域中的位置，經(jīng)過裁剪后再將特定區(qū)域嵌入。同時，細(xì)粒度、分區(qū)域的圖像編輯能力也較為關(guān)鍵，代表為英偉達的Edi到EditGAN的潛空間，借助語義分割圖的相同潛碼，將原圖x分割成高度精細(xì)的語義塊（segmentationmaskEditGAN，支持對圖像進行細(xì)節(jié)修改此處則主要指基于草圖生成完整圖像（VansPortrait、谷歌Chimerapainter可畫出怪物、英偉達GauGAN可畫出風(fēng)景、基于草圖生成人臉的DeepFaceDrawing）、有機組合多張圖像生成新圖像（Artbreeder）、根據(jù)指定屬性生成目標(biāo)圖像（如Rosebud.ai支持生成虛擬的模特面部）等。該部分包含兩類場景，分別為創(chuàng)意圖像生成與功能性圖像生成。前者大報/界面、logo、模特圖、用戶頭像為主。垂直代表公司/產(chǎn)品包括DeepdreamGenerator、Rosebud.ai、AIGahaku、artbreeder、nightcafe、starryai、wombo、deepart、obvious、阿里鹿班、ZMO.ai、Datagrid、詩云科技、道子智能繪畫系統(tǒng)等。價，人臉生成的應(yīng)用將預(yù)計有更快的發(fā)展。從VAQ、VAE等技術(shù)選型開始，人臉生成量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC量子位智庫認(rèn)為，視頻生成將成為近期跨模態(tài)生成領(lǐng)域的中高潛力場景。其背后邏輯是不同技術(shù)帶來的主流內(nèi)容形式的變化。本部分主要包括視頻屬性編輯、視頻自動剪輯?視頻屬性編輯代表公司包括RunwayML、Wisecut、AdobeSensei、Kaleido、帝視科技、CCTVAIGC、影譜科技、Versa（不咕剪輯）、美圖影像研究院等。?視頻自動剪輯檢測并合成。目前還主要在技術(shù)嘗試階段。典型案例包括Adobe與斯坦福共Watson自動剪輯電影預(yù)告片、以及FlowMachine。我國的影譜科技推出了?視頻部分生成（以Deepfake為典型代表）成人臉替換、人臉再現(xiàn)（人物表情或面部特征的改變）、人臉合成（構(gòu)建全新人物）甚至全身合成在我們看來，該場景的底層商業(yè)邏輯與虛擬偶像類似。本質(zhì)上是以真人的肖像權(quán)作為演員，實際表演者承擔(dān)“中之人”Synthesia為SnoopDogg制作的廣告，通過使用deepfake改變其嘴部動作，就能夠?qū)⒃紡V告匹配到另一品牌。量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC除了deepfake之外，我們還觀察到了在視頻能力稱為多模態(tài)學(xué)習(xí)MML（Multi-modalLear為跨模態(tài)理解（例如通過結(jié)合街景和汽車的聲音判斷交通潛在危險、結(jié)合說話人的唇形和語音判定其說話內(nèi)容）和跨模態(tài)生成（例如在參考其他圖畫的基礎(chǔ)上命題作畫；觸景生情并創(chuàng)作詩歌等）。?轉(zhuǎn)化—模態(tài)間信息翻譯Transformer架構(gòu)的跨界應(yīng)用成為跨模態(tài)學(xué)習(xí)的重要開端之一。Transformer架構(gòu)的核心是Self-Attention機制，該機制使得Transformer能夠有效提取長序列特征，相較于序列相匹配，形成Transformer架構(gòu)擅長處理的一維長序列，對Transformer的內(nèi)部技術(shù)架構(gòu)相符合。與此同時，Transformer架構(gòu)還具有更高的計算效率和可擴展性，為訓(xùn)練大型跨模態(tài)模型奠定了基礎(chǔ)。VisionTransformer將Transformer架構(gòu)首次應(yīng)用于圖像領(lǐng)域。該模型在特定大規(guī)模數(shù)據(jù)集上的訓(xùn)練成果超出了ResNet。隨后，谷歌的VideoBERT嘗試了將Transformer拓展到“視頻-文本”領(lǐng)域。該模型能夠完成看圖猜詞和為視頻生成字幕兩項功能，首次驗證了Transformer+預(yù)訓(xùn)練在多模態(tài)融合上的技術(shù)可行性?；赥ransformer的多模態(tài)模型開始受到關(guān)注，ViLBERT、LXMERT、UNITER、Oscar等紛紛出現(xiàn)。CLIP模型的出現(xiàn)，成為跨模態(tài)生成應(yīng)用的一個重要節(jié)點。CLIP，ContrastiveLanguage–ImagePre-training，由OpenAI在2021年提出，圖像編碼器和文本編碼器以自CLIP出現(xiàn)后，“CLIP+其他模型”在跨模態(tài)生成領(lǐng)域成為一種較為通用的做法。以DiscoDiffusion為例，該模型將CLIP模型和用于生成圖像的Diffusion模型進行了關(guān)聯(lián)。CLIP模型將持續(xù)計算Diffusion模型隨機生成噪聲與文量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC除去圖像領(lǐng)域，CLIP后續(xù)還在視頻、音頻、3D模型等領(lǐng)域扮演了關(guān)聯(lián)不同模態(tài)的角色。例如入選CVPR2022，基于文本生成3D圖像的Dreamfields（類似工作還包括CLIP-Forge）。不過目前，已經(jīng)出現(xiàn)了在所需數(shù)據(jù)量和算力上表現(xiàn)更為優(yōu)秀的匹配模型。例如南加州大學(xué)的TONICS。CLIP架構(gòu)原理圖基于CLIP生成的3D構(gòu)圖基于CLIP構(gòu)建“音頻—圖像”的Wav2CLIP在此基礎(chǔ)上，大型預(yù)訓(xùn)練模型的發(fā)展重點開始向橫跨文本、圖像、語音、視頻的全模態(tài)通用模型發(fā)展。通過計算策略、數(shù)據(jù)調(diào)用策略、深度學(xué)習(xí)框架等方法提升模型效果數(shù)據(jù)同樣值得關(guān)注。例如，MultiBench提供了包括10個模態(tài)的數(shù)據(jù)集，PanoAVQA提供了360度視頻數(shù)據(jù)，X-跨模態(tài)大型預(yù)訓(xùn)練模型的代表包括：開啟了跨模態(tài)預(yù)訓(xùn)練模型的OpenAIDALL·E及CLIP、NVIDIAGauGAN2、微軟及北大NUWA女媧、NVIDIAPoEGAN、DeepMind的Gato、百度ERNIE-ViLG、Facebook及Meta的AV-HuBERT（基于語音和唇語輸出文本）及Data2vec（橫跨CV、NLP和語音）、中科院“紫東太初”、哥大及Facebook開發(fā)的VX2Text（基于視頻、音頻等輸出文本）。英偉達PoE-GAN可以接受多種模態(tài)的輸入，文字描述、圖像分割、草圖、風(fēng)格都可以轉(zhuǎn)化為圖片。同時支持多種模態(tài)的兩兩組合DeepMindGato支持玩游戲、給圖片輸出字幕、聊天等。能夠?qū)V\NLP\RL映射到同一空間中同時支持圖像、文本、視頻三種模態(tài)。該模型可以預(yù)測后續(xù)的視頻幀或填充圖像。例如在給定草圖和文本下創(chuàng)作制定視頻集圖片量子位智庫認(rèn)為，多模態(tài)能力的提升將成為A真正I實現(xiàn)認(rèn)知智能和決策智能的關(guān)鍵轉(zhuǎn)折點。在未來1-2年，“文也已經(jīng)開始嘗試。2021年，OpenAI的CLIP和DALLE開啟了AI繪畫重要的一年。同年，CVPR2021收錄的VQGAN也引發(fā)了廣泛量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC2022年被稱為“AI繪畫“之年，多款模型/軟件證明了基于文字提示得到效果良好的圖畫的可行性，DiffusionModel受到廣泛關(guān)注。首先，OpenAI推出了GLIDE。GLIDE全稱GuidedLanguagetoImageDiffusionforGenerationandEditing，是一種擴散模型，參數(shù)僅35億。支持CLIP引導(dǎo)（經(jīng)訓(xùn)練后的噪聲感知64×64ViT-LCLIP模型）和無畫面，在具象生成和較多的描述語句上效果較差。隨后，DMidjourney。該軟件搭載在Discord上，商業(yè)化萬美金后需要20%分潤）。類似的軟件及公司包括BigSleep、StarryAI、WOMBODream。國內(nèi)相關(guān)軟件則包括Timmat，以及百度文心ERNIE-ViLG、小冰框架、悟道文瀾、阿里M6等跨模態(tài)生成模型。更擅長具象、對文本指令還原度更高的DALL·E2和ImagenAI證實了AI繪畫的實際應(yīng)用價值。但需要注意的是，DALL·E2由OpenAI推出，目前尚未對外開放。整體而言，已經(jīng)具備了相當(dāng)?shù)膶嵱眯?。技術(shù)上是CLIP模型和Diffusion模型的結(jié)合。在這個名為unCLIP的架構(gòu)中，CLIP文本嵌入首先會被喂給自回歸或擴散先驗，以產(chǎn)生一個圖像嵌入。而后，這個嵌入會被用來調(diào)節(jié)擴散編碼器，以生成最終的圖像。相對于第一版DALL·E整體繪畫水平有明顯提升，畫質(zhì)提升為之前的四倍，并支持更細(xì)粒度的文本—圖像生成功能（類似部分P圖），渲染時間從數(shù)小時提升到了不足一分鐘。DALL·E（左）和DALL·E（右）同主題對比文本P圖時會注意倒影等細(xì)節(jié)DALL·E自主生成圖像ImagenAIImagen沒有采取CLIP+圖像模型的常用思路，而是由純語言模型（T5-XXL），由圖像生成模型完成文本到圖像的轉(zhuǎn)換工作。量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC在一定程度上，文本生成視頻可以看作是文本生成圖像的進階版技術(shù)。我們預(yù)估，AI繪畫和A和5年后迎來較為廣泛的規(guī)模應(yīng)用。后逐幀生成完整視頻。而另一方面，視頻生成會面臨拼湊式生成的技術(shù)是指基于文字（涉及NLP語義理解）搜索合適的配圖、音樂等VidPress、慧川智能、Gliacloud、Synths.video、lumen5，2B端代表公司為Pencil。Gliacloud：輸入文本鏈接，自動對其中的標(biāo)題和文字進行區(qū)分表示。自動配素材和文字的出現(xiàn)方式，形成說明式的視頻。能夠增加10倍的視頻產(chǎn)量。Pencil：能夠基于客戶的品牌和資產(chǎn)自動生成副本、視頻并完成相關(guān)廣告創(chuàng)意該領(lǐng)域目前仍處于技術(shù)嘗試階段，所生成視頻的時長、清晰度、邏輯程度等仍有較大的提升空間。以Cogvideo為例，該模型基于預(yù)訓(xùn)練文本-圖像模型CogView2打造，一共分為兩個模塊。第一部分先基于Cog其他相關(guān)預(yù)訓(xùn)練模型還包括NVIDIA推出的GauGAN、微軟亞洲研究院推出的GODIVA、清華及智源VideoGPT、TGAN、GroundTruth等。圖像/視頻到文本METER、ALIGN等。除了在各個模態(tài)之間進行跨越生成之外，量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC生成，同時將多種模態(tài)信息作為特定任務(wù)的輸入，例如同時包括圖像內(nèi)的人物、時間應(yīng)用價值。此類AI模型普遍采用深度強化學(xué)習(xí)技術(shù)（早期曾采用決策樹及GameAI是決策生成目前應(yīng)用最為廣泛和明確的場景。游戲本身為AI提供了最佳的研發(fā)場景，有大量數(shù)據(jù)和貼近實因此，AI的決策生成目前還在GameAI為主體應(yīng)用。據(jù)采訪，預(yù)計策略生成功能大約在2年后可以在其他業(yè)務(wù)場景1.3技術(shù)及落地場景介紹——綜合賽道在這部分，我們選取了GameAI及虛擬人生成這兩個涉及了化發(fā)展最快的AIGC行業(yè)化賽道。GameAI我們將其中的核心生成要素提煉為AIBot、NPC相關(guān)生成和相關(guān)資產(chǎn)生成。騰訊AILab在游戲領(lǐng)域的全棧布局可以將其簡單理解為人工智能玩家，重點在于生成真實對戰(zhàn)策略。2016年DeepmindAlphaGO在圍棋中有所展示，隨后，AI決策在Dota2、StarCraft2、德?lián)?、麻將等游戲領(lǐng)域中均展現(xiàn)出了良好的實力。平衡度等方式服務(wù)于游戲開發(fā)/運營等B端。量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC相關(guān)業(yè)務(wù)場景游戲策劃會根據(jù)具體的游戲內(nèi)容，為角色本身的屬性、技能、狀態(tài)等，以及道具、環(huán)境、貨幣等參數(shù)，設(shè)定一系列的數(shù)值。平衡性測試能夠充分地模擬玩家在某一套數(shù)值體系下的游戲體驗，提出優(yōu)化策略，為玩家?guī)砀悠胶獾亩鄻有杂螒蚪换?。之前需要在測試服上邀請人類玩家試玩1-2個月后才能得到結(jié)果?，F(xiàn)在由AIBot直接在內(nèi)部完成相關(guān)工作即可。游戲跑圖/功能測試通過AIbot針對性的找出游戲中所有交互的可能性，通過發(fā)現(xiàn)潛在漏洞輔助游戲策劃包括平衡匹配、冷啟動、玩家掉線接管等在絕悟中，AI通過模仿職業(yè)選手，掌握他們的典型個人風(fēng)格，玩家則感覺像在與真實的職業(yè)選手對抗在游戲內(nèi)“絕悟試煉”玩法中，在玩家發(fā)出各種指令后，AI會根據(jù)血量、距離等實際情況，評估指令的合理性，選擇執(zhí)行或拒絕，身兼隊友及老師，與玩家在真實對戰(zhàn)環(huán)境中交流協(xié)作，并在過程中向玩家傳授職業(yè)級的策略與操作技術(shù)，幫助玩家迅速熟悉英雄操作與游戲玩法。在引入王者絕悟AI教學(xué)后，玩家單局游戲主動溝通的次數(shù)有明顯提升，提高了PVE玩法的可玩性代表機構(gòu)：騰訊AILab（騰訊“絕悟”）「絕悟」AI通過強化學(xué)習(xí)的方法來模仿真實玩家，包括發(fā)育、運營、協(xié)作等指標(biāo)類別，以及每分鐘手速、技能釋放頻率、命中率、擊殺數(shù)等具體參數(shù)，讓AI更接近正式服玩家真實表現(xiàn)，將測試的總體準(zhǔn)確性提升到95%。目前騰訊絕悟在環(huán)境觀測、圖像信息處理、探索效率等方面的創(chuàng)新算法已經(jīng)突破了可用英雄限制（英雄池數(shù)量從40增為100讓AI完全掌握所有英雄的所有技能并達到職業(yè)電競水平，能應(yīng)對高達10的15次方的英雄組合數(shù)變化?；诮^悟，王者榮耀的數(shù)值平衡性偏差已經(jīng)從1.05%下降到0.68%，其所涉及的“多智能體”決策過程中，可以在高達10的20000次方種操作可能性的復(fù)雜環(huán)境中進行決策。目前，騰訊AILab還與騰訊AILab還與王者榮耀聯(lián)合推出了AI開放研究平臺「開悟」，并積極舉辦相關(guān)賽事。估值已達獨角獸，業(yè)內(nèi)率先實現(xiàn)在3DFPS（游戲的幀數(shù)）領(lǐng)域的大規(guī)模商業(yè)化落地，服務(wù)對象包括數(shù)款千萬級日活的游戲產(chǎn)品。超參數(shù)科技的AI服務(wù)已經(jīng)為數(shù)款年流水超過10億元的游戲產(chǎn)品貢獻了巨大的商業(yè)價值，涵蓋沙盒、開放世界、FPS、MOBA、休閑競技等多個品類。其AIBot支持玩家陪玩、多人團隊競技、非完美信息博弈AI，并提供了自研小游戲《輪到你了》中的虛擬玩家。目前，AIbot已在多款千萬日活的產(chǎn)品中上線，每日在線數(shù)峰值將近百萬。游戲AI平臺“Delta”已具備跨云調(diào)度超過50萬核的計算能力，承載超過50萬個AI并發(fā)在線，每天服務(wù)全球40余個國家的上億玩家、提供數(shù)千億次調(diào)用。?NPC邏輯及劇情生成，也即由AI生成底層邏輯而以rctAI的智能NPC為例，其NPC能夠分析玩家的實時輸入，并動態(tài)地生量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGCRedDeadRedemption2、MonsterHunter:World等大型游戲中。長期來看，NPC的靈活自主將引領(lǐng)其成為代表公司代表公司：rctAIrctAI屬于業(yè)內(nèi)較為少見的可以在邏輯側(cè)進行AI生成開發(fā)的公司，其核心產(chǎn)品包括個性化且動態(tài)的劇情探索、智能NPC/AIMetaBeings/智能環(huán)境，提供真人般的游戲?qū)贵w驗。通過簡單設(shè)計并調(diào)整不同的參數(shù)，rctAI的混沌球（ChaosBox）算法就可以在游戲中大規(guī)模地輕松生成具有智能意識的虛擬角色。他們的行為和對話不會重復(fù)，皆為動態(tài)生成。在游戲場景中，部署具有不同性格的智能NPC，通過對話、行為等動態(tài)交互，增加玩家的游戲時長，同時提供新的變現(xiàn)途徑。具體包括性格化NPC（不同的對話、行為等動態(tài)交互）、對抗式AI（對戰(zhàn)類場景中個性化對手）、互動式AI（具體涉及探索世界、技能訓(xùn)練、參與對抗、完成目標(biāo)、閑聊陪伴、協(xié)作建造六種互動場景）、大規(guī)模智能NPC部署、智能留存及智能運營策略等。我們將其進一步區(qū)分為NPC相關(guān)資產(chǎn)生成、場景生成和地圖/關(guān)卡生成。NPC相關(guān)據(jù)騰訊AILab介紹，NPC相關(guān)據(jù)騰訊AILab介紹，AIGC能夠使相關(guān)資產(chǎn)的生成效率提高5-10倍，并同時增加用戶內(nèi)容的個性化?人物外觀生成不同的NPC需要有不同的面孔、服飾、聲音甚至性格特征。傳統(tǒng)方法生成NPC成本高，需要逐個進行原型設(shè)計、多次建模及渲染等。借助AIGC有助于實現(xiàn)低成本大規(guī)模生產(chǎn)NPC，實現(xiàn)千人千面。?人物動畫生成騰訊AILab整合文字轉(zhuǎn)語音的前沿研究，生成自然語音，同步驅(qū)動嘴型、表情等面部變化鐘的人物動畫需要耗費數(shù)天，基于AI生成技術(shù)可以將原本數(shù)周工作量減少到?人物動作生成利用相位神經(jīng)網(wǎng)絡(luò)技術(shù)控制人物運動，將原本數(shù)周工作量減少到幾小時。AI在大量的運動數(shù)據(jù)集上學(xué)習(xí)人體動作，將捕獲的地形數(shù)據(jù)相匹配，完成準(zhǔn)確、流暢的動作反應(yīng)，如行走、創(chuàng)建游戲關(guān)卡也稱為程序內(nèi)容生成(PCG)。這些技術(shù)采用復(fù)雜的AI算法來生成巨大的開放世界環(huán)境、新在騰訊AILab自研的2D小游戲中，只需要不到一百個訓(xùn)練關(guān)卡作為輸入，AI即可在幾個小時內(nèi)生成一千多個可玩的、高質(zhì)量、多樣化的關(guān)卡。AI生成3D關(guān)卡相較之下較為復(fù)雜（AI生成3D關(guān)卡內(nèi)容則要復(fù)雜得多，3D關(guān)卡涉及地形起伏、元素之間的關(guān)聯(lián)、不同分辨率的元素、路線與區(qū)域規(guī)劃等，更考驗AI的生成能力），但目前騰訊AILab已實現(xiàn)基于約200個訓(xùn)練關(guān)卡及人類的標(biāo)注編輯的輸入，生成超過一萬個3D關(guān)卡。地圖/關(guān)卡場景生成具體包括3D環(huán)境生成等。例如GANTheftAuto中汽車移動時的陰影均是由AI生成的。該部分目前的技術(shù)仍有較大進步空間。量子位智庫關(guān)于GameAI領(lǐng)域有以下判斷：AIGC在游戲領(lǐng)域的應(yīng)用可能會對游戲行業(yè)的商業(yè)模式產(chǎn)生影響，例如引入更多In-GamePurchase，通過游戲戲發(fā)行方與用戶間的關(guān)系從產(chǎn)品交付（游戲本身）到全生命周期的個性化服務(wù)交付（提供更多個性化埋點）。GameAI后續(xù)的行業(yè)發(fā)展關(guān)鍵在于游戲行業(yè)能否接受，并從底層架構(gòu)開始支持提供包括客戶數(shù)虛擬數(shù)字人指存在于非物理世界(如圖片、視頻、直播、一體服務(wù)機、VR)中，并具有多重人類特征的綜量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC聲習(xí)慣等產(chǎn)出全面擬人化的數(shù)字內(nèi)容，屬于AIGC領(lǐng)域。此種多模態(tài)生成技術(shù)的聚合應(yīng)用計算驅(qū)動型/計算驅(qū)動型/AIGC型虛擬人制作流程1.設(shè)計形象。掃描真人形態(tài)及表演、采集驅(qū)動數(shù)據(jù)利用多方位攝像頭，對通用/特定模特進行打點掃描，采集其說話時的唇動、表情、面部肌肉變化細(xì)節(jié)、姿態(tài)等數(shù)據(jù)。2.形象建模，進行綁定設(shè)計所需的模型，或基于特定真人進行高還原度建模，進行關(guān)鍵點綁定。關(guān)鍵點綁定的數(shù)量及位3.訓(xùn)練各類驅(qū)動模型決定最終效果的核心步驟利用深度學(xué)習(xí)，學(xué)習(xí)模特語音、唇形、表情參數(shù)間的潛在映射關(guān)系，形成各自的驅(qū)動模型與驅(qū)動方4.內(nèi)容制作基于輸入的語音（或由輸入文本轉(zhuǎn)化的語音預(yù)測唇動、表情等參數(shù)核心的技術(shù)流程是基于輸入的語音，或首先基于TTS技術(shù)（Text-to-speech，語音合成技術(shù)將輸入的本文轉(zhuǎn)化為語音?；谡Z音，結(jié)合第3步得到的驅(qū)動模型，并利用生成對抗模型GAN選出最符合現(xiàn)實的圖片，推理得到每幀數(shù)字人的圖片。通過時間戳，將語5.進行渲染，生成最終內(nèi)容直播時進行實時渲染。為保證在特定場景下能夠?qū)崿F(xiàn)實時低延遲渲染，計算框架的大小、算力供給等技術(shù)問題同樣會影響到虛擬數(shù)字綜合來看，我們認(rèn)為虛擬人生成代表著從文本/音頻等低密度模態(tài)向圖像/視頻/實時交互等信息密度更高的模態(tài)虛擬人重要的應(yīng)用場景。有關(guān)虛擬人的更多產(chǎn)業(yè)分析信息，請參考在AIGC領(lǐng)域，我們將虛擬人生成分為虛擬人視頻生成和虛擬人實時互作驅(qū)動的自然程度、語音播報自然程度、模型呈現(xiàn)效果（2D/3D、卡通/高保真等）、視頻渲染速度等。我們在格等的自動生成，在虛擬人的基礎(chǔ)上，交付了更為完整的AIGC內(nèi)容播報產(chǎn)品。此外，倒映有聲的TTSA除虛擬人代表公司：倒映有聲代表公司：倒映有聲一家以技術(shù)為核心的創(chuàng)新型公司和無人驅(qū)動數(shù)字分身技術(shù)解決方案供應(yīng)商，通過自研神經(jīng)渲染引擎和TTSA技術(shù)，實現(xiàn)基于文本實時生成高質(zhì)量語音（音頻）和動畫（視頻）。在試用了倒映有聲的產(chǎn)品后，我們發(fā)現(xiàn)其虛擬人自然度高于市面產(chǎn)品，倒映有聲將其歸結(jié)于神經(jīng)渲染（NeuralRendering）、TTSA(基于文本和語音合成實時生成音頻和視頻)、ETTS(富情感語音合成)、DigitalTwin(數(shù)字孿生)。通過神經(jīng)渲染技術(shù)快速構(gòu)建AI數(shù)字分身，通過語音+圖像生成技術(shù)，生成和驅(qū)動數(shù)字分身的唇形、表情、動作、肢體姿態(tài)，創(chuàng)造表情自然、動作流暢、語音充滿情感的高擬真度數(shù)字分身IP。而虛擬人的實時互動則廣泛應(yīng)用于可視化的智能客服，多見于APP、銀行大堂等。在AIGC的虛擬人領(lǐng)域，更能夠體現(xiàn)AI在個性化、高并發(fā)性等方面的優(yōu)勢，我們更強調(diào)虛擬人的實時交互功能。我們可以將這一功能理解該領(lǐng)域的代表公司包括：HourOne.ai、Synthesia、Rephrase.ai、小冰公司、倒映有聲、數(shù)字王國、影譜科技、科大訊飛、相芯科技、追一科技、網(wǎng)易伏羲、火山引擎、百度、搜狗等。量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC虛擬人及綜合性AIGC代表公司虛擬人及綜合性AIGC代表公司：小冰公司小冰是全球領(lǐng)先的人工智能科技公司，旗下小冰框架是全球承載交互量最大的完備人工智能框架之一，在開放域?qū)υ?、多模態(tài)交互、超級自然語音、神經(jīng)網(wǎng)絡(luò)渲染及內(nèi)容生成領(lǐng)域居于全球領(lǐng)先。作為“AIbeing”派虛擬人。小冰的產(chǎn)品始終是人+交互+內(nèi)容。具體包括虛擬人（夏語冰等somebodyinstance、虛擬男友等nobodyinstance和國家隊人工智能裁判與教練系統(tǒng)觀君等在垂直場景中工作的虛擬人類）、音頻生成（主攻超級語言及歌聲，在線歌曲生成平臺與歌手歌聲合成軟件Xstudio）、視覺創(chuàng)造（畢業(yè)作品集《或然世界》、為國家紡織品開發(fā)中心、萬事利等數(shù)百家機構(gòu)提供了圖案和紋樣設(shè)計）、文本創(chuàng)造（2017年即推出小冰詩集）、虛擬社交、GameAI（XiaoiceGameStudio）等。商業(yè)客戶已覆蓋金融、智能車機、零售、體育、紡織、地產(chǎn)、文旅等十多個垂直領(lǐng)域，并提出了以“人力”的邏輯去進行商業(yè)報價的虛擬人商業(yè)模式。1.4相關(guān)預(yù)測特定技術(shù)的水平狀況特定技術(shù)的水平狀況?生成能力的魯棒性，確保在生成規(guī)模擴大、高并發(fā)性等實際應(yīng)用需求下依然能夠有穩(wěn)定的產(chǎn)出?生成模型可外延和泛化能力，例如可同時涉及?模態(tài)對齊工具/架構(gòu)具有重要意義，CLIP的技術(shù)程度，以及潛在模態(tài)對齊模型具有重大風(fēng)向標(biāo)意義?不同元素間的連續(xù)控制情況，例如文本生成中的上下文語義承接、視頻生成中不同幀的連貫性、圖像生成不同像素在實際應(yīng)用中出現(xiàn)的轉(zhuǎn)化門檻?完成渲染、構(gòu)建等相關(guān)配套環(huán)節(jié)的時我們認(rèn)為，以下技術(shù)要素值得關(guān)注：長文本生成、開放式文本生成、NeRF模型、Diffusion模型、跨模態(tài)大型預(yù)訓(xùn)練模型（支持的模態(tài)數(shù)據(jù)類型、模態(tài)對齊架構(gòu)設(shè)計、支持的下游應(yīng)用）、小樣本學(xué)習(xí)及自監(jiān)督算法、強化學(xué)習(xí)及環(huán)境學(xué)以下技術(shù)場景是我們認(rèn)為短期內(nèi)將有較明顯爆發(fā)的：閑聊式文本生成、個性化營銷文本、富情感及細(xì)節(jié)TTS、拼湊式視頻生成、基于文本的AI繪畫、語音復(fù)刻。20量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC產(chǎn)業(yè)篇在回答AIGC的價值之前，我們需要對AIGC本身的獨特性做出回答。在量子來源于五點。區(qū)別于市場觀點，我們認(rèn)為最后一點，也即與AI系統(tǒng)的個性化、實時化互動最能體現(xiàn)其潛在目前AIGC尚無法完成精準(zhǔn)可控的生成，但我們相信這一賽道未來的技術(shù)與市場規(guī)模上限。??降低內(nèi)容創(chuàng)作門檻，增加UGC用戶群體AIGC能夠代替人工完成聲音錄制、圖像渲染等工作，使更多人員能夠參與到高價值的內(nèi)容創(chuàng)作流程中。預(yù)計這一效果在2B結(jié)構(gòu)化內(nèi)容生成的領(lǐng)域非常明顯，個別場景會出現(xiàn)2C服務(wù)。跨模態(tài)生成成為未來重點。類游戲等）。我們在GameAI板塊所提及的AIbot實時玩家教學(xué)在一定程度上互探索游戲/虛擬陪伴場景值得期待。?基于海量數(shù)據(jù)得到強創(chuàng)造性和開放性，有助于激發(fā)創(chuàng)意認(rèn)知、提升內(nèi)容生產(chǎn)多樣性相較于人類藝術(shù)家，AI能夠接觸借鑒更多的數(shù)據(jù)，在基于prompt進行內(nèi)容生成?對不同模態(tài)元素進行二次拆解組合，改變內(nèi)容生產(chǎn)邏輯及形式通過語音克隆、編曲風(fēng)格提取等手段，AIGC能夠?qū)⒃腕w所對應(yīng)的不同模態(tài)信息進行拆解，例如演講者的面部形象、?和其他AI系統(tǒng)或數(shù)據(jù)庫進行聯(lián)動，有實現(xiàn)高度個性化/高頻優(yōu)化在與特定的數(shù)據(jù)庫（例如實時更新的客戶數(shù)據(jù)、市場反饋數(shù)據(jù)、特定主題下的歷史統(tǒng)計數(shù)據(jù)）或AI個性化推薦系統(tǒng)等AIGC能夠在更為精準(zhǔn)的未來預(yù)測/個性化預(yù)測基礎(chǔ)上調(diào)整其生成內(nèi)容。例如，根據(jù)用戶習(xí)慣調(diào)整內(nèi)容營銷文本、根據(jù)所處渠道風(fēng)格調(diào)21量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC2.2細(xì)分賽道分析總體而言，我們將AIGC產(chǎn)業(yè)劃分為內(nèi)容領(lǐng)域和延展領(lǐng)域。內(nèi)容領(lǐng)域是目前已經(jīng)能夠、但并未有效預(yù)估未來1-2年之內(nèi)會有相對完整的產(chǎn)業(yè)生態(tài)發(fā)在國內(nèi)的應(yīng)用落地相對內(nèi)容領(lǐng)域會更晚。分析師認(rèn)為，延展領(lǐng)域后期將成為AIGC創(chuàng)造價值的主陣地，提供AIGC的想象空間天花板。創(chuàng)作軟件、已有成功商業(yè)化案例、AIGC預(yù)估功能等因素的基礎(chǔ)上，我們對各細(xì)分場景的商業(yè)化潛力進行了如下估算?，F(xiàn)有需求成熟度2030年，AIGC市場規(guī)模將超過萬億人民幣2B內(nèi)容2C內(nèi)容生產(chǎn)工具生產(chǎn)工具2B內(nèi)容2C內(nèi)容生產(chǎn)工具生產(chǎn)工具虛擬陪伴超個性化基于生成內(nèi)容進一步變現(xiàn)直接生產(chǎn)內(nèi)容現(xiàn)有技術(shù)成熟度該領(lǐng)域大部分是在和人力生成內(nèi)容進行競爭。其中的存量價值來源于同類內(nèi)容的降本增效，而增量價值則來源于跨模態(tài)的內(nèi)容生成以及AI本身帶來的科技感。由于內(nèi)容供給的缺口尚不明顯，我們認(rèn)為對內(nèi)容渠道的把控將成為核心競爭力。發(fā)行商、內(nèi)容最終消22量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC此外，由于內(nèi)容供給機制與內(nèi)容平臺發(fā)展緊密與實力，而第三方創(chuàng)企公司除了完成好2B2C服務(wù)外，需要自行關(guān)注新的內(nèi)容消費場景及渠道。隨著內(nèi)容消費的碎片化，對內(nèi)容產(chǎn)出的多樣性有了更高要求，及5G時代將充分增長的直播，通信及硬件的持續(xù)增長使得主流的內(nèi)容消費形態(tài)不斷質(zhì)量的視頻或CG內(nèi)容，還是預(yù)估將成為下一代主流的VR/AR內(nèi)容，提供更加海量和豐富的感官體驗已經(jīng)成為一種必然。3.內(nèi)容生成個性化和開放化，User端表達意愿有明顯上升4.元宇宙要求內(nèi)容有新的自動生成機制此外，AIGC也和2022年的熱詞元宇宙緊密相關(guān)。據(jù)rctAI評價，元宇宙需要永續(xù)性、自增長和大規(guī)模。特別是自增長，在沒有人力不斷保證內(nèi)容增長的時候，他需要有自己驅(qū)核心運行機制。過往的游戲策劃等人力崗位難以滿足這一需求，AI成為新該場景的核心問題是除了AI自帶的科技屬性外，在本質(zhì)上難易看到進展，但該部分不是AIGC主要的價值增長部分。在整個內(nèi)容直接消費市場中，需1.對具體場景的供需狀況進行謹(jǐn)慎分析，AI對供給速度的提升是否具有實際意義2.不能單純的從內(nèi)容供給總量來看，還是需要尋找個性化、實時化等其他角度，進入延展領(lǐng)域品形式，例如結(jié)合NFT、盲盒等，也即我們所提及的第三種場景。2.作為內(nèi)容輔助生產(chǎn)工具該細(xì)分場景和前者其實是工具及產(chǎn)品之間的關(guān)系，基本是標(biāo)桿案例和最終標(biāo)準(zhǔn)化賦能的區(qū)別。如果按照AI分，該賽道包括完全借助AI端到端的生成模式/由AI提供相關(guān)創(chuàng)作線索、補充其他創(chuàng)作元件（如伴奏等性工作（局部特效生成、低分辨率轉(zhuǎn)高分辨率等）等。大類可上分為AI端到端生成，和部分借助AI技術(shù)的人機該類產(chǎn)品在提升生產(chǎn)力上的能力，但仍需要關(guān)注其包裝成分。該場景下a.該場景自身的工具屬性23量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGCUI/UX/核心使用效果能力上需要與現(xiàn)有創(chuàng)作工具，如UnrealEngine進行看齊。且本身具有一定壟斷性。初創(chuàng)公司及產(chǎn)品需要注意尋求能夠相對獨立出來的業(yè)務(wù)在內(nèi)容輔助生產(chǎn)工具賽道下，我們按照目標(biāo)群體，進一步將其細(xì)分為2B和2C兩大方向。2B2B，在PGC領(lǐng)域?qū)崿F(xiàn)內(nèi)容創(chuàng)作工業(yè)化，提高PGC內(nèi)容生產(chǎn)的活躍度內(nèi)容的可持續(xù)性需要平臺幫助降低創(chuàng)意門檻，從而加快專業(yè)內(nèi)容的生產(chǎn)效率。AIGC有助于克服人力的不足，快速我們將這種場景定義為“存量市場價值上的二次開發(fā)”。盡管并非AIGC未來主要的價值增長點，但為第三方創(chuàng)作機構(gòu)或內(nèi)容創(chuàng)作平臺提供2b服務(wù)是目前相對最為清晰的落地場景。2C，在UGC領(lǐng)域中實現(xiàn)低門檻靈感轉(zhuǎn)化，擴大UGC可覆蓋的領(lǐng)域和潛在人群大概需要7-10年的經(jīng)驗積累，且不同的風(fēng)格需要藝術(shù)家進行大3.直接基于生成內(nèi)容進行進一步變現(xiàn)該細(xì)分場景目前大致分為衍生周邊（如NFT等）和整體產(chǎn)業(yè)鏈設(shè)計環(huán)節(jié)（柔性制造中的個性化設(shè)計環(huán)節(jié)）兩條路線。目前，NFT已經(jīng)成為國外相當(dāng)重視的AI內(nèi)容變現(xiàn)渠道，例如Rosebud.ai本身支持NFT從文字得到特定創(chuàng)作,Obvious和耐克合作得到3個NFT。但由于國內(nèi)整體環(huán)境的影響，這一領(lǐng)域的發(fā)展尚不明確。的部分由AIGC完成。例如小冰與中國紡織信息中心、國家紡織產(chǎn)品開發(fā)中心共同推出了人工智能紡織服裝圖案設(shè)計平臺。為企業(yè)按需定制100%原創(chuàng)的專屬圖案紋樣，實現(xiàn)大規(guī)模、多樣化、質(zhì)量穩(wěn)定的按需設(shè)計?？傮w而言，AIGC對于內(nèi)容消費領(lǐng)域的整體影響相對有限，一個是AIGC目前的供給比重依舊相對較少，一個是并沒有能夠在場景本質(zhì)中提的獨特價值。特別是在商業(yè)美術(shù)領(lǐng)域，現(xiàn)有的最明顯的是對內(nèi)容行業(yè)原有人才結(jié)構(gòu)的影響。由于前期渲染、整體調(diào)色等基本技能將點將會向提出prompt轉(zhuǎn)移，也即如何將藝術(shù)設(shè)想清晰的描述給AI、提升自身的創(chuàng)意、審美、storytelling及搜索能力。在風(fēng)格覆蓋上，AI的效率和廣泛風(fēng)格將能夠幫助藝術(shù)家我們進一步大膽猜測，在這個內(nèi)容行業(yè)中，最易受到AIGC影響24量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC而更為重要的一方面，AIGC將作為低門檻的創(chuàng)作工具賦能給目前因能力/時間等原因尚未接觸“靈感—線索—作品”的快速轉(zhuǎn)化路徑，為內(nèi)容創(chuàng)作平臺提供更大的UGC而長期來看，隨著AIGC內(nèi)容被廣泛采用，版權(quán)/圖庫領(lǐng)域也將受到明顯沖擊。簡單配圖/配樂可以通過在AIGC軟件中原理（特別是AI生成內(nèi)容的自由度和穩(wěn)定性上還需要關(guān)注相關(guān)商業(yè)原理，例如個性化對于在結(jié)合量子位智庫對AIGC延展價值，并調(diào)研了國內(nèi)外AIGC相AI對網(wǎng)站進行站內(nèi)及站外優(yōu)化，從而提高當(dāng)前網(wǎng)站在搜索引擎上的排名）的實時內(nèi)容營銷同樣具有一定價基于AIGC的個性化內(nèi)容營銷，主要是指由AI生成系統(tǒng)與底層的客戶數(shù)據(jù)系統(tǒng)/營銷效果反饋系統(tǒng)進行數(shù)據(jù)聯(lián)通，實時根據(jù)相關(guān)數(shù)據(jù)調(diào)整生成需求，由AI快速迭代相關(guān)內(nèi)容生成，進而提升個性化營銷的效率和精準(zhǔn)性。AIGC在這里的關(guān)鍵業(yè)務(wù)價值在于以下兩點：營銷內(nèi)容的快速迭代更新、更為個性化的內(nèi)容物料生成。優(yōu)化效率與個性化相疊加，對于快消行業(yè)等對內(nèi)容更迭要求高的領(lǐng)量子位智庫認(rèn)為，對此類業(yè)務(wù)而言，關(guān)鍵在AIGC公司僅承擔(dān)內(nèi)容生成工具，其關(guān)鍵競爭力在的業(yè)務(wù)核心將變?yōu)椤皩I銷相關(guān)洞察以有吸引力的載體呈現(xiàn)出來”，在交付方案和自身的議價權(quán)上都將有明顯提升。就25量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC圖像領(lǐng)域，與快速迭代緊密掛鉤圖像領(lǐng)域，與快速迭代緊密掛鉤代表公司為Rosebud.ai和GeneratedPhotos。Rosebud.ai為不存在的人建模圖像，將模型衣服穿到虛擬真實模型上，支持不同的模特面孔，可以根據(jù)詳細(xì)的受眾人口統(tǒng)計數(shù)據(jù)制作無限變化的模型并使用各種視覺效果來定位您的客戶。該公司聲稱，利用他們的人工智能生成模型的第一個活動顯示點擊率增加了22%。GeneratedPhotos業(yè)務(wù)類似，有助于幫助公司運行多個版本的營銷活動并快速迭代。目前已支持API接入ppt、模型及產(chǎn)品中。文本領(lǐng)域，文本領(lǐng)域，國外布局廣泛，商業(yè)化價值已得到極為明確的驗證針對不同的用戶畫像，產(chǎn)出不同的對應(yīng)文本。這種以營銷為目的的文本生成在國外更為常見，國外是更多以商業(yè)化為目標(biāo)。最為經(jīng)典的是Persado，該公司的平臺將營銷創(chuàng)意分解為六個關(guān)鍵要素：敘事、情感、描述、號召性用語、格式和文字定位。該平臺使用這些元素的多種組合來提出與每個客戶交談的最佳信息。許多公司利用Persado的平臺通過促銷電子郵件、社交媒體廣告、店內(nèi)展示橫幅甚至廣播內(nèi)容來提高品牌參與度和轉(zhuǎn)化率。其他相關(guān)公司包括：Acrolinx、AtomicReach、AutomatedInsights、AXSemantics、Anyword、Brightedge、BuzzSumo、Concured、Curata、Conversion.ai、Frase.io、HubSpot、Keywee、MarketMuse、NarrativeScience、Publishthis、Pencil、Phrasee、Persado、Qordoba、Scoop.it、Showpad、Stackla、Uberflip、Vennli、Yello、Yseops像、數(shù)據(jù)、正文、CTA?？梢詮臓I銷的全流程，包括沉睡喚醒、短信、推送、廣告詞等都用這種方式生成。但這會導(dǎo)致整個網(wǎng)站的背后內(nèi)容架構(gòu)都高度個性化，對于網(wǎng)站本身、第三方服務(wù)機構(gòu)和算力來說都是一種巨大消耗。我們認(rèn)為，在內(nèi)容營銷領(lǐng)域，AIGC并不應(yīng)當(dāng)作為單獨的服務(wù)對外提供，還是隸屬于“創(chuàng)意供給—內(nèi)容生產(chǎn)—內(nèi)容管理AIGC最終能夠得到理想效果，基礎(chǔ)素材、營銷策略設(shè)定、技術(shù)生成、評估優(yōu)化、數(shù)據(jù)回流等缺一及流程打通有重要意義，對AIGC公司的生態(tài)建設(shè)能力提出了較高要求。AIGC的引入可以使廣告創(chuàng)意從推薦分發(fā)個性化進入到生成個性化、更加千人千面，可能會產(chǎn)生新的主流服務(wù)模式和計價模式。但目前由于國內(nèi)公司尚無明確的價值證明，只有當(dāng)對個性化粒度要求我們認(rèn)為AIGC成為內(nèi)容營銷的主力仍需要2-3年時間。需要強調(diào)的是，對于個性化內(nèi)容營銷而言，目前尚不需要過高的生成技術(shù)能力。我通過AI技術(shù)（主要為對抗生成網(wǎng)絡(luò)GAN）從現(xiàn)有內(nèi)容，如圖片、音頻、文本等，生成完全虛構(gòu)但保持原始數(shù)據(jù)特定屬性據(jù)，本質(zhì)上是希望通過生成技術(shù)克服AI模型訓(xùn)練的“原始數(shù)據(jù)短缺問題/實現(xiàn)不同機構(gòu)間的數(shù)據(jù)轉(zhuǎn)移及更新以避免隱私泄露/完成特定算法的訓(xùn)練及數(shù)據(jù)分析，且能夠避免手工標(biāo)注的高昂成本。26量子位硬科技深度產(chǎn)業(yè)報告—AI生成內(nèi)容AIGC在醫(yī)療和自動駕駛領(lǐng)域（Waymo、Cruise、Aurora、Zoox）應(yīng)用廣泛。目前已經(jīng)有了測試標(biāo)準(zhǔn)APAT，技術(shù)生態(tài)較完善。相關(guān)公司包括Anyverse、Autonoma、Bifrost、CVEDIA、Cognata、CoohomCloud、Datagen、DeepVisionData、EdgeCase、Lexset、Mindtech、Neurolabs、Neuromation、reinventsystems、renderedAI、ScaleSynthetic、Simerse、SkyEngine、Simerse、SkyEngine、Synthesisai、synthetaic、SyntheticDatapty、syntehtik、Usearch、Vypno、Betterdata、Datomize、Diveplane：、Facteus:、Generatrix、Gretel、Hazy、InstillAI、KymeraLabs、Mirry.ai、MostlyAI、Oscillate.ai、ReplicaAnalytics、Sogeti、Statice、SyndataAB、Synthesized、Syntheticus、Syntho、Tonic、Ydata、Rendered.ai、Bifrost和Mirage。合成數(shù)據(jù)生成可能會導(dǎo)致專有數(shù)據(jù)的競爭壁壘將被逐漸削弱，數(shù)據(jù)采用標(biāo)準(zhǔn)從真實數(shù)據(jù)到可信。3.基于復(fù)刻的個人永生/虛擬陪伴4.交互性內(nèi)容。適用于游戲等實時變化較大、要求內(nèi)容多已有嘗試包括Melodrive電子游戲背景音樂實時生成、賓利宣布與LifeScore合作以實時生成配合引擎的音樂、實時閑聊機器重點不在于內(nèi)容本身，而是服務(wù)于游戲畫面設(shè)計、動漫設(shè)計等特定內(nèi)容消費免其中出現(xiàn)一些不恰當(dāng)?shù)墓δ苄詢?nèi)容，需要其他的特定數(shù)據(jù)集或者基準(zhǔn)等。此外，也可結(jié)Brain.fm的專注音樂和聆心智能。以Zynro為例，該公司圍繞其電商服務(wù)能力構(gòu)建AIGC能力的矩陣，同2.3行業(yè)發(fā)展階段分析別優(yōu)秀的先行公司及研究機構(gòu)