AIGC產(chǎn)業(yè)研究報(bào)告 2023-圖像生成篇

^Yialysys易觀分析□□□□□□AIGC產(chǎn)業(yè)研究報(bào)告2023圖像生成篇本產(chǎn)品保密并受到版權(quán)法保護(hù)ConfidentialandProtectedbyCopyrightLawsAIGC產(chǎn)業(yè)研究報(bào)告AIGC產(chǎn)業(yè)研究報(bào)告2023歡迎登陸易觀分析Tel:4006-010-231歡迎登陸易觀分析Tel:4006-010-231易觀分析：E-mail：ygfx仞TOC\o"1-5"\h\z\o"CurrentDocument"1定義 1\o"CurrentDocument"2主要類(lèi)型和應(yīng)用領(lǐng)域 1\o"CurrentDocument"3技術(shù)發(fā)展的關(guān)鍵階段 1\o"CurrentDocument"4主流模型實(shí)現(xiàn)原理及優(yōu)缺點(diǎn) 3\o"CurrentDocument"4.1主流模型解析 3\o"CurrentDocument"4.2國(guó)內(nèi)外代表模型 4\o"CurrentDocument"5影響模型應(yīng)用能力的關(guān)鍵因素 4\o"CurrentDocument"6典型產(chǎn)業(yè)應(yīng)用場(chǎng)景 5\o"CurrentDocument"7商業(yè)化過(guò)程中面臨的戰(zhàn) 7\o"CurrentDocument"7.1國(guó)內(nèi)外主流圖像生成產(chǎn)品及商業(yè)模式 7\o"CurrentDocument"7.2圖像生成商業(yè)化落地挑戰(zhàn) 8\o"CurrentDocument"8前沿探索與趨勢(shì)展望 10易觀分析版權(quán)聲明2023 11關(guān)于易觀分析 12AIGC產(chǎn)業(yè)研究報(bào)告AIGC產(chǎn)業(yè)研究報(bào)告2023歡迎登陸易觀分析Tel:4006-010-231易觀分析：歡迎登陸易觀分析Tel:4006-010-231易觀分析：E-mail：ygfx仞#圖像生成典型產(chǎn)業(yè)應(yīng)用場(chǎng)景數(shù)字化歷史文獻(xiàn)修復(fù)、圖像修補(bǔ)老照片、老電影修復(fù)醫(yī)學(xué)病例和解剖結(jié)構(gòu)創(chuàng)建天文觀測(cè)、衛(wèi)星遙感觀測(cè)虹像超分辨率www.a數(shù)字化歷史文獻(xiàn)修復(fù)、圖像修補(bǔ)老照片、老電影修復(fù)醫(yī)學(xué)病例和解剖結(jié)構(gòu)創(chuàng)建天文觀測(cè)、衛(wèi)星遙感觀測(cè)虹像超分辨率www.a圖像分類(lèi)、圖像分割目標(biāo)識(shí)別、圖像檢索工業(yè)設(shè)計(jì)藝術(shù)作品創(chuàng)作、圖像編輯、圖像藝術(shù)性增強(qiáng)圖像分類(lèi)、圖像分割目標(biāo)識(shí)別、圖像檢索工業(yè)設(shè)計(jì)動(dòng)漫人物、游戲場(chǎng)景制作海報(bào)、產(chǎn)品LOGO和包裝設(shè)計(jì)?AnalysysflJ觀分析圖6-1：圖像生成典型產(chǎn)業(yè)應(yīng)用場(chǎng)景圖像分類(lèi)、圖像分割可以在工業(yè)、工程設(shè)計(jì)等領(lǐng)域輔助進(jìn)行目標(biāo)識(shí)別、圖像相似度檢索，輔助CAD設(shè)計(jì)等；在醫(yī)學(xué)領(lǐng)域可以幫助進(jìn)行醫(yī)學(xué)影像標(biāo)注、解剖、病理結(jié)構(gòu)變化分析等。另外，圖像生成模型在零樣本分類(lèi)任務(wù)中的良好表現(xiàn)，可以在不需要進(jìn)行額外訓(xùn)練的情況下快速創(chuàng)建項(xiàng)目，有效提升了模型的工程化能力，降低了對(duì)數(shù)據(jù)標(biāo)注的要求和訓(xùn)練成本。。圖像生成和圖像風(fēng)格轉(zhuǎn)換在藝術(shù)設(shè)計(jì)、產(chǎn)品設(shè)計(jì)、動(dòng)畫(huà)與游戲制作等方面均有充分的商業(yè)化潛力，可以將其大量應(yīng)用于創(chuàng)作藝術(shù)作品，根據(jù)設(shè)計(jì)者的草稿圖、創(chuàng)意概念來(lái)生成圖像，以及圖像合成、圖像編輯、增強(qiáng)圖像藝術(shù)性等，從而能夠幫助設(shè)計(jì)師、建模師進(jìn)行動(dòng)漫人物、游戲場(chǎng)景的制作，幫助完成海報(bào)、產(chǎn)品LOGO和產(chǎn)品包裝設(shè)計(jì)等工作。在電商的應(yīng)用方面，圖像生成可以在虛擬試衣間、模擬商品展示等場(chǎng)景提升用戶(hù)的在線(xiàn)購(gòu)物體驗(yàn)。圖像修復(fù)能夠根據(jù)已有圖像的上下文信息修復(fù)缺失部分，例如上色、去除噪聲或填充缺失部分，對(duì)圖像對(duì)比度、銳度或色彩鮮艷度等圖像要素的增強(qiáng)等，可以應(yīng)用于數(shù)字化歷史文獻(xiàn)的修復(fù)、圖像修補(bǔ)等。在攝影與影視制作方面，對(duì)老照片、老電影的修復(fù)和畫(huà)質(zhì)提升都具有很強(qiáng)的應(yīng)用價(jià)值。圖像超分辨率能夠從低分辨率圖像恢復(fù)和重建高分辨率圖像，在醫(yī)學(xué)影像處理場(chǎng)景中，結(jié)合模型的數(shù)據(jù)合成和預(yù)測(cè)能力進(jìn)行圖像識(shí)別、特征提取和圖像重建，能夠幫助醫(yī)生創(chuàng)建逼真的病例和解剖結(jié)構(gòu)，生成CT掃描圖像，輔助進(jìn)行病情的分析診斷。另外，在天文觀測(cè)和衛(wèi)星遙感觀測(cè)等方面，利用圖像超分辨率能夠提升成像設(shè)備的性能，并克服時(shí)間差異、氣象變化等因素引起的圖像場(chǎng)景變化，為天文探索發(fā)現(xiàn)增加了更多可能性。未來(lái)，隨著圖像生成技術(shù)的發(fā)展，其與3維生成的強(qiáng)相關(guān)性將會(huì)更多在視頻、教育、建筑以及虛擬空間建模等方向形成縱深探索。模型的穩(wěn)定可控能力是影響未來(lái)發(fā)展的核心要素，目前圖像生成內(nèi)容仍然存在較大的不確定性，對(duì)于藝術(shù)創(chuàng)作有助于激發(fā)靈感，但對(duì)圖像本身可控性要求極高的領(lǐng)域來(lái)說(shuō)，生成圖像是否與預(yù)期目標(biāo)相符，以及對(duì)圖像精度的精準(zhǔn)控制+分關(guān)鍵，這將有利于拓展其在生物醫(yī)藥、工業(yè)制造、航空航天等領(lǐng)域的應(yīng)用前景。7商業(yè)化過(guò)程中面臨的挑戰(zhàn)7.1國(guó)內(nèi)外主流圖像生成產(chǎn)品及商業(yè)模式從國(guó)內(nèi)外市場(chǎng)需求和規(guī)模來(lái)看，目前圖像生成在AIGC領(lǐng)域中總體的商業(yè)化進(jìn)展較快。國(guó)外主流的圖像生成平臺(tái)以Midjourney、StableDiffusion、DALL-E2為代表。其中，Midjourney采用閉源付費(fèi)模式，在對(duì)DiffusionModel精調(diào)后部署在Discord上，用戶(hù)通過(guò)與bot的交互來(lái)獲得圖片，從生成效果來(lái)說(shuō)其對(duì)藝術(shù)風(fēng)格的把握獨(dú)樹(shù)一幟。Midjourney通過(guò)早期開(kāi)放公測(cè)積累了大量用戶(hù)群，在Discord頻道中形成了高活躍度的社群，以SaaS付費(fèi)訂閱模式提供通用或定制化服務(wù)，構(gòu)建起了較為成熟的商業(yè)模式。而StableDiffusion則完全開(kāi)源，因此模型的優(yōu)化迭代速度非?？?，形成了較好的開(kāi)發(fā)者生態(tài)，其盈利手段主要通過(guò)API收費(fèi)和面向?qū)I(yè)領(lǐng)域的B端用戶(hù)提供定制化模型服務(wù)；此外，StableDiffusion可以作為插件應(yīng)用嵌入Photoshop,支持直接在PS上生成圖像并保存，能夠?yàn)閷?zhuān)業(yè)設(shè)計(jì)工作者的效率和體驗(yàn)帶來(lái)顯著提升。DALL-E2通過(guò)百億級(jí)大規(guī)模參數(shù)集進(jìn)行訓(xùn)練，能夠形成穩(wěn)定和高質(zhì)量的圖像，生成效果更接近真實(shí)照片，目前DALL-E2采取閉源付費(fèi)模式，而依托OpenAI與微軟的深度合作關(guān)系，搭載ChatGPT能力并將產(chǎn)品嵌入微軟的辦公生態(tài)，將使DALL-E2建立起核心競(jìng)爭(zhēng)優(yōu)勢(shì)。另外，Adobe也推出了圖像生成模型集Firefly,并融入到AdobeI作流，Adobe還強(qiáng)調(diào)其訓(xùn)練數(shù)據(jù)來(lái)自AdobeStock素材庫(kù)、公開(kāi)許可內(nèi)容和版權(quán)已過(guò)期的公共領(lǐng)域內(nèi)容，可以生成專(zhuān)為商業(yè)使用的高質(zhì)量圖像，并計(jì)劃和Photoshop、Illustrator、Premiere等系列產(chǎn)品深度整合，這些手段將有利于建立面向?qū)I(yè)設(shè)計(jì)領(lǐng)域的客戶(hù)優(yōu)勢(shì)，提升用戶(hù)粘性。對(duì)于國(guó)內(nèi)市場(chǎng)而言，隨著我國(guó)自主研發(fā)模型的技術(shù)進(jìn)展，文心一格、CogView、ZMO等Al圖像生成產(chǎn)品通過(guò)模型調(diào)優(yōu)和知識(shí)增強(qiáng)訓(xùn)練，對(duì)中文提示詞具備更強(qiáng)的理解能力，在美術(shù)創(chuàng)作、廣告設(shè)計(jì)等領(lǐng)域已經(jīng)形成了一定的用戶(hù)基礎(chǔ)。其中，文心一格提供面向C端用戶(hù)的免費(fèi)和付費(fèi)模式，依托文心大模型的能力，文心一格在多模態(tài)交互方面具有明顯優(yōu)勢(shì)；CogView通過(guò)API開(kāi)放能力，支持與企業(yè)AI底座的能力對(duì)接和模型微調(diào)，并提供面向B端用戶(hù)的定制訓(xùn)練和私有化部署服務(wù)；ZMO則將商業(yè)化重點(diǎn)聚焦在圖生圖任務(wù)中，進(jìn)行產(chǎn)品圖到營(yíng)銷(xiāo)海報(bào)等真實(shí)場(chǎng)景的圖像生成，積累了一定規(guī)模且有付費(fèi)意愿的小B端用戶(hù)?？梢灶A(yù)見(jiàn)，國(guó)內(nèi)圖像生成領(lǐng)域的商業(yè)化進(jìn)程速度將加快并迎來(lái)用戶(hù)的快速增

長(zhǎng)期，但仍然需要結(jié)合技術(shù)能力和產(chǎn)品能力進(jìn)行深度打磨，通過(guò)構(gòu)建數(shù)據(jù)層、模型層、應(yīng)用層的生態(tài)閉環(huán)形成可持續(xù)發(fā)展。7.2圖像生成商業(yè)化落地挑戰(zhàn)結(jié)合國(guó)外主流平臺(tái)的成功經(jīng)驗(yàn)與國(guó)內(nèi)市場(chǎng)情況，打造成熟的商業(yè)模式需要關(guān)注來(lái)自三個(gè)方面的挑戰(zhàn)。圖像生成商業(yè)化落地挑戰(zhàn)產(chǎn)品化能力挑戰(zhàn)prompts解、微調(diào)工具運(yùn)用監(jiān)管合規(guī)挑戰(zhàn)產(chǎn)品化能力挑戰(zhàn)prompts解、微調(diào)工具運(yùn)用監(jiān)管合規(guī)挑戰(zhàn)隱私保護(hù)、版權(quán)保護(hù)、AI治理數(shù)據(jù)能力挑戰(zhàn)數(shù)據(jù)資產(chǎn)的閉環(huán)經(jīng)營(yíng)?AnalysysR觀分析 圖7-1：圖像生成商業(yè)化落地挑戰(zhàn)?數(shù)據(jù)能力挑戰(zhàn)圖像生成的效果很大程度依賴(lài)于訓(xùn)練數(shù)據(jù)的規(guī)模和數(shù)據(jù)質(zhì)量，圖像生成產(chǎn)品在向更多專(zhuān)業(yè)領(lǐng)域和行業(yè)深入時(shí)，需要考慮行業(yè)存在的數(shù)據(jù)壁壘、數(shù)據(jù)量不足、數(shù)據(jù)質(zhì)量不高等問(wèn)題。另外，針對(duì)不同行業(yè)的特定場(chǎng)景的圖像生成要求，需要結(jié)合行業(yè)知識(shí)進(jìn)行增量訓(xùn)練，但目前圖像生成模型仍然存在對(duì)復(fù)雜語(yǔ)義和抽象關(guān)系上的理解難度。在模型訓(xùn)練階段，可以通過(guò)數(shù)據(jù)增強(qiáng)策略、利用合成數(shù)據(jù)預(yù)訓(xùn)練等方式進(jìn)行優(yōu)化，提升下游任務(wù)的性能。但在商業(yè)化過(guò)程中，還需要考慮資源、性能、成本的平衡。因此，針對(duì)不同類(lèi)型的用戶(hù)群體，構(gòu)建數(shù)據(jù)資產(chǎn)經(jīng)營(yíng)的閉環(huán)將起到?jīng)Q定作用。對(duì)于C端用戶(hù)，通過(guò)結(jié)合用戶(hù)所輸入的提示詞（prompt）、生成圖像選擇等進(jìn)行交互行為和偏好分析，利用這些沉淀的數(shù)據(jù)形成可靠的數(shù)據(jù)資產(chǎn)，以此提升數(shù)據(jù)篩選、標(biāo)注和分類(lèi)能力，以及模型的中文語(yǔ)義理解能力和圖像風(fēng)格化能力，更有針對(duì)性地進(jìn)行模型迭代；同時(shí)引導(dǎo)用戶(hù)形成中文生成內(nèi)容社區(qū)，來(lái)優(yōu)化內(nèi)容分發(fā)方式，針對(duì)不同的用戶(hù)圈層和付費(fèi)意愿打造差異化的服務(wù)模式。Midjourney的一個(gè)關(guān)鍵成功因素就是基于Discord建立內(nèi)容社區(qū)形成用戶(hù)共創(chuàng)的格局，從而不斷沉淀數(shù)據(jù)資產(chǎn)，提升用戶(hù)粘性。對(duì)于B端用戶(hù)，可以借鑒StabilityAI的商業(yè)模式，通過(guò)建立適用性良好的框架積累不同行業(yè)客群，沉淀內(nèi)容和行業(yè)經(jīng)驗(yàn)，以此提供面向用戶(hù)特定需求的定制模型，例如能夠?qū)?dòng)畫(huà)制作、影視制作、建筑設(shè)計(jì)等行業(yè)高質(zhì)量的藝術(shù)效果圖的需求進(jìn)行模型調(diào)優(yōu)和二次開(kāi)發(fā)，形成具有行業(yè)屬性的圖像生成產(chǎn)品，將是國(guó)內(nèi)圖像生成下階段商業(yè)化的成功關(guān)鍵。-產(chǎn)品化能力挑戰(zhàn)圖像生成模型落地應(yīng)用的過(guò)程中，需要解決模型訓(xùn)練階段和下游任務(wù)實(shí)現(xiàn)之間的差距，滿(mǎn)足產(chǎn)業(yè)場(chǎng)景下對(duì)圖像生成的實(shí)際需求。例如在實(shí)際應(yīng)用時(shí)，用戶(hù)所輸入的提示詞直接決定了圖像生成的實(shí)際效果，因此模型對(duì)于prompt的理解和運(yùn)用非常關(guān)鍵。如果能在文生圖過(guò)程中，減少文本描述量和復(fù)雜度的情況下保持對(duì)語(yǔ)義的準(zhǔn)確把握，將明顯降低用戶(hù)的使用門(mén)檻；在此基礎(chǔ)上，在用戶(hù)意圖的基礎(chǔ)上進(jìn)行擴(kuò)展，生成超越預(yù)期的高質(zhì)量圖像，將有效提升用戶(hù)體驗(yàn)，提升產(chǎn)品化能力。而影響圖像生成的產(chǎn)品化能力的因素，一是模型本身的性能能否直接滿(mǎn)足應(yīng)用要求，二是能否在產(chǎn)品中引入附加工具來(lái)解決模型局限性問(wèn)題，而可控性是產(chǎn)品化的核心挑戰(zhàn)。其中一個(gè)實(shí)現(xiàn)方式是通過(guò)擴(kuò)大參數(shù)集和數(shù)據(jù)集規(guī)模來(lái)提升模型性能，并提高對(duì)圖像編輯、圖像風(fēng)格轉(zhuǎn)化、圖像超分辨率等多種下游任務(wù)融合應(yīng)用的能力，從而支持多種個(gè)性化需求和控制生成圖像的細(xì)節(jié)，相應(yīng)地，也需要更強(qiáng)的模型部署能力、環(huán)境和配套資源。另外，還可以通過(guò)引入ControlNet等微調(diào)模型來(lái)生成指定要求的圖像，實(shí)現(xiàn)對(duì)畫(huà)面中的物體位置、人物姿勢(shì)等精確控制，優(yōu)化圖像生成模型不可控的問(wèn)題，并能夠進(jìn)行視角調(diào)整、光影調(diào)整、細(xì)節(jié)添加等，以滿(mǎn)足B端用戶(hù)對(duì)于產(chǎn)品可控性的更高要求，同時(shí)也有利于在控制訓(xùn)練成本的前提下實(shí)現(xiàn)產(chǎn)品的快速落地。?監(jiān)管合規(guī)挑戰(zhàn)生成式AI的發(fā)展不可避免引發(fā)來(lái)自人工智能技術(shù)應(yīng)用風(fēng)險(xiǎn)的問(wèn)題，商業(yè)化的一大前提是需要滿(mǎn)足監(jiān)管的合規(guī)性要求，近日網(wǎng)信辦已經(jīng)下發(fā)了《生成式人工智能服務(wù)管理辦法》的征求意見(jiàn)稿，也將加速AIGC對(duì)于數(shù)據(jù)使用和行業(yè)發(fā)展的規(guī)范化。對(duì)于圖像生成類(lèi)產(chǎn)品，合規(guī)性考量主要包括隱私保護(hù)、版權(quán)保護(hù)、人工智能治理三個(gè)方面。隱私保護(hù)方面，由于使用圖像生成工具進(jìn)行內(nèi)容創(chuàng)作的成本低、操作簡(jiǎn)單、逼真程度高，在一定程度上造成了信息濫用問(wèn)題，可能導(dǎo)致隱私泄露、偽造欺詐引發(fā)的信息安全和財(cái)產(chǎn)損失，例如將深度合成的人臉圖像用于金融領(lǐng)域的身份識(shí)別欺詐，利用含有欺騙性或者其他有害的圖像內(nèi)容進(jìn)行傳播和其他不當(dāng)行為等。因此需要提升圖像在生成、流轉(zhuǎn)、存儲(chǔ)等過(guò)程中的數(shù)據(jù)安全，以及加強(qiáng)對(duì)偽造圖像的判別和提示。版權(quán)保護(hù)方面，圖像生成模型基于網(wǎng)絡(luò)公開(kāi)數(shù)據(jù)進(jìn)行訓(xùn)練，將可能會(huì)產(chǎn)生涉及圖像知識(shí)產(chǎn)權(quán)的風(fēng)險(xiǎn)，例如有研究指出生成模型可能存在從訓(xùn)練數(shù)據(jù)中復(fù)制圖像而不是生成新圖像。目前，一些行業(yè)和AIGC產(chǎn)業(yè)研究報(bào)告AIGC產(chǎn)業(yè)研究報(bào)告2023歡迎登陸易觀分析Tel:歡迎登陸易觀分析Tel:4006-010-23110相關(guān)機(jī)構(gòu)已經(jīng)要求所有生成式Al內(nèi)容必須注明來(lái)源，或是直接禁用生成式AI的使用。圖像生成作品是否應(yīng)該受到版權(quán)保護(hù)，原創(chuàng)內(nèi)容與生成內(nèi)容的比例應(yīng)該如何界定等，都是圖像生成在實(shí)際應(yīng)用中需要考量的問(wèn)題。人工智能治理方面，一是公平性問(wèn)題，由于圖像生成模型的訓(xùn)練數(shù)據(jù)包含大量未經(jīng)過(guò)清洗的數(shù)據(jù)集，使圖像生成模型中可能隱藏的如性別、種族、文化等數(shù)據(jù)偏見(jiàn)。二是模型可解釋性問(wèn)題，大模型在深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)層級(jí)越來(lái)越復(fù)雜的情況下，存在對(duì)底層數(shù)據(jù)的淹沒(méi)問(wèn)題，導(dǎo)致模型的可解釋性變?nèi)?，解析生成模型?nèi)部表征的難度變得越來(lái)越高。圖像生成模型可以創(chuàng)建逼真場(chǎng)景或人物圖像，其可解釋性也與實(shí)際商用的可能性強(qiáng)相關(guān)。因此建立可信可控的人工智能需要納入從模型訓(xùn)練到產(chǎn)品落地的全過(guò)程。8前沿探索與趨勢(shì)展望目前，圖像生成技術(shù)的前沿探索主要聚焦在如何加強(qiáng)對(duì)圖像實(shí)體關(guān)系的深度理解、提