海外大模型：生成式AI加速創(chuàng)新行業(yè)迎歷史性機(jī)遇（2024年）

分析師：耿軍軍郵箱：gengjunjun@SAC執(zhí)業(yè)資格證書編碼：S0020519070002聯(lián)系人：王朗郵箱：wanglang2@請務(wù)必閱讀正文之后的免責(zé)條款部分3資料來源：信通院《人工智能生成內(nèi)容(AIGC)白皮書》，CSDN官網(wǎng)，阿里云開發(fā)者社區(qū)，NIHRecord官網(wǎng)，MIT官網(wǎng)，5之心官網(wǎng)，騰訊云開發(fā)者社區(qū)，科技行者官網(wǎng)，雷鋒網(wǎng)，澎湃新聞安全客官網(wǎng)，AIGC開放社區(qū)公眾號(hào)，IT之家官網(wǎng)，OpenAI官網(wǎng)，36氪官網(wǎng)，國元證券3 GAN使用合作的零和博弈框架來學(xué)習(xí)，被廣泛用于生成圖像、視頻、語音和三維物體模型。Transformer模型是一種采用自注意力機(jī)制的深度學(xué)習(xí)模型，這一機(jī)制可按輸入數(shù)據(jù)各4請務(wù)必閱讀正文之后的免責(zé)條款部分資料來源：騰訊研究院《AIGC發(fā)展趨勢報(bào)告》，國4 直至圖像被破壞變成完全的高斯噪聲，然后在逆向階段學(xué)習(xí)從高斯噪聲還原為原始圖像的過一種基于自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)模型，最初用來完成不包含Encoder和Decoder部分，分別提出了一種從一組輸入圖像中優(yōu)化連續(xù)5D神經(jīng)輻射場的表示（任何連續(xù)位置的2)使用已經(jīng)標(biāo)記好的“文字-圖像”訓(xùn)練數(shù)據(jù)。一方面對文字進(jìn)行模型訓(xùn)進(jìn)行另一個(gè)模型的訓(xùn)練，不斷調(diào)整兩個(gè)模型的內(nèi)部參數(shù)，使得模型分別輸Transformer的注意力機(jī)制學(xué)習(xí)圖像的全局依賴關(guān)系，具有良好的可擴(kuò)展性，可以訓(xùn)練到更資料來源：騰訊研究院《AIGC發(fā)展趨勢報(bào)告》，經(jīng)緯創(chuàng)投55 通過梳理全球主流大語言模型(LLM)的發(fā)展脈絡(luò)，2018年以來的GPT系列、LLaMA系列、BERT等多款大模型均發(fā)66 預(yù)訓(xùn)練模型是為了完成特定任務(wù)基于大型數(shù)據(jù)集訓(xùn)練的深度學(xué)習(xí)模型，讓AI模型的開發(fā)從手工作坊走向工廠模2017年，Google顛覆性地提出了基于自注意力機(jī)制的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)——Transfor圖：預(yù)訓(xùn)練相當(dāng)于“通識(shí)教育”資料來源：IDC《2022中國大模型發(fā)展白皮書》77 4810億4810億StableDiffusion語言理解與圖StableDiffusion語言理解與圖 AnthropicAnthropic8AIGC開放社區(qū)公眾號(hào)，機(jī)器之心公眾號(hào)，CSDN官網(wǎng)，國元證券研究所8 ScalingLaws：模型容量、數(shù)據(jù)量、訓(xùn)練成本共同構(gòu)成了大模型訓(xùn)練的不可能三角。大模型訓(xùn)練的目標(biāo)是最大化模型性能，成本（GPU的數(shù)量和訓(xùn)練時(shí)間等）是受限的，因此一般通過增加數(shù)據(jù)集大小和增加模型中的參數(shù)量兩種途徑來提升模型性能。99 預(yù)訓(xùn)練數(shù)據(jù)從數(shù)據(jù)來源多樣性、數(shù)據(jù)規(guī)模、數(shù)據(jù)質(zhì)量三方面影響模型性能。以GPT模型為例，其架構(gòu)從第1代到用來訓(xùn)練數(shù)據(jù)的數(shù)據(jù)規(guī)模和質(zhì)量卻有很大的提升，進(jìn)而引發(fā)模型性能的飛躍。以吳恩達(dá)(AndrewNg)為代表的學(xué)者觀點(diǎn)認(rèn)為，人工智能是以數(shù)據(jù)為中心的，而不是以模型為中心?！坝袠?biāo)注的高質(zhì)量數(shù)據(jù)才能釋放人工智能的價(jià)值，如果來源多樣性來源多樣性數(shù)據(jù)規(guī)模數(shù)據(jù)規(guī)模數(shù)據(jù)質(zhì)量數(shù)據(jù)質(zhì)量u針對大模型需求制定配比u足夠規(guī)模的高質(zhì)量語料u高質(zhì)量訓(xùn)練集能提高模型精度,不同場景/領(lǐng)域的數(shù)據(jù)具有不同的語言隨著模型參數(shù)量的增加，也需要更多數(shù)減少訓(xùn)練時(shí)長特征，對模型能力提升的點(diǎn)也不同。如:據(jù)來訓(xùn)練。只有參數(shù)規(guī)模突破了100億有重復(fù)、噪聲、錯(cuò)誤數(shù)據(jù)等低質(zhì)量語料書籍語料占比提升,可以提升上下文理以上的大模型才具有“涌現(xiàn)能力”會(huì)損害模型性能。如:訓(xùn)練語料有重復(fù)， 為了追求更好的模型性能，模型參數(shù)規(guī)模也與訓(xùn)練數(shù)據(jù)量同步快速增長，模型參數(shù)量大約每18個(gè)月時(shí)間就會(huì)增長40倍。例如2016年 隨著人工智能技術(shù)的不斷發(fā)展，其應(yīng)用場景日益豐富，各行各業(yè)所匯聚的龐大數(shù)據(jù)資源為技術(shù)的實(shí)際應(yīng)根據(jù)第三方咨詢機(jī)構(gòu)格物致勝的統(tǒng)計(jì)數(shù)據(jù)，2022年中國人工智能市場規(guī)模達(dá)到2058億元，預(yù)計(jì)2023-2027年市場規(guī)模將保持28.2%的復(fù)合增長率，2027年中國人工智能市場規(guī)模將達(dá)到7119億元。根據(jù)statista的統(tǒng)計(jì)數(shù)據(jù)，2023年全球人工智能市場規(guī)02020202120222023E2024E0202120222023 多模態(tài)較單一模態(tài)更進(jìn)一步，已經(jīng)成為大模型主戰(zhàn)場。人類通過圖片、文字、語言等多種途徑來學(xué)習(xí)和理解，多模態(tài)技術(shù)也是通過整合多種模態(tài)、對齊不同模態(tài)之間的關(guān)系，使信息在模態(tài)之間傳遞。2023年以來，OpenAI發(fā)布的GPT-4V、Google發(fā)布的Gemini、Anthropic發(fā)布的Claude3均為多模態(tài)模型，展現(xiàn)出了出色的多模態(tài)輸出，包括文本、圖像、音頻、視頻、3D模型等多種模態(tài)。 多模態(tài)大型語言模型(MLLMs)的通用架構(gòu)，由1)視覺編碼器(VisualEncoder)、2)語言模型(LanguageModel)和3)適配器模塊(AdapterModule)組成。1)負(fù)資料來源：DavideCaffagni等 3D生成技術(shù)應(yīng)用廣闊，但仍處在技術(shù)臨界點(diǎn)以前。3D生成技術(shù)可廣泛應(yīng)用于3D虛擬人、3D人臉、3D場景等領(lǐng)域，目前3D生成的主流技術(shù)路徑大致可分為：1)text-to-2D，再通過NeRF或Diffu3D，該路徑直接使用3D數(shù)據(jù)進(jìn)行訓(xùn)練，從訓(xùn)練到微調(diào)到推理都基于3 當(dāng)大模型遷移到機(jī)器人身上，大模型的智能和泛化能力有望點(diǎn)亮通用機(jī)器人的曙光。2023年7月，谷歌推出機(jī)器人模型RoboticsTransformer2(RT-2)，這是一個(gè)全新的視覺-語言-動(dòng)作(VLA)模型，從網(wǎng)絡(luò)和機(jī)器人數(shù)據(jù)中學(xué)習(xí)，并將這些知識(shí)轉(zhuǎn)化為機(jī)器人控制的通用指令。2024年3月，機(jī)器人初創(chuàng)企業(yè)Figure展示了基于OpenAI模型的全尺寸人形機(jī)器人Fig）， 通用人工智能(ArtificialGeneralIntelligence,AGI)是一種可以執(zhí)行復(fù)雜任務(wù)一個(gè)衡量“性能”和“通用性”的矩陣，涵蓋從無人工智能到超人類AGI（一個(gè)在所有任務(wù)上都優(yōu)于所有人的通用人2級(jí)：Competent2級(jí)：Competent（至少3級(jí)：3級(jí)：Expert（至少90百4級(jí)：4級(jí)：Virtuoso（至少995級(jí)：5級(jí)：Superhuman（超ArtificialSuperintellig資料來源：DeepMind《LevelsofAGI:OperationalizingProgress 2023年12月，黃仁勛表示，如果把通用2023年11月，DeepMind聯(lián)合創(chuàng)始人兼首席AGI科學(xué)家ShaneL領(lǐng)的DeepMind研究團(tuán)隊(duì)在Arxiv上公布了一篇名為《AGI的水平：實(shí)現(xiàn)2020年，谷歌機(jī)器人團(tuán)隊(duì)的軟件工程師AlexIrpan認(rèn)為，到2035年我們有10%的概率實(shí)現(xiàn)AGI，但到了202資料來源：DeepMind《LevelsofAGI:OperatiAGI》，國元證券研究所請務(wù)必閱讀正文之后的免責(zé)條款部分 OpenAI由SamAltman、ElonMusk等在2015年創(chuàng)辦，主旨是努力在安全的前提下創(chuàng)建通用人工智能(AGI)并讓全人類共同受益；2020年發(fā)布GPT-3模型，2022年11月發(fā)布GPT-3.5模型，能夠與人類進(jìn)行多輪連續(xù)的各發(fā)布GPT-4模型；2024年2月發(fā)布AI視頻生成模型SOpenAI宣布成OpenAI于3月OpenAI于2月立；公司定位月發(fā)布聊天機(jī)發(fā)布AI視頻生為“非盈利組“封頂盈利”型，9月微軟織”，主旨是獲得該模型獨(dú)能根據(jù)提示詞努力在安全的微軟10億美元夠與人類進(jìn)行生成長達(dá)一分前提下創(chuàng)建通投資，雙方合多輪連續(xù)的各美元，相比去鐘的高清視頻。種對話，給出年增長56倍，Azure云端平較為合理的回全人類共同受臺(tái)服務(wù)開發(fā)AI答，引發(fā)全球資料來源：AI前線公眾號(hào)，MBA百科，騰訊研究院公眾號(hào)，機(jī)器之心官網(wǎng)，華爾街見聞官網(wǎng)，騰 GPT-1通過無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)兩個(gè)步驟訓(xùn)練；GPT-2無需有監(jiān)督微調(diào)，而是通過更大規(guī)模的模型參數(shù)和訓(xùn)練數(shù)據(jù)集進(jìn)行無監(jiān)督預(yù)訓(xùn)練，模型參數(shù)量達(dá)到15億；GPT-3的模型參數(shù)和數(shù)據(jù)集進(jìn)一步擴(kuò)大，模型參數(shù)量增加到1750億，上下文窗口寬度增加到 認(rèn)自身錯(cuò)誤、質(zhì)疑不正確的問題、承認(rèn)自身的無知和對專業(yè)技術(shù)的不了解以及支持連續(xù)多輪對話，極大提升了對話交互模式下的用 2023年3月14日，OpenAI宣布推出大型的多模態(tài)模型GPT-4，可以接收圖像和文本輸入。OpenAI稱，GPT-4參加了多種基準(zhǔn)考試 2GPT發(fā)展回顧：更快更強(qiáng)更便宜的GPT-4Turbo2023年11月7日，OpenAI在開發(fā)者大會(huì)披露新版本具備：1便宜：新模型的價(jià)格是每千輸入token1美分，而每千輸出token3美分，輸入和輸出費(fèi)用分別降至GPT-4(8K)的1/3和1/2，總體使用上降價(jià)約2.75倍；3)更聰明：內(nèi)部知識(shí)庫更新至2023年4月，并支持上傳外部數(shù)據(jù)庫或文件；4)視聽多模態(tài)：支持文生圖模型翻倍，可通過API賬戶申請進(jìn)一步提速。0GPT-4(8K)GPT4( 功能包括自然語言處理、文本生成、理解、語音轉(zhuǎn)錄根據(jù)OpenAI首席執(zhí)行官SamAltma個(gè)性化：理解個(gè)人偏好的能力，如整合用戶信息、電子郵件、日歷、約會(huì)偏好，并與外部數(shù)據(jù)源建立聯(lián)系；3)推理能力和準(zhǔn)確性：請務(wù)必閱讀正文之后的免責(zé)條款部分資料來源：AIGC開放社區(qū)公眾號(hào)，國元證券研究所 2023年9月，OpenAI發(fā)布DALL.E3，比以往系統(tǒng)更能理解細(xì)微差別和細(xì)節(jié)，能夠讓用戶更加輕松地將自己的想法轉(zhuǎn)化為非常準(zhǔn)確的圖像；該模型原生構(gòu)建在ChatGPT之上，用ChatGPT來創(chuàng)建、拓展和優(yōu)化prompt，用戶無需在prompt上花費(fèi)太多時(shí)間。DALL.E3的技術(shù)架構(gòu)主要分為圖像描述生成和圖像生成兩大模塊。圖像描述生成模塊使用了CLIP圖像編碼器和GPT語言模型(GPT-4)，可為每張圖像生成細(xì)致的文字描述；圖像生成模塊先用VAE將高分辨率圖像壓縮為低維向量，降低學(xué)習(xí)難度。然后使用T5Transformer將文本編碼為向量，并請務(wù)必閱讀正文之后的免責(zé)條款部分 2024年2月16日，OpenAI發(fā)布AI生成視頻模型Sora，其卓越之處在于能夠生成跨越不同持續(xù)時(shí)間、縱橫比和分辨率的視頻和圖像，甚至包括生成長達(dá)一分鐘的高清視頻，“碾壓”了行業(yè)目前平均約”4s”的視頻生成長度，AI視頻生成領(lǐng)域迎來Chgeneralpurposesimu Sora不僅接受文字輸入，還可根據(jù)圖像和視頻輸入來生成視頻。Sora能夠執(zhí)行各種圖像和視頻編輯任務(wù)——?jiǎng)?chuàng)建完美循環(huán)的視頻、為靜態(tài)圖像制作動(dòng)畫、在時(shí)間維度上向前或向后擴(kuò)展視頻、在兩個(gè)截然不同的輸入視頻之間實(shí)現(xiàn)無縫過渡、零輸入轉(zhuǎn)換輸入視頻風(fēng)格和場景，展示了該模型在圖像和視頻編輯領(lǐng)域的強(qiáng)大能力和應(yīng)用潛力，有望給產(chǎn)業(yè)端帶來革命請務(wù)必閱讀正文之后的免責(zé)條款部分 像頭運(yùn)動(dòng)的視頻。隨著攝像頭的移動(dòng)和旋轉(zhuǎn)，人物和場景元素在三維空間中始終保持一致的運(yùn)動(dòng)規(guī)律。2)較長視頻的連貫性和對象持久性：這是視頻生成領(lǐng)域面對的一個(gè)重要挑戰(zhàn)，而Sora能有效為短期和長期物體間的依賴關(guān)系建模，人和物被遮擋或離開畫面后，仍能被準(zhǔn)確地保存和呈現(xiàn)。3)與世界互動(dòng)：Sora能以簡單的方式模擬影響世界狀態(tài)的行為，例如畫家可以在畫布上留下新的筆觸。4)模擬數(shù)字世界：Sora能夠模擬人工過程，比如視頻請務(wù)必閱讀正文之后的免責(zé)條款部分 Sora的本質(zhì)是一種Diffusiontransformer模型。Diffusiontransf請務(wù)必閱讀正文之后的免責(zé)條款部分資料來源：深度學(xué)習(xí)與計(jì)算機(jī)視覺公眾號(hào)，國元證券研究所 Sora模型訓(xùn)練范式：patch統(tǒng)一原始視覺數(shù)據(jù)。OpenAI提出了一種用patch作為視頻數(shù)據(jù)來訓(xùn)練視頻模型的方式，patch是將圖像或視頻幀分割成的一系列小塊區(qū)域，是模型處理和理解原始數(shù)據(jù)的基本單元，這是從大語言模型的token汲取的靈感。Token統(tǒng)一了文本的多種模式——代碼、數(shù)學(xué)和各種自然語言，而patch則統(tǒng)一了圖像與視頻。過去的圖像和視頻生成方法通常會(huì)將視頻調(diào)整大小、裁剪或修剪為標(biāo)準(zhǔn)尺寸，而這損耗了視頻生成的質(zhì)量，將圖片與視頻數(shù)據(jù)patch化之后，無需對數(shù)據(jù)進(jìn)行壓縮，就能夠?qū)Σ煌直媛省⒊掷m(xù)時(shí)間和長寬比的視頻和圖像的原 Sora模型訓(xùn)練范式：re-captioning標(biāo)注技為此OpenAI借鑒了DALL·E3中的re-captioning技術(shù)，首先訓(xùn)練了一個(gè)高度描述性的轉(zhuǎn)譯員模型，然后使用它為訓(xùn)練集中的所有視頻生成文本轉(zhuǎn)譯。通過這種方式對高度描述性的視頻轉(zhuǎn)譯進(jìn)行訓(xùn)練，可顯著提高文本保真度OpenAI利用GPT技術(shù)將簡短的用戶提示轉(zhuǎn)換為更長的詳細(xì)轉(zhuǎn)譯，并發(fā)送到視頻模型，令Sora能精確按照用戶提示生成高質(zhì)量視頻。 擁有70億、130億和700億三種參數(shù)，并且允許商業(yè)化。技術(shù)方面，該預(yù)訓(xùn)練模型接受了2萬億個(gè)標(biāo)記的訓(xùn)練，上下文本的兩倍，能處理更長的文本內(nèi)容；性能方面，LLaMA請務(wù)必閱讀正文之后的免責(zé)條款部分 2視覺大模型：開源圖片分割基礎(chǔ)模型S集上進(jìn)行了訓(xùn)練，具有超強(qiáng)的自動(dòng)識(shí)別、切割功能。SAM能感知超出數(shù)據(jù)訓(xùn)練的對象和圖像，就算圖片不在SAM訓(xùn)練范圍內(nèi)，它也能識(shí)別。這意味著，用戶無需再收集自己的細(xì)分?jǐn)?shù)據(jù)，并為用例模型進(jìn)行微調(diào)。SAM可以集成在任何希望識(shí)別、切割對象的應(yīng) 2023年5月，Meta開源了多模態(tài)大模型ImageBind，可跨越圖像、視頻、音頻、深度、熱量和空間運(yùn)動(dòng)6種模態(tài)進(jìn)行檢索。例如，輸入鴿子的圖片，外加一個(gè)摩托音頻，模型能夠檢索出一張摩托和鴿子的圖片。ImageBind模型把不同模態(tài)數(shù)據(jù)串聯(lián)在一個(gè)嵌入空間(EmbeddingSpace)，從多維度理解世界，未來將引入更多模態(tài)增強(qiáng)對世界感知，比如如觸覺、語音、嗅覺和大腦 ）；法....Google再發(fā)LaMDA），具有“意識(shí)”Google再發(fā)LaMDA），具有“意識(shí)”DeepMind發(fā)布Gopher），資料來源：飛哥說AI微信公眾號(hào)，澎湃新聞網(wǎng)，36氪 PaLM2性能升級(jí)，部分測試結(jié)果超過GPT-4，輕量版可運(yùn)行在移動(dòng)設(shè)備上：2023年5月，谷歌發(fā)布PaLM2，對于具有思維鏈谷歌將PaLM2融入辦公軟件、搜索引擎等產(chǎn)品：AI聊天機(jī)器人Bard被整合到谷歌的辦公軟件“全家桶”中，為Gmail、GoogleDocs、Sheets以及Slides創(chuàng)造了名為”DuetAI”的辦公助手；Ba 3多模態(tài)模型：最新發(fā)布Gemini1.5，支持超長上下文窗口組成，核心思想是使用一個(gè)門控網(wǎng)絡(luò)來決定每個(gè)數(shù)據(jù)應(yīng)該支持超長的上下文窗口，信息處理能力進(jìn)一步增強(qiáng)。谷歌增加了Gemini1.5Pro的上下文窗口容量，并實(shí)現(xiàn)在生產(chǎn)中運(yùn)行高達(dá)100 2023年12月，Google發(fā)布最新的圖像模型Imagen2，在數(shù)據(jù)集和模型方面改善了文本到圖像工具經(jīng)常遇到的許多問題，包括渲染逼真的手和人臉，以及保持圖像沒有干擾視覺Imagen2基于擴(kuò)散技術(shù)提供了高度的靈活性，使控制和調(diào)整圖像風(fēng)格變得更加容易。通過提供參考風(fēng)格的圖像并結(jié)合文字提示，使用者可以調(diào)節(jié)Imagen2生成相同風(fēng)格的新圖像；此外，還支持修補(bǔ)(inpainting)和擴(kuò)圖(outpainting 示生成可玩的交互式環(huán)境。谷歌認(rèn)為Genie是實(shí)現(xiàn)通用智能體的基石之作，未來的AI智能體可以在新生成世界的無休止的curriculum中接受訓(xùn)練，從Genie學(xué)到的潛在動(dòng)作可以轉(zhuǎn)移到真實(shí)的人類設(shè)計(jì)的環(huán)境中。Genie包含三個(gè)關(guān)鍵組件：1)潛在動(dòng)作模型(LatentActionModel,LAM)，用于推理每對幀之間的潛在動(dòng)作a；2)視頻分詞器(Tokenizer)，用于將原始視頻幀轉(zhuǎn)換為離散tokenz；3)動(dòng)態(tài)模型，給定潛在動(dòng)作和過去幀的token，用來預(yù)測視頻的下一幀。請務(wù)必閱讀正文之后的免責(zé)條款部分 Anthropic是一家人工智能創(chuàng)業(yè)公司，由OpenAI前研究副總裁達(dá)里奧·阿莫迪(DarioAmodei)、大語言模型GPT-3論文的第一作者湯姆·布朗(TomBrown)等人在2021年創(chuàng)立。2023年2月，獲得Google投資3億美元，Google持股10%；2023年3月，發(fā)布類似請務(wù)必閱讀正文之后的免責(zé)條款部分 2多模態(tài)模型：Claude3基準(zhǔn)測試2024年3月，Anthropic發(fā)布最新的多模態(tài)模型Claude3，該系列包含三個(gè)模型：Claude3Haiku、Claude個(gè)維度樹立了新的行業(yè)基準(zhǔn)。多模態(tài)方面，用戶可以上傳照片、圖表、文檔和其他類型的非結(jié)構(gòu)化數(shù)據(jù)，讓AI分析和解答。請務(wù)必閱讀正文之后的免責(zé)條款部分預(yù)計(jì)未來6個(gè)月內(nèi)，股價(jià)漲跌幅優(yōu)于上證指數(shù)20%以上分析師聲明作者具有中國證券業(yè)協(xié)會(huì)授予的證券投資咨詢執(zhí)業(yè)資格或相當(dāng)?shù)膶I(yè)勝任能力，以勤勉的職業(yè)態(tài)度，獨(dú)立、客觀地出具本報(bào)告。本人承諾報(bào)告所采用的數(shù)據(jù)均來自合規(guī)渠道，分析邏輯基于作者的職業(yè)操守和專業(yè)能力，本報(bào)告清晰準(zhǔn)確地反映了本人的研究觀點(diǎn)并通過合理判斷得出結(jié)論，結(jié)論不受任何第三方的授意、影響。證券投資咨詢業(yè)務(wù)的說明根據(jù)中國證監(jiān)會(huì)頒發(fā)的《經(jīng)營證券業(yè)務(wù)許可證》(Z23834000)，國元證券股份有限公司具備中國證監(jiān)會(huì)核準(zhǔn)的證券投資咨詢業(yè)務(wù)資格。證券投資咨詢業(yè)務(wù)是指取得監(jiān)管部門頒發(fā)的相關(guān)資格的機(jī)構(gòu)及其咨詢?nèi)藛T為