2024年中國AI大模型產(chǎn)業(yè)發(fā)展報告

目錄第一章?lián)P帆起航：中國AI大模型產(chǎn)業(yè)發(fā)展背景 1中國AI大模型產(chǎn)業(yè)發(fā)展政策驅動力 1AI大模型產(chǎn)業(yè)發(fā)展技術驅動力 4中國AI大模型產(chǎn)業(yè)發(fā)展市場驅動力 9第二章百舸爭流：中國AI大模型產(chǎn)業(yè)現(xiàn)狀及典型案例 12AI大模型主要特征 12AI大模型主要類型 13中國AI通用大模型典型案例 15中國AI行業(yè)大模型典型案例 20中國AI端云結合大模型典型案例 27第三章大浪淘沙：中國AI大模型產(chǎn)業(yè)發(fā)展所面臨的挑戰(zhàn) 31大模型產(chǎn)業(yè)遭遇算力瓶頸 31主流大模型架構仍存在諸多局限 31高質量的訓練數(shù)據(jù)集仍需擴展 32大模型爆款應用尚未出現(xiàn) 32第四章天闊云高：中國AI大模型產(chǎn)業(yè)趨勢展望 3434AI大模型趨于通用化與專用化，垂直行業(yè)將是大模型的主戰(zhàn)場 34AI35AI高性能芯片不斷升級，AI大模型產(chǎn)業(yè)生態(tài)體系將不斷完善 36結語 37AI大模型將加快新質生產(chǎn)力發(fā)展，助力我國經(jīng)濟社會高質量發(fā)展 371/371/37第一章?lián)P帆起航：中國AI大模型產(chǎn)業(yè)發(fā)展背景AI201720222024AICVNLPPAGEPAGE4/37AI近年來，AI2017Google提出基于自注意力機制的神經(jīng)網(wǎng)絡結構——Transformer，OpenAIGoogleGPT-1BERT2022OpenAI，OpenAIGPT-4發(fā)布，其具備多模態(tài)理解與多類型內(nèi)容生成能力。2024OpenAISoraTransformerTransformerTransformerTransformer2017Google率。TransformerNNTransformer架構圖輸出概率掩碼多頭自注意力殘差連接和層歸一化掩碼多頭自注意力殘差連接和層歸一化多頭自注意力殘差連接和層歸一化前饋層殘差連接和層歸一化前饋層殘差連接和層歸一化多頭自注意力殘差連接和層歸一化輸出嵌入輸入嵌入線性層Softmax層Nx位編碼 位編碼輸入 輸（右移）制圖：報告組根據(jù)公開信息整理Transformer查詢鍵（值QKSoftmaxVReLUAIAI語言大模型關鍵技術主要涉及基于人類反饋強化學習、指令微調(diào)、模型提示等相關技術?；谌祟惙答亸娀瘜W習基于人類反饋強化學習(ReinforcementLearningfromHumanFeedback,RLHF)，是指將人類標注者引入到大模型的學習過程中，訓練與人類偏好對齊的生成符合用戶偏好的內(nèi)容?；谌祟惙答亸娀瘜W習具體包括以下幾個步驟：訓練監(jiān)督策略模型：AI根據(jù)給定的輸入預測輸出或行為。訓練獎勵模型：號，用于后續(xù)的強化學習過程。采用近端策略優(yōu)化進行強化學習：化（PPO）PPOPPO并根據(jù)每個行為獲得的獎勵來評估其質量，智能系統(tǒng)逐步改進行為策略?；谌祟惙答亸娀瘜W習示意圖

制圖：報告組根據(jù)公開信息整理指令微調(diào)(InstructionTuning)，是一種幫助語言大模型實現(xiàn)人類語言指（SupervisedFine-Tuning，SFT）SFT（LLMs類指令。通過大規(guī)模文本數(shù)據(jù)預訓練之后的語言大模型具備作為通用任務求解器的型提示技術包括指令提示和思維鏈提示。指令提示（InstructionPrompt）。OpenAIGPT-3GPT-3之看起來更像是在語言大模型預訓練過程中解決的問題。思維鏈提示（ChainofThought,CoT）理的條件，每個演示都包含一個問題和一個通向最終答案的推理鏈。AIAIAI辦公場景近年來，隨著文字、語音、圖像等處理能力躍遷，大模型搖身變?yōu)椤爸怼弊呷朕k公室和會議室，結合傳統(tǒng)軟件使得辦公和會議智能化。PPT話即可生成公式、數(shù)據(jù)批量處理、自動生成表格。智能會議方面，大模型可從會議策劃、同聲傳譯、會議記錄等各環(huán)節(jié)賦能。會議策劃場景大模型根據(jù)會議主題等提示詞，自動生成會議環(huán)節(jié)、會議分論壇、制造場景應鏈管理，實現(xiàn)工廠管理的智能化轉型。PAGEPAGE10/37在研發(fā)設計階段，以大模型+EDAPCBAIGC金融場景出現(xiàn)在個性化服務、電子營銷、金融欺詐檢測、信貸支持等服務場景中。醫(yī)療場景得益于近年來醫(yī)療大模型的不斷迭代，復雜的醫(yī)療數(shù)據(jù)分析任務得以解決。由于患者行為數(shù)據(jù)的獨特性，大模型通過個性化設計，滿足患者“千人千面”的醫(yī)療服務需求，應用于智慧影像、智慧手術、智慧健康等領域。CTMRDRUSDSA健康建議。政務場景在辦公、制造、金融、醫(yī)療場景得到助力的同時，政務場景下的效率、信息參考范圍、經(jīng)驗共享、規(guī)范性等常見痛點也獲得大模型能力加持得以解決。為提升效率，大模型利用自動化的政策檢索、政策比對解決海量政策參考、第二章百舸爭流：中國AI大模型產(chǎn)業(yè)現(xiàn)狀及典型案例AIAIChatGPTAI有巨量參數(shù)和深度網(wǎng)絡結構,能學習并理解更多的特征和模式,從而在處理復雜通用問題求解能力,被視作通往通用人工智能的重要路徑。AI大模型的三大特征：泛化性、通用性、涌現(xiàn)性制圖：報告組繪制AI按照部署方式劃分，AI云數(shù)據(jù)存儲需求等特點；端側大模型通常部署在手機、PCPC（的需求進行模型PCAI大模型主要分為云側大模型和端側大模型兩類制圖：報告組根據(jù)公開信息整理AIAIAI知大模型、百度公司的文心一言大模型、阿里巴巴的通義千問大模型等；行業(yè)AIYonGPTAIvivoAINOMIGPT中國AI大模型分類及典型案例類別AI大模型功能AI大模型案例AI通用大模型文本生成、語言理解、知識問答、邏輯推理、數(shù)學能力、代碼能力、多模態(tài)能力等百度公司—文心一言大模型阿里巴巴—通義千問大模型AI行業(yè)大模型容生成、輔助決策助決策品銷售傳媒：錄音轉寫、新聞寫作、視頻剪輯蜜度—文修大模型容聯(lián)云—赤兔大模型用友—YonGPT人民網(wǎng)—“寫易”智能創(chuàng)作引擎AI端側大模型物體識別、語言理解蔚來—NOMIGPTAI端云結合大模型語義搜索、知識問答、文本創(chuàng)作、圖片生成、智慧交互等vivo—藍心大模型制圖：報告組根據(jù)公開信息整理AI案例一：科大訊飛—訊飛星火認知大模型大模型簡介：訊飛星火認知大模型訊飛星火認知大模型具備七大核心能力：文本生成、語言理解、知識問答、邏輯推理、數(shù)學能力、代碼能力和多模態(tài)能力。大模型優(yōu)勢：20241V3.5GPT-4Turbo96%GPT-4VGPT-4。訊飛星火認知大模型V3.5七大能力圖片來源：訊飛星火認知大模型V3.5升級發(fā)布會訊飛星火認知大模型V3.5人機交互方面V3.5知識學習與內(nèi)容創(chuàng)作方面數(shù)智化生產(chǎn)力方面V3.5大模型應用：訊飛星火七大能力的提升，實現(xiàn)了各類應用場景性能升級。語言理解方面，情感分析可以提取文本情感色彩更好了解內(nèi)容觀點和態(tài)度。文本摘要總結簡潔準文本生成方面PPTAI撰寫助手、多語種文檔生成、AI知識問答方面邏輯推理方面數(shù)學能力方面代碼能力方面多模態(tài)能力方面案例二：百度公司—文心一言大模型大模型簡介：理解能力、生成能力、邏輯能力、記憶能力。大模型優(yōu)勢：2023年10月發(fā)布的“文心大模型4.0”，相比上一代文心大模型，四大能32理解能力生成能力邏輯能力/記憶能力對話的重點，輕松勝任復雜問題、沉浸體驗角色對話。4.0（1）在萬卡算力上基于飛槳平標注到評估閉環(huán)，充分提高數(shù)據(jù)的利用效率，大幅提升模型效果。（3）基于有文心大模型4.0典型特征

圖片來源：百度世界大會文案創(chuàng)作方面搜索問答方面多模態(tài)生成方面數(shù)理邏輯推算方面代碼助手Comate，編程語言和IDE。案例三：阿里巴巴—通義千問大模型大模型簡介：通義千問是阿里云研發(fā)的預訓練語言模型，基于先進的自然語言處理技術（NLP）,執(zhí)行理解、生成和解釋人類語言、圖片和文檔等任務。通義千問能在通義千問具備中英文理解、數(shù)學推理、代碼理解等能力。大模型優(yōu)勢：2023102.01.0中英文理解能力2.0MMLU（伯克利大學、哥倫比亞大學等聯(lián)合發(fā)布）82.5。中2.0C-EVAL（上海交大和清華聯(lián)合研發(fā)的中文大語言模型測試集數(shù)學推理GSM8K（OpenAI第二，展示了強大的計算和邏輯推理能力；代碼理解方面，HumanEval（OpenAI發(fā)布202310通義千問2.0參數(shù)及指標評測

圖片來源：阿里云公眾號創(chuàng)意文案應用辦公助理應用于：“SWOT“PPTPPT學習助手應用趣味生活應用輸入菜名逐步指導提供美食烹飪秘訣。“AIAI案例四：容聯(lián)云—赤兔大模型大模型簡介：問答知識庫、知識運用、數(shù)據(jù)分析、智能對話框架、流程管理。大模型優(yōu)勢：智能性方面是客戶檢索增強會話分析邏輯推理數(shù)據(jù)分析可控性方面投產(chǎn)比方面AI大模型應用：Copilot具備三大核心能力：大模型話術、智能知識庫、會話洞察。大模型話術：容犀Copilot智能知識庫會話洞察Copilot更佳應答話術，診斷客戶情緒變化，提醒措辭及注意事項。容犀Copilot產(chǎn)品應用場景圖片來源：容聯(lián)云公眾號案例五：蜜度—文修大模型大模型簡介：文修大模型是蜜度推出的一款聚焦于智能校對領域的大語言模型，基于蜜度在校對領域的知識和經(jīng)驗積累，為政務單位、新聞媒體、企業(yè)單位、學校機構、出版機構等專業(yè)用戶提供更貼合使用場景的校對服務。文修大模型具備校對能力強、速度快、匹配度高三大特點，更好地解決垂直行業(yè)的問題。大模型優(yōu)勢：2710大模型應用：政務單位領域新聞媒體領域企業(yè)單位領域保障學術嚴謹性。通過AI容差錯概率，保障內(nèi)容的規(guī)范性、準確性。案例六：用友—YonGPT大模型大模型簡介：YonGPT4智能化的業(yè)務運營、自然化的人機交互、智慧化的知識生成、語義化的應用生成。YonGPT企業(yè)服務大模型整體架構圖圖片來源：用友官網(wǎng)大模型優(yōu)勢：YonGPTYonGPTPrompt系化的企業(yè)服務大模型。YonGPT效的支撐。大模型應用：用友企業(yè)服務大模型YonGPT在智能化業(yè)務運營方面：YonGPT在自然化人機交互方面：YonGPT在智慧化知識生成方面：YonGPT在語義化應用生成方面：YonGPTYonGPT企業(yè)收入/利稅經(jīng)營智能分析智能生單智能招聘AI智能大搜案例七：“寫易”智能創(chuàng)作引擎大模型簡介：“寫易”智能創(chuàng)作引擎產(chǎn)品架構圖片來源：人民網(wǎng)大模型優(yōu)勢：高效的智能創(chuàng)作引擎25專業(yè)的涉政內(nèi)容審校2.3.4.內(nèi)容豐富的寫作素材知識庫大模型應用：AI案例八：vivo—藍心大模型大模型簡介：藍心大模型是行業(yè)首個在手機端運行的開源自研大模型，也是更適合中文用5（107070013001750復雜任務編排等能力。基于藍心大模型能力，vivoVvivo藍心大模型矩陣圖片來源：vivo官網(wǎng)（注：榜單信息為23年11月數(shù)據(jù)）1）矩陣化優(yōu)勢vivo機內(nèi)存、功耗。10藍心大模型（1B），是面向端側場景打造的專業(yè)文要、生圖的場景；70藍心大模型（7B），是面向手機打造的端云兩用7BAI億參數(shù)的（70B）vivo13001750端側優(yōu)勢1B7B1B6010-20內(nèi)存低：vivo1B7B1.3G3.8G將藍心大模型置于終端設備上可真安全：vivo算法優(yōu)勢。首先，強大的基礎能力是大模型的根基。在預訓練階段，vivoTransformer采用混合精度訓練以及梯度縮放策略縮短訓練周期精準的指令跟隨是大模型與用戶交互的核心。vivo采用“targetonlyloss”方法，并通過聚類分析對指令進行適應性處理正確的價值取向是大模型的靈魂vivo300200vivo，在安全性上有明顯提升。大模型應用：藍心小VVOriginOS4超能語義搜索超能問答AI2AI路人隱身通過對話消除路人，生成更為純凈的圖片；超能智慧交互：1、智能識屏服務功能：一鍵識別屏幕上的文本、網(wǎng)頁鏈接，提取有效信息；2、超直覺化的交互方式：交互更多元，語音、文字、點擊、拖拽、懸浮形式，互動更輕松。藍心千詢vivoAI藍心千詢AIAIAI戶可以通過AIAI/AIPPT第三章大浪淘沙：中國AI大模型產(chǎn)業(yè)發(fā)展所面臨的挑戰(zhàn)大模型產(chǎn)業(yè)遭遇算力瓶頸AIAIAIGPTA100、H100AIAIAzure1A100AI1GPUGPUA100A100GPUA800AIAI大模型產(chǎn)業(yè)發(fā)展受到算力層面的一些制約。主流大模型架構仍存在諸多局限AITransformer用內(nèi)存儲量多等局限性。首先，TransformerTransformer321000Transformer1000Transformer400GB高質量的訓練數(shù)據(jù)集仍需擴展AI5TB，其中開源的文本部分僅為200GB。另外一個開源的中文本數(shù)據(jù)集CLUECorps100G。相比之下，GPT-345TBAI大模型爆款應用尚未出現(xiàn)自ChatGPTiOS版本發(fā)布近十個月以來，該應用一直在下載量、用戶支出GPT4.020241300GPTGPTs。GPTsConsensus2GrimoireHTMLCSSJavaScript（或其他的編程應用。AI帶來的真正便利。第四章天闊云高：中國AI大模型產(chǎn)業(yè)趨勢展望AICCB業(yè)務模式，提供營銷、客服、會議記錄、文本翻譯、預算管理等個性化服務。端側大模型具有成本低、移動性強、數(shù)據(jù)安全等優(yōu)勢,主要應用在手機、PCCAI2023500020275.8320275130CAI（音、視頻）理解和生成能力。療、手術評估、導診服務。BAI2023年6開源ChatGLM3系列模型。2023年11月，vivo開源70億2023年12Qwen-1.8B和Qwen-