科技行業(yè)龍頭巡禮專題(一)：如何看待華為盤古大模型5.0

Q1盤古大模型為何能在AI領域中脫穎而出？生態(tài)建設與合作伙伴華為云的全棧AI能力盤古大模型盤古大模型集成了華為云團隊在AI領域數(shù)十項研究成果，并且受益于華為的全棧式AI解決方案，與昇騰（Ascend）芯片、昇思（MindSpore）語言、ModelArts平臺深度結(jié)合。技術創(chuàng)新與突破 計算能力與應用場景盤古大模型在處理復雜、不均勻的3D

氣象數(shù)據(jù)時，創(chuàng)造性地提出了適應地球坐標系統(tǒng)的三維神經(jīng)網(wǎng)絡（3DEarth-Specific

Transformer），并使用了層次化時域聚合策略來減少預報迭代次數(shù)，從而減少迭代誤差。這一創(chuàng)新使得盤古大模型在氣象預報領域取得了顯著成果，并在《Nature》正刊上發(fā)表了相關研究成果?；谌A為自研達芬奇架構廣泛的應用場景三維神經(jīng)網(wǎng)絡與層次化時域聚合策略全系列、多模態(tài)、強思維與鴻蒙系統(tǒng)的協(xié)同ISV生態(tài)建設華為云在

to

B

和to

G

領域有著深厚積累，同時多年來致力于ISV（獨立軟件提供商）的生態(tài)建設。中軟動力、軟通動力、南威軟件等深耕各行業(yè)的軟件服務商都是華為云的合作伙伴，共同推動了盤古大模型的行業(yè)落地和應用。華為云構建了包括AI原生的云基礎設施、數(shù)據(jù)湖和數(shù)據(jù)治理、算子庫、算法框架以及AI開發(fā)平臺和大模型的全棧工業(yè)AI能力。其云基礎設施架構

CloudMatrix

將CPU、NPU、DPU、存儲和內(nèi)存等資源進行了全面互聯(lián)和池化，為AI應用提供了強大的算力支持。鴻蒙系統(tǒng)作為華為面向萬物互聯(lián)時代的原生操作系統(tǒng)，與盤古大模型形成了良好的協(xié)同效應。資料來源：華為官網(wǎng)、Nature、鳳凰網(wǎng)、中國基金報、網(wǎng)易、CSDN134盤古礦山大模型、盤古政務大模型、盤古氣象大模型、盤古汽車大模型、盤古醫(yī)學大模型、盤古數(shù)字人大模型、盤古研發(fā)大模型盤古自然語言大模型、盤古多模態(tài)大模型、盤古視覺大模型、盤古預測大模型、盤古科學計算大模型L2層是盤古大模型的最上層，包含了可以讓用戶自主訓練的更多細化場景模型。這些模型是基于L1層行業(yè)通用大模型進一步細化和定制化的結(jié)果。L1層是基于L0層基礎大模型進一步開發(fā)的行業(yè)2 通用大模型。這些模型針對特定行業(yè)進行了優(yōu)化和微調(diào)，以適應不同行業(yè)的特定需求。L0層是盤古大模型的基石，包含了五個基礎大模型，這些模型是構建更高級別模型的基礎。解決行業(yè)難題，釋放AI生產(chǎn)力L0、L1、L2三層架構重塑行業(yè)技術扎根開放同飛傳送帶異物檢測、重介選煤洗選、政務熱線、城市事件處理、臺風路徑預測、自動駕駛研發(fā)、車輛輔助設計、輔助醫(yī)療、數(shù)字人直播、智能運維等資料來源：每日經(jīng)濟新聞L2

場景模型L0

基礎大模型盤古大模型L1

行業(yè)大模型根據(jù)OpenAI自己發(fā)布的最新測試結(jié)果，從這個評測看，數(shù)學 例方面，GPT-4-turbo-2024-04-09版本的模都有不同程度的提高，最高可以提升

19%主要優(yōu)勢抓住機遇啟示GPT-4-Turbo的優(yōu)勢GPT-4-Turbo的優(yōu)勢包括：增強的上下文處理能力（可處理高達128K個token），更新的知識庫（包含至2023年12月的信息），更低的成本效益，以及新功能集（如JSON模式、可復現(xiàn)輸出等），這些使其

處理復雜任務時更準確、高效，并吸引更多開發(fā)者使用。啟示抓住機遇主要優(yōu)勢上下文處理能力模 規(guī)模知識庫成本效益新功能集AI技術快速發(fā)展市 需求OpenAI品牌影響力資料來源：OpenAI、數(shù)據(jù)學習、網(wǎng)易、電子技術設計對盤古大模 的啟示華為盤古大模 可從GPT-4-Turbo的成功中汲取經(jīng)驗，注重技術創(chuàng)新與升級，緊密貼合市

需求，加強品牌建設，并積極推動應用落

。Q2盤古大模型推出的背景和發(fā)展如何？行業(yè)應用廣泛定制化需求增加新興應用場景不斷涌現(xiàn)技術融合與創(chuàng)新AI技術逐漸成熟市場需求多元化小數(shù)據(jù)與優(yōu)質(zhì)數(shù)據(jù)應用、人機對齊技術、可解釋性模型增強、大規(guī)模預訓練模型優(yōu)化、全模態(tài)大模型發(fā)展、具身智能與實體AI系統(tǒng)、以及量子計算與AI的結(jié)合等，這些創(chuàng)新正引領AI技術邁向新高度。競爭格局多元化技術創(chuàng)新與突破數(shù)字化轉(zhuǎn)型趨勢資料來源：人民網(wǎng)、前瞻網(wǎng)、CSDN、《瞭望》（郭方達）、澎湃新聞、中國科學技術協(xié)會、網(wǎng)易國內(nèi)市場：大模型發(fā)展勢頭尤為迅猛。大型語言模型可分為四大競爭派系：互聯(lián)網(wǎng)公司(如百度、阿里、騰訊、華為等)、AI公司(如瀾舟科技、昆侖萬維等)、學術及科研機構(如清華、北大、中科院等)以及行業(yè)專家團隊初創(chuàng)公司。目前國內(nèi)已經(jīng)有300多個AI大模型，同臺競技。2024年10月，世界經(jīng)濟論壇

(WEF)

公布我國有72家入選“燈塔工廠”，占全球“燈塔工廠”總數(shù)的42%，位居全球首位。截至2023年，我國AI大模型行業(yè)規(guī)模已達到147億元，且近三年復合增速高達114%。金融、政府、影視游戲和教育領域是大模型滲透率最高的四大行業(yè)，滲透率均超過50%。預計到2028年，我國AI大模型行業(yè)的市場規(guī)模將突破千億元，五年復合增速將超過50%。產(chǎn)業(yè)生態(tài)構建華為基于鯤鵬與昇騰兩大基礎芯片族，構建了包括歐拉、鴻蒙等基礎軟硬件在內(nèi)的開源開放生態(tài)。其中，鯤鵬面向通用計算，昇騰面向人工智能計算。20232020202120222023立項與研發(fā)華為開始在華為云內(nèi)部立項盤古大模型項目。首次發(fā)布盤古大模型正式對外發(fā)布。盤古大模型2.0版本發(fā)布。華為與能源集團等合作伙伴開始將大模型初步應用于企業(yè)、工業(yè)和科學研究。技術深化與領域拓展面向行業(yè)的全面升級華為云盤古大模型3.0正式發(fā)布。盤古大模型3.0是完全面向行業(yè)的大模型，采用了“5+N+X”的三層架構包含L0基礎大模型、L1行業(yè)大模型及L2場景模型三層架構。持續(xù)優(yōu)化華為云以昇騰AI云服務為算力底座，以盤古大模型聯(lián)合創(chuàng)新為基礎，以模型社區(qū)和全面升級的云學堂為雙引擎，攜手伙伴、開發(fā)者合作共建“百模千態(tài)”。持續(xù)創(chuàng)新與突破2024年6月21日，盤古大模型5.0正式發(fā)布。該版本在全系列、多模態(tài)、強思維三個方面進行了全面升級。盤古大模型是由華為公司開發(fā)的一款基于深度學習和自然語言處理技術的中文AI模型，涵蓋了自然語言處理（NLP）、計算機視覺（CV）和科學計算等多個領域，擁有超過1.7萬億個參數(shù)，是目前世界上最大的中文AI模型之一。盤古大模型采用完全的分層解耦設計，包括L0層的5個基礎大模型、L1層的N個行業(yè)通用大模型、以及L2層可以讓用戶自主訓練的更多細化場景模型。2024資料來源：華為官網(wǎng)、環(huán)球科技網(wǎng)、百度百科、CSDNQ3盤古大模型5.0有什么優(yōu)勢？華為自研盤古大模型，跳級迭代：

Pangu3.0Pangu5.0包含了不同參數(shù)規(guī)格的模型，以適配不同的業(yè)務場景。從十億級參數(shù)的Pangu

E系列到萬億級參數(shù)的Pangu

S系列，分別適用于手機、PC端側(cè)智能應用、低時延推理場景、復雜任務處理及跨領域多任務處理，滿足多樣化的業(yè)務需求。

不僅支持文本、圖片、視頻等常見模態(tài)，還新增了對雷達、紅外、遙感等模態(tài)的支持，且在多模態(tài)理解和生成能力上均有顯著提升，尤其在自動駕駛、工業(yè)制造等領域有廣泛應用前景。復雜任務及調(diào)用各種工具和資源，從而成為更高效的行業(yè)助手。華為云已經(jīng)從盤古3.0時代的3T

Tokens的數(shù)據(jù)，演進到了盤古5.0的10T

Tokens的高質(zhì)量數(shù)據(jù)，其中合成數(shù)據(jù)占比超過了30%。盤古大模型5.0采用了優(yōu)質(zhì)的、面向高階能力的數(shù)

據(jù)

合

成

方

法

。

這

種

方

法

以

弱

模

型

輔

助

強

模

型

的weak2strong方式，通過迭代式合成高質(zhì)量數(shù)據(jù)，確保數(shù)據(jù)的完整性、相關性和知識性不弱于真實數(shù)據(jù)。數(shù)據(jù)高效參

盤古大模型5.0提出了基于Transformer架構的新型大語言模數(shù)

型架構盤古π。這一新架構通過增廣殘差連接和改造激活函高

數(shù)等方式，解決了Transformer架構中的特征坍塌問題，提效

升了模型的精度。華為云通過優(yōu)化昇騰AI云服務，顯著提升了模型訓練的穩(wěn)定性和效率，如萬億參數(shù)模型訓練可40天無中斷，集群故障恢復時間縮短至10分鐘。此外，華為云創(chuàng)新推出CloudMatrix云基礎設施，實現(xiàn)多元算力對等全互聯(lián)，將AI算力從單體提升至矩陣級別。為解決“內(nèi)存墻”問題，華為云還發(fā)布了EMS彈性內(nèi)存存儲服務，利用顯存擴展等技術釋放極致算力。算力高效全系列升級多模態(tài)升級強思維升級在數(shù)學能力、復雜任務規(guī)劃能力和工具調(diào)用能力上均有所增強，能夠更好地處理數(shù)學問題、規(guī)劃盤古大模型5.0的訓練過程Pangu5.0資料來源：華為云、新華網(wǎng)、騰訊網(wǎng)、觀察者網(wǎng)、中國日報網(wǎng)、中國發(fā)展改革百家號、東興證券研究所PanguEmbeded十億級手機/PC/車PanguProfessional百億級單卡可推PanguUltra千億級復雜推理PanguSuper萬億級跨領域多任務盤古自然語言大模型盤古多模態(tài)大模型盤古視覺大模型盤古預測大模型盤古科學計算大模型5.0版本不再局限于單一模型，而是推出了不同參數(shù)規(guī)格的模型，以適配不同的業(yè)務場景。包括PG-Alpha、PG-Beta、PG-Gamma、PG-Delta等不同規(guī)格的模型，以適配不同的業(yè)務場景。結(jié)合物理世界：盤古大模型5.0在全系列升級中，更加注重與物理世界的結(jié)合。例如，推出了PG-Radar系列模型，將AI與物理世界更好地結(jié)合起來，實現(xiàn)智能的萬物互聯(lián)。這一技術創(chuàng)新不僅提升了模型對物理世界的理解能力，也為邊緣智能等特定場景提供了更好的解決方案。資料來源：華為開發(fā)者大會2024、華為官網(wǎng)精準理解可控生成在內(nèi)容生成方面，盤古大模型5.0采用了業(yè)界首創(chuàng)的STCG（SpatioTemporalControllableGeneration，可控時空生成）技術，能夠生成更加符合物理規(guī)律的多模態(tài)內(nèi)容。這一技術使得盤古大模型在自動駕駛、工業(yè)制造、建筑等多個行業(yè)場景中都有廣泛的應用前景。5.0

版本不僅支持文本、圖片、視頻等常見模態(tài)，還新增了對雷達、紅外、遙感等模態(tài)的支持，且在多模態(tài)理解和生成能力上均有顯著提升，尤其在自動駕駛、工業(yè)制造等領域有廣泛應用前景。大規(guī)模生成和實際場景相一致的內(nèi)容大模型+行業(yè)知識理解物理規(guī)律除文本、圖片、視頻外，5.0版本還增加了雷達、紅外、遙感等更多模態(tài)。盤古大模型5.0版本演進了模型架構，提出了基于Transformer

架構的新型大語言模型架構盤古π（PanGu-π），通過增廣殘差連接和新的級數(shù)激活函數(shù)等方式，大幅提升了模型的精度。資料來源：華為、騰訊網(wǎng)、機器之心華為云提出基于多步生成和策略搜索的MindStar方法。該方法首先把復雜推理任務分解成多個子問題，每個子問題都會生成多個候選方案，通過搜索和過程反饋的獎勵模型，來選擇最優(yōu)多步回答的路徑。在華為自建的難例評測集中，MindStar方法使模型的平均能力提升了30分，使用了MindStar的百億模型達到業(yè)界主流千億模型的推理能力，這相當于使用慢思考能帶來10倍以上的參數(shù)量的加成。目前在單步任務和文本記憶類任務，例如知識問答和考試上，大模型已經(jīng)展現(xiàn)出超過人類的卓越表現(xiàn)。而在多步推理和復雜任務的處理上，AI還沒有達到人類的平均水平，這一方面涉及到的任務包括代碼生成、數(shù)學運算、邏輯推理等。這體現(xiàn)了人類在知識的抽象和推理上的能力難以替代。技術挑戰(zhàn)關鍵結(jié)果關鍵技術 MindStar資料來源：華為官網(wǎng)、騰訊網(wǎng)90%任務成功率加速模型開發(fā)10分鐘快恢：集群故障恢復時長40天長穩(wěn)：千億模型訓練中無中斷時長使能百模千態(tài)目前昇騰AI云服務已全面適配行業(yè)主流的100多個大模型，以云服務的方式協(xié)助客戶開發(fā)，訓練，托管和應用模型，打造百模千態(tài)的“黑土地”。100+全面適配主流大模型服務優(yōu)勢高效的遷移工具鏈AIgallery生態(tài)繁榮極致的資源利用生態(tài)兼容與易用性領先的昇騰達芬奇架構資料來源：華為云、觀察者網(wǎng)、網(wǎng)易Q