2023年華為AI盤古大模型專題研究 實現(xiàn)行業(yè)數(shù)據(jù)參與AI持續(xù)迭代-大幅提升AI應(yīng)用的二次開發(fā)效率

2023年華為AI盤古大模型專題研究實現(xiàn)行業(yè)數(shù)據(jù)參與AI持續(xù)迭代_大幅提升AI應(yīng)用的二次開發(fā)效率算力資源華為鯤鵬生態(tài)：華為自主芯片→鯤鵬芯片→鯤鵬服務(wù)器→歐拉操作系統(tǒng)→高斯數(shù)據(jù)庫→行業(yè)應(yīng)用1、鯤鵬芯片：鯤鵬920作為低功耗、高性能的Arm處理器，為鯤鵬服務(wù)器主板及整機產(chǎn)品提供芯片支撐，是鯤鵬生態(tài)發(fā)展壯大的核心所在，在此基礎(chǔ)上，華為進一步開啟自主研發(fā)芯片，為鯤鵬生態(tài)發(fā)展奠定堅實基礎(chǔ)。2、鯤鵬服務(wù)器：華為憑借多年積累的硬件工程能力，打造TaiShan服務(wù)器，使能整個產(chǎn)業(yè)鏈，進一步構(gòu)建完整鯤鵬生態(tài)。3、歐拉操作系統(tǒng)：作為面向B端的電腦服務(wù)器操作系統(tǒng)，華為自主研發(fā)的EulerOS，以Linux穩(wěn)定系統(tǒng)內(nèi)核為基礎(chǔ)，南向支持多樣性設(shè)備，北向覆蓋全場景應(yīng)用，橫向?qū)峪櫭桑ㄟ^能力共享實現(xiàn)生態(tài)互通。4、高斯數(shù)據(jù)庫：華為GaussDB是主打政企核心業(yè)務(wù)負載的金融級分布式數(shù)據(jù)庫，目前已實現(xiàn)助力部分保險及車企數(shù)字化轉(zhuǎn)型。5、行業(yè)應(yīng)用：華為以行業(yè)聚合應(yīng)用，通過平臺和生態(tài)雙輪驅(qū)動，形成行業(yè)應(yīng)用矩陣，為眾多行業(yè)客戶提供解決方案。并陸續(xù)成立五大軍團，不斷開發(fā)全新應(yīng)用場景。華為昇騰AI產(chǎn)業(yè)：昇騰AI處理器→CANN異構(gòu)計算架構(gòu)→MindSporeAI框架→應(yīng)用使能→行業(yè)應(yīng)用1、Ascend：昇騰AI處理器作為基礎(chǔ)，通過模塊、標卡、小站、服務(wù)器等豐富的產(chǎn)品形態(tài)，打造面向“端、邊、云“的全棧解決方案，為整個昇騰AI產(chǎn)業(yè)的底層核心支撐。2、CANN：作為華為昇騰AI基礎(chǔ)軟硬件平臺的核心，CANN向上支持多種AI框架，向下服務(wù)AI處理器與編程，以極致性能、極簡開發(fā)、開放生態(tài)為目標，助力昇騰構(gòu)建全場景人工智能平臺。3、MindSpore：是國內(nèi)首個支持千億參數(shù)大模型訓(xùn)練AI計算框架，覆蓋包含生物醫(yī)學(xué)在內(nèi)的多個領(lǐng)域。4、應(yīng)用使能：以昇騰AI處理器→CANN異構(gòu)計算架構(gòu)→MindSporeAI框架的傳導(dǎo)機制，為深度學(xué)習、智能邊緣以及行業(yè)應(yīng)用解決方案等強勢賦能。AI開發(fā)平臺華為云AI開發(fā)生產(chǎn)線ModelArts在AI云服務(wù)方面的競爭優(yōu)勢越發(fā)明顯。歷經(jīng)多年的技術(shù)創(chuàng)新，ModelArts已成功在十多個領(lǐng)域進行商業(yè)化落地，持續(xù)領(lǐng)跑機器學(xué)習公有云市場，為AI開發(fā)帶來變革。1、簡化開發(fā)，讓AI落地更簡單華為云AI開發(fā)生產(chǎn)線ModelArts支持全流程MLOps開發(fā)，實現(xiàn)行業(yè)數(shù)據(jù)參與AI持續(xù)迭代，大幅提升AI應(yīng)用的二次開發(fā)效率。發(fā)起AI生態(tài)伙伴計劃D-Plan，提供“人”“貨”“場”服務(wù)，和行業(yè)ISV一起，加速AI解決方案在行業(yè)的落地?；贒-Plan的AI項目實踐，華為云已在AIGallery上沉淀了9大行業(yè)場景Usecase，覆蓋生產(chǎn)、銷售、服務(wù)和運營等企業(yè)運作全場景。AIGallery還匯聚了2000多個覆蓋零售、醫(yī)療、游戲等數(shù)十個商業(yè)領(lǐng)域的優(yōu)質(zhì)模型，助力千行百業(yè)智能升級。2、深耕技術(shù)，讓AI應(yīng)用更高效ModelArts沉淀了知識計算、盤古大模型和天籌AI求解器三項AI根技術(shù)，持續(xù)構(gòu)建大模型訓(xùn)練及推理加速能力、分布式訓(xùn)練能力等，從算力資源調(diào)度、AI業(yè)務(wù)編排、AI資產(chǎn)管理以及AI應(yīng)用部署，提供數(shù)據(jù)處理、算法開發(fā)、模型訓(xùn)練、模型管理、模型部署等AI應(yīng)用開發(fā)全流程技術(shù)能力。3、應(yīng)用實例互聯(lián)網(wǎng)領(lǐng)域：華為云ModelArts基于算法優(yōu)化、語音質(zhì)檢等途徑，有效提升了T3出行司乘安全檢測模型的準確率和召回率，使危險駕駛事件率下降38.6%，同時大幅降低模型開發(fā)和交付周期。自動駕駛領(lǐng)域：針對AI算法訓(xùn)練，華為云ModelArts支撐端到端訓(xùn)練效率提升；分布式多級緩存技術(shù)可以將訓(xùn)練時長縮短50%；針對大規(guī)模集群訓(xùn)練，拓撲感知調(diào)度和動態(tài)軟路由技術(shù)可以提升訓(xùn)練性能30%。盤古大模型過去開發(fā)模式“三高問題”：開發(fā)人員專業(yè)性要求高、綜合成本高、不可控程度高。需要擁有作為底座的“重型機械”——預(yù)訓(xùn)練大模型：提前將知識、數(shù)據(jù)、訓(xùn)練成果沉淀到一個模型中，然后將這個基礎(chǔ)釋放到產(chǎn)業(yè)。2021年4月，盤古大模型正式對外發(fā)布。盤古NLP大模型：業(yè)界首個千億參數(shù)的中文預(yù)訓(xùn)練大模型，在CLUE實現(xiàn)了業(yè)界領(lǐng)先。盤古CV大模型：業(yè)界首次實現(xiàn)模型按需抽取，在ImageNet上小樣本學(xué)習能力業(yè)界第一。優(yōu)勢和能力點：兼顧架構(gòu)+小樣本學(xué)習能力、微調(diào)能力、集成行業(yè)知識的能力更強+以商業(yè)價值驅(qū)動研發(fā)創(chuàng)新的“實干模式”大模型+生態(tài)化、協(xié)同創(chuàng)新。目前我們處在AI工業(yè)化開發(fā)模式起步后的