版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡介
MaaS框架與應(yīng)用研究報(bào)告中國信息通信研究院人工智能研究所中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟2024年6月版權(quán)聲明本報(bào)告版權(quán)屬于中國信息通信研究院、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟,并受法律保護(hù)。轉(zhuǎn)載、摘編或利用其它方式使用本報(bào)告文字或者觀點(diǎn)的,應(yīng)注明“來源:中國信息通信研究院、中國人工智能產(chǎn)業(yè)發(fā)展聯(lián)盟”。違反上述聲明者,本院將追究其相關(guān)法律責(zé)任。以大模型為代表的新一代人工智能技術(shù)迅猛發(fā)展,展現(xiàn)出廣闊應(yīng)用前景,有望成為驅(qū)動新質(zhì)生產(chǎn)力發(fā)展的重要技術(shù)引擎。然而,大模型的應(yīng)用面臨著技術(shù)復(fù)雜、訓(xùn)練推理成本高、應(yīng)用開發(fā)難度大等挑戰(zhàn)。模型即服務(wù)(MaaS,ModelasaService是指將人工智能算法模型以及相關(guān)能力進(jìn)行封裝,以服務(wù)的形式對用戶提供,其核心目標(biāo)是降低人工智能技術(shù)使用門檻,控制應(yīng)用建設(shè)成本,簡化系統(tǒng)運(yùn)維管理復(fù)雜度,提升人工智能技術(shù)的綜合應(yīng)用效能,從而加速“人工智能+”進(jìn)程。近年來,隨著大模型的快速發(fā)展,MaaS服務(wù)和產(chǎn)品也進(jìn)入快速發(fā)展期,并在金融、政務(wù)、電信等行業(yè)不斷落地,產(chǎn)生了積極成效。但目前產(chǎn)業(yè)界各方就MaaS定義和框架仍未形成廣泛共識,模型服務(wù)能力也尚未標(biāo)準(zhǔn)化,一定程度制約了MaaS的本報(bào)告系統(tǒng)梳理了MaaS的發(fā)展歷程、現(xiàn)狀和面臨的挑戰(zhàn),基并對MaaS落地應(yīng)用情況進(jìn)行了分析,最后對MaaS發(fā)展趨勢進(jìn)行展望。由于大模型和人工智能技術(shù)產(chǎn)業(yè)仍然處在快速發(fā)展階段,MaaS技術(shù)產(chǎn)品、服務(wù)和應(yīng)用也在快速演變,我們對MaaS的認(rèn)識將 1 1 2 5 7 7 10 13 13 14 18 20 23 25 25 28 36 39 40 7 9 10 13 14 15 17 18 20 21 23 24 26 27 28 29 30 31 32 34 34 35表1大模型落地問題及MaaS解決方式................................................................51一、MaaS概述隨著以大模型為核心的人工智能技術(shù)的深入發(fā)展,模型即服務(wù)(MaaS,ModelasaService)作為一種新型人工智能服務(wù)模式煥發(fā)新生。本章將明確MaaS的概念及主要的服務(wù)能力范圍,剖析大模型時(shí)代MaaS快速發(fā)展的必然性,闡述MaaS在解決大模型規(guī)模化(一)MaaS起源與概念MaaS基本形態(tài)早已形成。2012年美國數(shù)據(jù)科學(xué)家DJ·帕蒂爾(DJPatil)首次提出MaaS概念1,即“將機(jī)器學(xué)習(xí)算法打包成可重復(fù)使用的服務(wù),使企業(yè)能夠快速地構(gòu)建、部署和監(jiān)控模型,無須開此時(shí)MaaS多以AI能力開放平臺的形式存在,平別、光學(xué)字符識別(OCR)等特定場景的AI能力。該類AI能力由若干個模型及規(guī)則、數(shù)據(jù)庫等組合構(gòu)成,但覆蓋功能和場景有限,傳統(tǒng)AI模型落地成本低且泛化性不足,MaaS所帶來的增益尚不明大模型以其龐大的參數(shù)量與獨(dú)特的模型結(jié)構(gòu)展現(xiàn)了良好性能,推理能力的提高使得模型可以解決復(fù)雜邏輯問題,泛化性的提升拓模型的高性能對數(shù)據(jù)和算力的需求也相應(yīng)增長,成本的增加使得模2型規(guī)?;涞卮嬖谧璧K。在此背景下,MaaS通過提供服務(wù)的方顯著降低了用戶使用大模型的門檻,讓業(yè)務(wù)能夠更快速、更有效地享受大模型價(jià)值。根據(jù)畢馬威預(yù)測,模型即服務(wù)(MaaS)將是AGI大模型背景下MaaS概念是指將AI模型及其相關(guān)能力打包成可重復(fù)使用的服務(wù),使企業(yè)能夠快速高效地構(gòu)建、部署、監(jiān)控、調(diào)用模型,無須開發(fā)和維護(hù)底層基礎(chǔ)能力。與早期MaaS概念相比能力范圍有所拓展,一方面機(jī)器學(xué)習(xí)算法擴(kuò)展至包括深度學(xué)習(xí)、大模型等在內(nèi)的所有AI模型;另一方面基于模型服務(wù),用戶不僅可直接調(diào)用服務(wù)進(jìn)行推理,也可基于服務(wù)進(jìn)行AI應(yīng)用的構(gòu)建,擴(kuò)大模型服務(wù)MaaS主要提供三部分服務(wù)能力,一是提供包括模型訓(xùn)練、用戶無需關(guān)注AI算力、框架和平臺即可生產(chǎn)和部署模型;二是提供包括大小模型及公私域數(shù)據(jù)集的豐富資產(chǎn)庫服務(wù),以支持模型和數(shù)據(jù)集的靈活快速調(diào)用,用戶無須生產(chǎn)和部署模型即可調(diào)用模型和數(shù)(二)大模型促使MaaS快速發(fā)展大模型正驅(qū)動著“人工智能+”(AI+)需求的迅猛增長,加快了3催生了龐大的市場需求。如金融行業(yè),主要應(yīng)用于營銷、客服、風(fēng)控等場景,有效解決金融領(lǐng)域人力成本高、風(fēng)險(xiǎn)管控滯后等問題,準(zhǔn)確率提升約2倍;電信行業(yè),主要應(yīng)用于客戶服務(wù)、營銷推廣、網(wǎng)絡(luò)運(yùn)維、故障預(yù)測等場景,有效解決電信領(lǐng)域用戶需求復(fù)雜、網(wǎng)絡(luò)優(yōu)化難度高等問題,某運(yùn)營商打造基于網(wǎng)絡(luò)大模型的網(wǎng)絡(luò)運(yùn)維AI助手,使得網(wǎng)絡(luò)運(yùn)維準(zhǔn)確率達(dá)88%以上;政務(wù)行業(yè),主要應(yīng)用于市數(shù)據(jù)孤島等問題,某單位利用大模型提升政務(wù)工作效率,在接訴即辦場景中派單準(zhǔn)確率達(dá)到87%以上3;除了賦能行業(yè)的散點(diǎn)場景外,企業(yè)內(nèi)AI+逐步向全流程賦能邁進(jìn),推進(jìn)全域數(shù)智化轉(zhuǎn)型,如某頭部互聯(lián)網(wǎng)企業(yè)內(nèi)部已有超過400個業(yè)務(wù)及場景接入大模型,其中協(xié)作類應(yīng)用產(chǎn)品全部接入大模型,全面賦能會議、文檔、代碼等相關(guān)然而,隨著大模型性能的不斷增強(qiáng)和應(yīng)用需求大規(guī)模增長,其一是大模型在落地過程中需要海量算力,而企業(yè)獲取算力門檻高。隨著模型參數(shù)量變大,大模型訓(xùn)練算力需求以每2個月翻一番4/s/EvPpycoG-ystkljz_eu-YA4的速度增長5,模型推理成本也在持續(xù)增加。并且大模型訓(xùn)練推理所二是大模型較傳統(tǒng)AI模型在訓(xùn)練、調(diào)優(yōu)、推理和部署等方面的對數(shù)據(jù)集數(shù)量和質(zhì)量的要求更高,并且出現(xiàn)了提示工程、強(qiáng)化學(xué)習(xí)等新技術(shù),增加了技術(shù)壁壘。同時(shí),巨大的算力需求對分布式并行計(jì)算加速提出了更高要求,此外大模型用于邊端推理時(shí),需對模型三是大模型工程化落地時(shí)煙囪式建設(shè)造成資源浪費(fèi)。大模型成為當(dāng)前諸多企業(yè)數(shù)智化轉(zhuǎn)型的敲門磚,在企業(yè)內(nèi)部往往有多個團(tuán)隊(duì)進(jìn)一步提升業(yè)務(wù)價(jià)值。但從企業(yè)整體視角來看,內(nèi)部場景需求多有重復(fù),而大模型的泛化能力足以應(yīng)對同類行業(yè)場景的不同需求,若仍采用各團(tuán)隊(duì)自行維護(hù)模型的煙囪式模式,將會導(dǎo)致算力和人力的四是大模型應(yīng)用在落地最后一公里時(shí)仍存在場景適配難和開發(fā)效率不足的挑戰(zhàn)。一方面模型應(yīng)用方具備豐富的行業(yè)經(jīng)驗(yàn)和高質(zhì)量數(shù)據(jù)集,但缺乏模型落地相關(guān)技術(shù),而模型廠商雖然有相關(guān)技術(shù)儲隨著企業(yè)AI+的全線推進(jìn),模型應(yīng)用的場景需求越來越多,而模型5/articles/s41586-0215源綜上所述,大模型規(guī)模化落地面臨高性能、高需求、高成本等落地壓力和挑戰(zhàn),而MaaS基于高效、便捷、靈活等優(yōu)勢,可成為推動大模型應(yīng)用落地的重要力量,使得MaaS在大模型時(shí)代下的增(三)MaaS助推大模型規(guī)?;涞豈aaS主要具備三個顯著特性。技術(shù)低門檻,有助于將更廣泛的用戶群體;模型可共享,推動行業(yè)資源的有效利用和技術(shù)模型服務(wù)、數(shù)據(jù)集服務(wù)、AI應(yīng)用開發(fā)服務(wù)在內(nèi)的全棧服務(wù),并對模型等資產(chǎn)進(jìn)行統(tǒng)一管理,提升規(guī)?;a(chǎn)效率,培育和打造新質(zhì)生來源:中國信息通信研究院6降低了學(xué)習(xí)新型訓(xùn)練或調(diào)優(yōu)算法的成本,可快速找到合適的調(diào)優(yōu)路徑并完成閉環(huán)的強(qiáng)化學(xué)習(xí)通路,新手亦可快速完成專屬模型定制;在模型部署及運(yùn)營管理方面,對于部署上線過程復(fù)雜等問題,提供快速部署服務(wù),并匹配全生命周期運(yùn)營監(jiān)控工具,降低了模型部署MaaS通過提供集約化的模型庫和數(shù)據(jù)集,解決重復(fù)造輪子的資模型的量變將引起效率的質(zhì)變,通過模型共享可減少開發(fā)資源的浪費(fèi),通過模型等數(shù)字資產(chǎn)的統(tǒng)一管理有助于提升風(fēng)險(xiǎn)可控性,資源的高效利用和規(guī)范管理將成為企業(yè)長遠(yuǎn)發(fā)展的保障;在落地方面,通過直接調(diào)用模型服務(wù)和數(shù)據(jù)集,減少了數(shù)據(jù)處理、選擇模型以及模型調(diào)優(yōu)部署的過程,加快了開發(fā)進(jìn)度,快速M(fèi)aaS通過提供模型應(yīng)用的高效開發(fā)能力,適配企業(yè)規(guī)?;瘓鼍靶枨蟆DP蛻?yīng)用場景眾多,但企業(yè)內(nèi)部開發(fā)資源有限,MaaS在模型服務(wù)的基礎(chǔ)上提供面向業(yè)務(wù)場景的應(yīng)用開發(fā)平臺或工具,幫助用戶快速構(gòu)建基于AI模型的應(yīng)用。如在面臨單個模型無法解決復(fù)雜業(yè)務(wù)排等多種方式以增強(qiáng)模型能力,并以智能體(AIAgent)等方式向用戶提供更優(yōu)質(zhì)的服務(wù)。MaaS讓更多用戶可以生產(chǎn)個性化的模型應(yīng)7二、MaaS發(fā)展現(xiàn)狀及挑戰(zhàn)MaaS作為一種智能化服務(wù)新模式得到迅速發(fā)展,本章將圍繞產(chǎn)業(yè)圖譜及落地方式闡述當(dāng)前MaaS的產(chǎn)業(yè)發(fā)展現(xiàn)狀,并分析MaaS(一)MaaS產(chǎn)業(yè)發(fā)展現(xiàn)狀MaaS在人工智能產(chǎn)業(yè)鏈中處于中游位置,基于平臺服務(wù)、模型1.MaaS產(chǎn)業(yè)圖譜初步形成MaaS基于算力基礎(chǔ)設(shè)施的支持,面向場景提供多種應(yīng)用,具備來源:中國信息通信研究院MaaS產(chǎn)業(yè)圖譜(如圖2所示)中,平臺服務(wù)構(gòu)成了MaaS生態(tài)MachineLearning以及亞馬遜的AmazonS從數(shù)據(jù)處理到模型訓(xùn)練、驗(yàn)證、部署及監(jiān)控的流水線服務(wù)。國內(nèi)如8阿里云PAI平臺、騰訊云太極平臺、百度千帆大模型平臺和華為的ModelArts平臺等,均支持多種機(jī)器學(xué)習(xí)算法和大模型,并提供低代碼開發(fā)環(huán)境與高效的模型訓(xùn)練及部署能力,能夠適應(yīng)多樣化的模型在模型服務(wù)方面,通過提供豐富多樣的模型資源以支持各種應(yīng)用需求。如HuggingFace提供模型及模型調(diào)用服務(wù),截止2024年5國內(nèi)模型服務(wù)生態(tài)迅速發(fā)展,頭部企業(yè)通過搭建模型服務(wù)開源社區(qū)或平臺,匯聚各類模型及服務(wù)能力,包括大模型、傳統(tǒng)AI模型及各在數(shù)據(jù)集服務(wù)方面,通過匯聚和管理處理好的數(shù)據(jù)集,為其他AI模型的訓(xùn)練與微調(diào)提供可直接獲取的高質(zhì)量數(shù)據(jù)集,一定程度上幫助企業(yè)快速獲取某些模型訓(xùn)練所需的數(shù)據(jù)集。截至2023年Scale·AI數(shù)據(jù)集服務(wù)商已累計(jì)標(biāo)注10億條2D、3D場景化數(shù)據(jù)7,提供了豐富的數(shù)據(jù)集服務(wù),據(jù)GrandViewResearch報(bào)告顯示,全球數(shù)據(jù)收集和標(biāo)注市場規(guī)模預(yù)計(jì)從2023年到2030年將以28.9%編排及代碼開發(fā)等多元化工具,為用戶提供了一條高效便捷的用開發(fā)新路徑。如GPTs作為基于大模型的應(yīng)用開發(fā)工具,可通過6https://huggingface.co/7/about8/sector-report/data-collection-labeling-indust9個GPTs9。國內(nèi)頭部企業(yè)也紛紛推出各類應(yīng)用開發(fā)平臺,可實(shí)現(xiàn)AI原生應(yīng)用開發(fā),并支持構(gòu)建AIAgent(智能體達(dá)到大模型與各組件或系統(tǒng)工具的強(qiáng)互動及關(guān)聯(lián),據(jù)MarketsandMarkets預(yù)測,至來源:中國信息通信研究院2.MaaS兩種落地方式MaaS具備公有云和私有云兩種落地方式,公有云模式下模型資源更加豐富,但私有云模式下模型資源的行業(yè)領(lǐng)域?qū)傩愿鼘I(yè)(如產(chǎn)品知名度,有助于進(jìn)一步商業(yè)轉(zhuǎn)化。其模型面向社會大眾提供服務(wù),模型的種類和數(shù)量更多,通用性更強(qiáng),但是對于業(yè)務(wù)需求較高的特定場景,部分模型難以直接應(yīng)用。私有云方式下,企業(yè)內(nèi)研發(fā)團(tuán)隊(duì)專注于研究符合垂直領(lǐng)域場景需求的模型,旨在通過調(diào)用模型9/index/introducing-the-gpt-store10Marketsandmarkets《AttractiveOpportuntitesintheAutonomousAgentsMarke/Market-Reports/autonomous-ai-and-autonomo服務(wù)以直接解決業(yè)務(wù)需求,且模型資產(chǎn)和數(shù)據(jù)隱私性強(qiáng),各團(tuán)隊(duì)在來源:中國信息通信研究院在公有云環(huán)境下面向C端用戶主要有按量計(jì)費(fèi)和訂閱兩種模式,其中按量計(jì)費(fèi)是指按照模型實(shí)際調(diào)用量或者算力消耗量計(jì)費(fèi),如按照調(diào)用模型接口(API)次數(shù)或輸入輸出數(shù)計(jì)費(fèi);訂閱模式是指按照月租或年租的方式計(jì)費(fèi),常見于模型應(yīng)用的使用場景,適合追求“開箱即用”便捷性的用戶群體。在私有云環(huán)境下面向B端客戶以私有化部署的項(xiàng)目制方式計(jì)費(fèi),可根據(jù)企業(yè)需求部署對應(yīng)的服務(wù),如需提供模型生產(chǎn)的工具則部署模型平臺,如對應(yīng)用開發(fā)有需求則部署應(yīng)用開發(fā)平臺,私有化部署的MaaS在企業(yè)內(nèi)部實(shí)現(xiàn)服務(wù)的共享使用,(二)MaaS發(fā)展面臨的挑戰(zhàn)但MaaS在規(guī)范性、生態(tài)建設(shè)等方面仍存在不足,模型服務(wù)的易用無法確保用戶獲得滿意的服務(wù)。一方面模型服務(wù)本身的可用性要求尚未建立統(tǒng)一規(guī)范,另一方面服務(wù)規(guī)?;涞厮仨毜姆€(wěn)定性、可模型服務(wù)易用性不足。由于模型卡片的建設(shè)尚不完善,導(dǎo)致模型信息的不透明現(xiàn)象較為普遍。用戶無法獲取清晰、準(zhǔn)確的模型信息,從而難以選擇所需模型。此外,模型的可解釋性也相對較弱,使得用戶難以理解模型的運(yùn)作機(jī)制和輸出結(jié)果。因此,加強(qiáng)模型卡片的信息透明度,增強(qiáng)模型的可解釋性,提升模型服務(wù)易用性,是MaaS基建成本控制能力需加強(qiáng)。MaaS的體系構(gòu)建離不開堅(jiān)實(shí)的基建支撐,涵蓋云計(jì)算基礎(chǔ)設(shè)施如算力資源和數(shù)據(jù)中心的搭建,以及專業(yè)技術(shù)人才的培育,這些都需要巨額的資金投入。因此MaaS建設(shè)方應(yīng)考慮有效地管理和利用基建資產(chǎn),降低運(yùn)營成本提高運(yùn)營合規(guī)管理體系亟需進(jìn)一步完善。MaaS在合規(guī)性方面面臨數(shù)據(jù)規(guī)范與權(quán)責(zé)確認(rèn)的雙重考驗(yàn)。就數(shù)據(jù)合規(guī)而言,既要關(guān)注用戶在使用模型服務(wù)時(shí)個人數(shù)據(jù)的隱私安全,也要確保用于模型訓(xùn)練和優(yōu)化的數(shù)據(jù)來源合法合規(guī)。在權(quán)責(zé)確認(rèn)方面,當(dāng)模型服務(wù)出現(xiàn)不可用時(shí),國內(nèi)MaaS生態(tài)建設(shè)尚不完備。一方面由于當(dāng)前MaaS各層之間,以及同層的不同企業(yè)服務(wù)之間接口模式尚未統(tǒng)一,使得MaaS的推廣和應(yīng)用也面臨數(shù)據(jù)互通、技術(shù)對接等難題,這在一定程度上制約了其生態(tài)建設(shè)的步伐;另一方面國內(nèi)模型服務(wù)和用戶的體量較國際先進(jìn)水平還存在差距,模型共建共享的生態(tài)環(huán)境有待進(jìn)一步完三、MaaS框架與能力要求模型的使用需求,提供更加高效的模型觸達(dá)方式。本章由中國信息通信研究院(以下簡稱“信通院”)和行業(yè)專家結(jié)合產(chǎn)業(yè)實(shí)踐對MaaS開展研究,圍繞模型落地的全生命周期,分析和總結(jié)框架體系及能(一)MaaS框架說明模型服務(wù)層和模型應(yīng)用開發(fā)層,每層可作為單獨(dú)服務(wù)供用戶調(diào)取,來源:中國信息通信研究院在人工智能體系架構(gòu)中,MaaS處于應(yīng)用層和基礎(chǔ)設(shè)施層之間(如圖5所示與云計(jì)算架構(gòu)相比,對其原有的平臺層和應(yīng)用層進(jìn)來源:中國信息通信研究院一方面,云計(jì)算架構(gòu)下的平臺層將操作系統(tǒng)、中間件等軟件棧通過服務(wù)模式提供給用戶,用戶只需關(guān)注應(yīng)用程序的開發(fā)和管理,減少了開發(fā)過程中基礎(chǔ)設(shè)施相關(guān)問題的考慮。而MaaS在其基礎(chǔ)上增強(qiáng)了平臺層能力,首先通過對模型訓(xùn)練框架、工具等進(jìn)行抽象和服務(wù)化,使得用戶可以直接構(gòu)建、使用或基于模型再次調(diào)優(yōu);同時(shí)MaaS補(bǔ)充了模型層能力,對模型及服務(wù)進(jìn)行集約化管理,為用戶提接在線使用應(yīng)用程序,無需安裝及維護(hù)本地軟件。而MaaS對應(yīng)用以下將對MaaS各層能力架構(gòu)和模塊進(jìn)行介紹,并對產(chǎn)業(yè)典型(二)模型平臺層模型平臺層為模型定制開發(fā)提供全套的工具鏈及全流程管理能力,包括數(shù)據(jù)處理、模型開發(fā)交付和運(yùn)營等能力?;谠搶?,一方面通過全套的工具鏈幫助企業(yè)降低模型定制開發(fā)的技術(shù)門檻,另一方面通過全流程的運(yùn)營管理提高多團(tuán)隊(duì)協(xié)作效率,并實(shí)時(shí)監(jiān)控線上模型平臺層包括數(shù)據(jù)工程、模型開發(fā)、模型交該層以基礎(chǔ)大模型、算法、私有數(shù)據(jù)集等為輸入來源:中國信息通信研究院2.能力模塊接被用于模型訓(xùn)練和模型評估的高質(zhì)量數(shù)據(jù)集。數(shù)據(jù)采集方面支持主流數(shù)據(jù)源接入以及本地?cái)?shù)據(jù)導(dǎo)入,具備處理海量、多模態(tài)和多格式數(shù)據(jù)的能力;數(shù)據(jù)標(biāo)注方面平臺支持在線標(biāo)注,提供人工與自動等多種標(biāo)注方式,并對標(biāo)注好的數(shù)據(jù)集做統(tǒng)一管理;數(shù)據(jù)處理方面支持清洗、過濾、去重、去隱私等流水線處理方式,從而提升數(shù)據(jù)質(zhì)量優(yōu)化模型效果;數(shù)據(jù)生成方面支持在數(shù)據(jù)分布不均衡或缺少數(shù)據(jù)的情況下,根據(jù)需求生成相應(yīng)的數(shù)據(jù)以達(dá)到數(shù)據(jù)平衡;數(shù)據(jù)回流方面支持將業(yè)務(wù)數(shù)據(jù)回流至數(shù)據(jù)集以持續(xù)優(yōu)化模訓(xùn),和強(qiáng)化學(xué)習(xí)等環(huán)節(jié)的工具支持,以實(shí)現(xiàn)模型的定制,同時(shí)降低開發(fā)的技術(shù)門檻。在模型訓(xùn)練方面支持各類AI模型訓(xùn)練所涉及的特征工程、模型調(diào)參和模型實(shí)驗(yàn)等能力;在模型調(diào)優(yōu)方面通過提供多種調(diào)優(yōu)工具,支持自動化或半自動化的模型調(diào)優(yōu),完成私域模型定制;在模型重訓(xùn)方面,根據(jù)私域數(shù)據(jù)集進(jìn)行場景化訓(xùn)練,生成專屬模型;在強(qiáng)化學(xué)習(xí)方面,基于人類反饋數(shù)據(jù),支持等能力,支持將調(diào)優(yōu)好的模型發(fā)布上線,縮短交付周期并快速響應(yīng)業(yè)務(wù)需求。在壓縮轉(zhuǎn)換方面,支持量化、蒸餾、剪枝等多類算法選擇,并預(yù)估不同算法的壓縮效果,支持用戶在保持模型性能在模型部署方面,支持在多種環(huán)境下快速部署模型,縮短上線周來源:科大訊飛來源:科大訊飛模型托管等能力平臺化,通過平臺工具實(shí)現(xiàn)低代碼快速處理和模型的高效調(diào)優(yōu)部署,同時(shí)將調(diào)優(yōu)好的托管、服務(wù)監(jiān)控、服務(wù)告警、結(jié)果和反饋等,對模型服務(wù)進(jìn)行有(三)模型層直接調(diào)取的模型服務(wù),降低了用戶使用各類模型的難度,推動了大模型層包括豐富的模型庫、數(shù)據(jù)集和服務(wù)管理等能力,提供來源:中國信息通信研究院2.能力模塊>模型庫:包括大模型和傳統(tǒng)AI模型,通過庫的方式對模型資產(chǎn)進(jìn)行統(tǒng)一納管。模型庫中的模型支持被模型平臺層調(diào)用而進(jìn)一步調(diào)優(yōu)生成新的模型,并將其發(fā)布至模型庫中進(jìn)行共享;同時(shí)也支持被上層的應(yīng)用開發(fā)層調(diào)用,配合多模型、知識庫和插件等共同ModelScope建設(shè)了模型庫、數(shù)據(jù)集、知識教程ModelScope建設(shè)了模型庫、數(shù)據(jù)集、知識教程并進(jìn)行模型版本管理與服務(wù)托管,同時(shí)數(shù)據(jù)集模塊提供數(shù)據(jù)集共享服務(wù)調(diào)用管理和模型庫管理。模型卡片管理是指管理模型的基礎(chǔ)信息,如同藥品說明書,模型使用者需知曉模型的適配場景及使用方式、使用限制,從而幫助用戶更快選對模型、用對模型;模型文件管理是對所有模型對應(yīng)的文件進(jìn)行統(tǒng)一管理,包括模型版本管理、模型追溯、模型存儲等,以便集約化管理模型文件;服務(wù)調(diào)用管理是指管理不同用戶在各類服務(wù)使用過程中的調(diào)用權(quán)限管理、調(diào)用數(shù)據(jù)監(jiān)控及分析和調(diào)用計(jì)費(fèi)等內(nèi)容;模型庫管理是為了維護(hù)庫的正常運(yùn)行,對模型進(jìn)行入庫、更新、出庫等維度的管來源:阿里云(四)應(yīng)用開發(fā)層應(yīng)用開發(fā)層基于各類模型服務(wù)和知識庫、插件等能力,通過自然語言、工作流編排、界面配置等方式,完成基于模型的AI發(fā)和集成,同時(shí)對應(yīng)用從創(chuàng)建到使用的全生命周期進(jìn)行管理,提高應(yīng)用開發(fā)層包括支撐能力、應(yīng)用開發(fā)集成、應(yīng)用生命周期管理三部分。支撐能力是構(gòu)建AI應(yīng)用所需的基礎(chǔ)能力,如模型服務(wù)、插不同用戶技術(shù)水平和場景的需求分為自然語言、界面配置、工作流編排以及代碼開發(fā)等方式,滿足不同開發(fā)難度和靈活度的需求;應(yīng)用生命周期管理對應(yīng)用創(chuàng)建到上線運(yùn)營的整個流程進(jìn)行統(tǒng)一管理,來源:中國信息通信研究院2.能力模塊擇相應(yīng)能力進(jìn)行組合編排或開發(fā)。其中模型服務(wù)可直接被調(diào)取以提供AI能力;插件提供了各類可擴(kuò)展的工具能力,使得應(yīng)用功能更加豐富,包括自建插件和第三方插件等;知識庫提供了豐富的行業(yè)知識和私有數(shù)據(jù)支持,并結(jié)合RAG等能力將新數(shù)據(jù)引入模型,增強(qiáng)輸出結(jié)果的準(zhǔn)確性;Prompt提供了創(chuàng)建應(yīng)用、使用應(yīng)用的提示詞管理能力,以幫助模型更好地理解用戶意圖;Agent通過自主感知、決策和執(zhí)行等環(huán)節(jié)進(jìn)一步提升了應(yīng)用的智AppBuilder在AIAppBuilder在AI原生應(yīng)用開發(fā)領(lǐng)的多種能力組件,降低AI原生應(yīng)用的開發(fā)門檻,賦能開發(fā)者快速AppBuilder面向不同開發(fā)能力的用戶和開發(fā)場景,分別以碼態(tài)和代碼態(tài)的產(chǎn)品形態(tài),提供了應(yīng)用組件、應(yīng)用框架兩層服務(wù)。低代碼態(tài)下通過點(diǎn)選配置,調(diào)取所需的模型服務(wù)和組件,設(shè)置相關(guān)參數(shù)即可打造AI原生應(yīng)用。代碼態(tài)下支持有一定開發(fā)能力的技術(shù)通過恰當(dāng)?shù)腜rompt可快速實(shí)現(xiàn)專屬場景下的應(yīng)用構(gòu)建;界面配置的方式支持用戶通過選擇基礎(chǔ)模型、設(shè)置模型性能、匹配插件知識庫等組件完成應(yīng)用構(gòu)建;工作流編排的方式支持用戶將多個模型及各類組件以某種邏輯規(guī)則進(jìn)行編排,可自定義不同模型和組件之間的邏輯關(guān)系,提升應(yīng)用開發(fā)的擴(kuò)展性;代碼開發(fā)適合具備編碼能力的用戶,可基于API接口、SDK套件等進(jìn)行靈活編監(jiān)控運(yùn)營的完整流程。通過全生命周期過程管理,提高應(yīng)用開發(fā)過程可控性;通過監(jiān)控運(yùn)營及時(shí)發(fā)現(xiàn)并解決問題,保障應(yīng)用的持來源:百度云(五)模型服務(wù)協(xié)議框架當(dāng)前諸多MaaS產(chǎn)品集成了大量模型服務(wù),但在服務(wù)水平協(xié)議(SLA)方面仍存在要求不統(tǒng)一等問題,使得用戶難以獲得滿意的為此,信通院聯(lián)合產(chǎn)業(yè)各界對模型服務(wù)協(xié)議框架進(jìn)行總結(jié),為用戶獲取模型服務(wù)時(shí)如何衡量服務(wù)質(zhì)量提供參考。模型服務(wù)協(xié)議框架的目標(biāo)是規(guī)范和提升模型服務(wù)質(zhì)量,適用于人工智能領(lǐng)域包括大模型和傳統(tǒng)AI模型在內(nèi)的所有模型服務(wù)。該協(xié)議框架對服務(wù)范圍及服務(wù)內(nèi)容進(jìn)行明確,并對于如何從多個維度衡量模型服務(wù)的水平提供參考,包括服務(wù)可用性、隱私安全性、計(jì)量準(zhǔn)確性及權(quán)責(zé)條款等來源:中國信息通信研究院分別包括模型性能、模型可解釋性等要求,以及服務(wù)穩(wěn)定性、可四、MaaS應(yīng)用分析各行業(yè)積極探索MaaS落地之道,并在部分領(lǐng)域的應(yīng)用初見成效。本章首先從全行業(yè)角度對MaaS進(jìn)行分析,其次對MaaS落地實(shí)踐進(jìn)行闡述,如在金融等領(lǐng)域率先應(yīng)用,并有效賦能經(jīng)營管理、(一)MaaS落地條件及優(yōu)勢場景解析MaaS作為新型智能化服務(wù)模式,其落地實(shí)踐需具備外需和內(nèi)驅(qū)兩個條件。一是需要有模型規(guī)?;涞氐耐獠啃枨?,當(dāng)組織面臨全線AI+需求時(shí),模型應(yīng)用的需求量隨之變大,導(dǎo)致模型開發(fā)及人工成本急劇增加,使組織需變革模型生產(chǎn)和應(yīng)用工具以提升效率。二是需具備組織內(nèi)部驅(qū)動力,自頂向下層層推進(jìn)模型共建共享機(jī)制,推進(jìn)煙囪式開發(fā)方式向集約式轉(zhuǎn)變,最大化發(fā)揮模型、數(shù)據(jù)、平臺等AI資產(chǎn)的價(jià)值。在外需和內(nèi)驅(qū)的條件下搭建MaaS多層級服務(wù),已在多行業(yè)落地,覆蓋研發(fā)設(shè)計(jì)、經(jīng)營管理、營銷推廣等多個生產(chǎn)環(huán)節(jié),助力企業(yè)在業(yè)務(wù)、技術(shù)、管理等全方面提效,成為大模型時(shí)金融行業(yè)率先成為落地最多的領(lǐng)域。MaaS在各行業(yè)落地情況如圖13所示,金融行業(yè)具備MaaS落地的良好環(huán)境,其案例數(shù)量占全行業(yè)49%11,成為落地探索最多最快的行業(yè),一方面是因?yàn)榧夹g(shù)儲備較為完善,有傳統(tǒng)人工智能的落地通路和經(jīng)驗(yàn),如基礎(chǔ)設(shè)施和平臺等層面均有基礎(chǔ);另一方面是因?yàn)闃I(yè)務(wù)數(shù)據(jù)較為豐富,對模型的種類和數(shù)量需求多。落地場景主要包括營銷、客服、風(fēng)控等,可有來源:中國信息通信研究院經(jīng)營管理環(huán)節(jié)的落地實(shí)踐最為成熟。經(jīng)營管理環(huán)節(jié)的應(yīng)用案例在企業(yè)全價(jià)值鏈中占比達(dá)50%11(如圖14所示該環(huán)節(jié)涵蓋的智慧辦公、經(jīng)營分析、智能流程等場景,以輔助人工提升工作效率為主而非直接對客服務(wù)。由于該類場景見效快、風(fēng)險(xiǎn)低,通過大模型基礎(chǔ)能力加私域少樣本數(shù)據(jù)即可達(dá)到場景性能要求,成為最適合模來源:中國信息通信研究院AI應(yīng)用在多樣性和個性化方面取得了顯著提升。同時(shí),隨著來源:中國信息通信研究院(二)MaaS行業(yè)實(shí)踐案例及成效剖析MaaS行業(yè)落地目標(biāo)是降本增效,縮短模型及應(yīng)用構(gòu)建的周期,以應(yīng)對頻繁迭代的業(yè)務(wù)需求,同時(shí)通過模型的共享降低重復(fù)建設(shè)成本。本節(jié)詳細(xì)介紹了精選的四個MaaS落地代表案例,案例材料來1.銀行業(yè)金融MaaS平臺應(yīng)用實(shí)踐(1)場景痛點(diǎn):模型開發(fā)及部署效率低平安銀行積極探索大模型在業(yè)務(wù)場景智能化和降本增效方面的解決方案,雖然模型應(yīng)用需求向多而廣的趨勢變化,使得傳統(tǒng)模型研發(fā)流程中存在的自動化程度低、資源利用率低、知識和能力缺乏(2)解決方案:BankGPT服務(wù)平臺高效賦能模型落地為解決以上痛點(diǎn),平安銀行自主研發(fā)MaaS服務(wù)平臺,即為各業(yè)務(wù)場景的模型應(yīng)用提供了高效、低成本的模型使用和開發(fā)支持。BankGPT一方面提供模型微調(diào)功能,開發(fā)人員以極低技術(shù)門檻開發(fā)上線大模型服務(wù),另一方面提供底座模型的共享,可訓(xùn)練調(diào)優(yōu)來源:平安銀行(3)實(shí)踐成效:多種落地模式賦能全行員工BankGPT平臺經(jīng)過持續(xù)迭代,截止2024年1月,已實(shí)現(xiàn)支持四種不同的落地模式,支撐行內(nèi)模型應(yīng)用的高效、低成本開發(fā),從而實(shí)現(xiàn)智能化普及。該平臺目前已上線10+底座模型,算法團(tuán)隊(duì)、業(yè)務(wù)開發(fā)團(tuán)隊(duì)落地應(yīng)用數(shù)十個,基于Prompt調(diào)優(yōu)創(chuàng)建應(yīng)用數(shù)百個,來源:平安銀行2.電網(wǎng)領(lǐng)域MaaS實(shí)踐(1)場景痛點(diǎn):電力模型精度及開發(fā)效率受限導(dǎo)致模型研發(fā)及部署不夠便捷,生產(chǎn)效率較低,且各單位模型重復(fù)(2)解決方案:一體化MaaS平臺為各層中國電科院結(jié)合設(shè)備智能巡檢、作業(yè)安全管控等典型業(yè)務(wù)實(shí)際需求,構(gòu)建電網(wǎng)領(lǐng)域的一體化MaaS平臺(如圖1基于“模型+服務(wù)+應(yīng)用”建設(shè)模式,包括資源層、平臺層、模型層、服務(wù)層、應(yīng)用層六部分,可以API、SDK對外提供服務(wù),還可提供自動建模、智能標(biāo)注等組件支撐能力,并結(jié)合自動化訓(xùn)練技術(shù),支來源:中國電科院(3)實(shí)踐成效:縮短周期,提升人效通過一體化MaaS平臺,顯著縮短開發(fā)周期約50%,模型精度3.電信運(yùn)營商在私域領(lǐng)域的MaaS實(shí)踐(1)場景痛點(diǎn):公域模型難滿足特定需求公域大模型直接應(yīng)用到移動內(nèi)部,存在問題和風(fēng)險(xiǎn),公域大模同時(shí)企業(yè)大模型在多域運(yùn)作中缺乏統(tǒng)一生態(tài)管理,需要在現(xiàn)有系統(tǒng)來源:中國移動廣東分公司針對上述痛點(diǎn),廣東移動打造了自主的私域大模型體系,采用了“平臺+生態(tài)”的模式,包括數(shù)據(jù)源、MaaS模型能力層、場景組件系中,集成了自主研發(fā)的模型、專業(yè)模型以及第三方生態(tài)大模型。同時(shí),通過積極開發(fā)和整合行業(yè)特定大模型,支持企業(yè)內(nèi)部應(yīng)用的(3)實(shí)踐成效:提升平臺靈活性推動數(shù)智化轉(zhuǎn)型該方案實(shí)現(xiàn)了平臺的高靈活性和可擴(kuò)展性,通過算力和模型的適配提高了平臺可擴(kuò)展能力和兼容性。應(yīng)用層接入接口的統(tǒng)一使平臺能快速拓展至各業(yè)務(wù)場景,并建立了統(tǒng)一的數(shù)智人運(yùn)營體系,有4.金融風(fēng)控領(lǐng)域的MaaS實(shí)踐(1)場景痛點(diǎn):金融動態(tài)風(fēng)控建模效率低、樣本少繁迭代模型,而傳統(tǒng)建模周期長,POC、建模、評估、上線各環(huán)支持模型調(diào)優(yōu)。同時(shí)在新產(chǎn)品或新業(yè)務(wù)上線時(shí),少樣本或零樣本(2)解決方案:金融風(fēng)控MaaS,實(shí)現(xiàn)低門檻平臺實(shí)現(xiàn)全流程的自動化建模和部署上線,縮短模型上線周期,滿足快速迭代需求,適配業(yè)務(wù)動態(tài)變化;二是集成了大量專家模型,以模型服務(wù)的方式提供快速調(diào)用及組合編排,進(jìn)一步提升模型的精度和落地效率;三是積累了風(fēng)控領(lǐng)域豐富的知識經(jīng)驗(yàn),通過大模型加高質(zhì)量數(shù)據(jù)解決小樣本訓(xùn)練難題,并配備360度模型評估模塊,來源:騰訊云(3)實(shí)踐成效:快速適應(yīng)存量業(yè)務(wù)頻繁迭代及新業(yè)務(wù)開拓>模型精度、建模效率雙提升,快速適配業(yè)務(wù)變化。在金融風(fēng)控來源:騰訊云>快速應(yīng)對新業(yè)務(wù)拓展。在新業(yè)務(wù)缺乏樣本的情況下,基于MaaS來源:騰訊云五、總結(jié)與展望在大模型時(shí)代發(fā)展的浪潮下,各行業(yè)面臨著前所未有的數(shù)智化轉(zhuǎn)型挑戰(zhàn)與機(jī)遇。而MaaS作為模型服務(wù)靈活供給的新模式,為行MaaS概念在大模型時(shí)代得以重塑,助力大模型規(guī)?;涞亍aaS框架組成逐漸清晰,但落地挑戰(zhàn)不一而足。中國信通院聯(lián)合產(chǎn)業(yè)專家對MaaS框架做出系統(tǒng)性歸納,包括模型平臺層、模型層和應(yīng)用開發(fā)層,并對MaaS能力建設(shè)要求進(jìn)行梳理,同時(shí)將MaaS但MaaS在模型服務(wù)質(zhì)量規(guī)范性、服務(wù)易用性、風(fēng)險(xiǎn)合規(guī)及生態(tài)建MaaS應(yīng)用日趨廣泛,落地效果逐漸顯現(xiàn)。在外需和內(nèi)驅(qū)雙向推動下,金融、電信等行業(yè)率先涌現(xiàn)出諸多優(yōu)秀的MaaS落地實(shí)踐,將模型服務(wù)更加便捷地提供給用戶,使其在使用大模型等AI技術(shù)時(shí)能夠達(dá)到多快好省的效果。同時(shí)Maa
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 豪雅新樂學(xué)合同內(nèi)容
- 工程類施工合同法條
- 2025年??谪涍\(yùn)資格證考試口訣
- 山東能源設(shè)施建設(shè)合同
- 漁業(yè)設(shè)施個人承包施工合同
- 節(jié)能建筑招投標(biāo)模板
- 運(yùn)輸合同中裝卸義務(wù)解析
- 電子信息企業(yè)消防管理規(guī)章
- 保利影視基地招投標(biāo)操作指南
- 旅游景點(diǎn)食堂租賃合同
- 產(chǎn)品研發(fā)合伙人合作協(xié)議書
- 2024年化學(xué)檢驗(yàn)員(中級工)技能鑒定考試題庫(附答案)
- 【MOOC】中學(xué)化學(xué)教學(xué)設(shè)計(jì)與實(shí)踐-北京師范大學(xué) 中國大學(xué)慕課MOOC答案
- 山東師范大學(xué)《學(xué)術(shù)研究與論文寫作》2021-2022學(xué)年第一學(xué)期期末試卷
- 2023-2024學(xué)年廣東省深圳市寶安區(qū)五年級(上)期末英語試卷
- 幼兒園社會教育專題-形考任務(wù)二-國開(FJ)-參考資料
- 第五單元有趣的立體圖形 (單元測試)-2024-2025學(xué)年一年級上冊數(shù)學(xué) 北師大版
- 設(shè)備基礎(chǔ)(土建)施工方案
- 部編 2024版歷史七年級上冊期末(全冊)復(fù)習(xí)卷(后附答案及解析)
- 王卓 企業(yè)數(shù)智化能力成熟度模型(EDMM)標(biāo)準(zhǔn)體系解讀
- 某某有限公司重大危險(xiǎn)源安全評估報(bào)告(定稿)
評論
0/150
提交評論