阿里云：2024年GenAI技術(shù)落地白皮書(shū)

1Contents 1生成式人工智能（GenerativeArti?cialIntelligence,GenAI)即將迎來(lái)全面爆發(fā)，各行各業(yè)必須為此做好準(zhǔn)備。本報(bào)告從企業(yè)視角出發(fā)，聚焦技術(shù)，闡述GenAI在企業(yè)落地時(shí)的關(guān)鍵考量點(diǎn)，提出了“選-育-用”方法論，覆蓋了從模型和技術(shù)路線的選擇，到如何培育適合企業(yè)的大模型，并將其廣泛應(yīng)用在企業(yè)流程實(shí)現(xiàn)全面創(chuàng)新的全生命周期，為企業(yè)規(guī)?；疓enAI落地提供1.企業(yè)應(yīng)充分了解不同產(chǎn)品服務(wù)、技術(shù)解決方案背后的技術(shù)難度、成本及其能達(dá)到的效果，結(jié)合自身的技術(shù)實(shí)力、資金儲(chǔ)備以及業(yè)務(wù)目標(biāo)，作出合適的選擇；特別是面向不同應(yīng)用場(chǎng)景時(shí)，可以采取不同的產(chǎn)品服務(wù)模式而不2.選：企業(yè)需要結(jié)合自身情況選擇構(gòu)建GenAI能力的技術(shù)路線：深度研發(fā)大模型，或者基于現(xiàn)有大模型進(jìn)行工程化適配，或者直接使用大模型服務(wù)。后兩條路線適合大多數(shù)企業(yè)，此時(shí)要做好大模型的選擇，形成自己的大模型池。面對(duì)具體的應(yīng)用場(chǎng)景，選擇大模型的關(guān)鍵是在成本、效果和性能的“不可能三角”間進(jìn)行權(quán)衡和取舍。3.育：定制適應(yīng)企業(yè)的大模型需要基于基礎(chǔ)大模型進(jìn)行工程化適配，按照技術(shù)難度從小到大和投入成本從少到多，主要包括提示詞工程、檢索增強(qiáng)生成和微調(diào)三種方式。其中，微調(diào)會(huì)改變部分大模型參數(shù)，微調(diào)后還可以通過(guò)知識(shí)蒸餾、剪枝、量化等手段“壓縮”大模型達(dá)到靈活的適應(yīng)性，需要4.用：廣泛應(yīng)用GenAI需要解決基礎(chǔ)設(shè)施問(wèn)題。相比傳統(tǒng)的自建或租用數(shù)據(jù)中心方式，使用云基礎(chǔ)設(shè)施或者采用云托管大模型的方式能夠節(jié)約時(shí)間成本、降低現(xiàn)金流壓力。企業(yè)可以通過(guò)Agent將大模型的能力與企業(yè)應(yīng)用緊密集成，基于GenAIOps做好跨團(tuán)隊(duì)緊密協(xié)作、消除流程斷點(diǎn)，從而加速GenAI應(yīng)用上線，并根據(jù)效果及時(shí)更新。此外，需要始終關(guān)注GenAI應(yīng)用2GenAI技術(shù)落地白皮書(shū)GenAI是一種先進(jìn)的人工智能技術(shù)，它能夠基于已有的數(shù)據(jù)和知識(shí)生成全新的內(nèi)容。這種技在交互性、實(shí)用性和創(chuàng)造性上的巨大潛力。工業(yè)界和學(xué)術(shù)界都在積極投入資源，探索如何利用GenAI實(shí)現(xiàn)經(jīng)營(yíng)提效、體驗(yàn)提升以及業(yè)務(wù)創(chuàng)新。市場(chǎng)上涌現(xiàn)出各種基于GenAI的應(yīng)用，比如自助式數(shù)據(jù)分析、定制化內(nèi)容創(chuàng)作、個(gè)性化推薦、自動(dòng)化客戶服務(wù)以及輔助設(shè)計(jì)與研發(fā)等。與此同時(shí)，GenAI的倫理、安全和合規(guī)等潛在問(wèn)題也日益凸顯，如何保障GenAI的可持續(xù)和負(fù)責(zé)任發(fā)展打造GenAI能力，已經(jīng)成為企業(yè)全面邁向智能化、構(gòu)建市場(chǎng)競(jìng)爭(zhēng)優(yōu)勢(shì)的必然選擇。GenAI可容生成，將人力從重復(fù)性工作中解放出來(lái)，更專注于發(fā)揮創(chuàng)造力；降低數(shù)據(jù)分析的門檻，人人都成為數(shù)據(jù)分析師，從而實(shí)現(xiàn)科學(xué)決策，為企業(yè)提供精準(zhǔn)的決策支持；改善用戶體驗(yàn)，根據(jù)用戶行為和偏好，實(shí)現(xiàn)高度個(gè)性化的產(chǎn)品和服務(wù)；基于GenAI能力打造AI原生應(yīng)用，帶來(lái)顛覆性的體驗(yàn)企業(yè)構(gòu)建GenAI能力，是一個(gè)涉及戰(zhàn)略、組織、文化和技術(shù)等多個(gè)維度的綜合問(wèn)題。本研究將聚焦技術(shù)層面，分析GenAI在企業(yè)業(yè)務(wù)場(chǎng)景中全面落地的關(guān)鍵考量因素，提出“選-育-用”的GenAI落地方法論，從選擇技術(shù)路線和基礎(chǔ)模型入手，培育好適合企業(yè)的定制化大模型，并將其高效、安全地應(yīng)用在企業(yè)的方方面面，從而助力企業(yè)充分發(fā)揮GenAI能力，構(gòu)建獨(dú)一無(wú)二的競(jìng)爭(zhēng)3GenAI技術(shù)落地白皮書(shū)2.大模型的選擇新月異的發(fā)展，目前市面上已經(jīng)出現(xiàn)眾多各具特色的產(chǎn)品服務(wù)：產(chǎn)品門類繁多——有適合多種通用任務(wù)的基礎(chǔ)大模型，還有各類適應(yīng)特定行業(yè)或場(chǎng)景的行業(yè)大模型和場(chǎng)景大模型；服務(wù)模式多樣面對(duì)如此眾多的市場(chǎng)選擇，企業(yè)應(yīng)當(dāng)如何確定最適合自己的GenAI服務(wù)呢？我們建議，企業(yè)首先根據(jù)自身的業(yè)務(wù)需求和成本預(yù)算來(lái)選擇技術(shù)路線，然后權(quán)衡模型的效果、性能等因素選擇合適的大模型。特別是當(dāng)企業(yè)在面向多個(gè)業(yè)務(wù)場(chǎng)景需求時(shí)，可以不局限于單一大模型產(chǎn)品服務(wù)甚至技術(shù)路線，而是根據(jù)不同場(chǎng)景的特殊需求和市場(chǎng)上相應(yīng)產(chǎn)品服務(wù)的成熟性和契合度，分別選擇最企業(yè)使用大模型服務(wù)的技術(shù)路線，主要包括深度研發(fā)大模型、基于現(xiàn)有基礎(chǔ)大模型進(jìn)行工程長(zhǎng)高低低短低*注：不同的工程化適配方法在成本、技術(shù)難度、上線周期和定制化能力方面存在差異，此處為與另兩條技術(shù)路線相比的平均水平。GenAI技術(shù)落地白皮書(shū)總體而言，深度研發(fā)大模型是成本最高、難度最大、周期最長(zhǎng)的一條技術(shù)路徑，除非是擁有高密度AI安全、可維護(hù)性等因素。對(duì)于用戶來(lái)說(shuō)，常用的工程化適配方式包括提示詞工程（PromptEngineering）、檢索增強(qiáng)生成（Retrieval-AugmentedGeneration,RAG）和模型微調(diào)（Fine-過(guò)一定培訓(xùn)的技術(shù)人員即可掌握，因此適合于幾乎所有的企業(yè)用戶。特別是當(dāng)市面上現(xiàn)有的大模型產(chǎn)品和服務(wù)無(wú)法直接滿足企業(yè)的特定需求時(shí)，基于現(xiàn)有基礎(chǔ)大模型進(jìn)行工程化適配幾乎成為企業(yè)的必然選擇。場(chǎng)規(guī)模較大的行業(yè)或通用性較強(qiáng)的業(yè)務(wù)場(chǎng)景推出了特定領(lǐng)域的專用大模型產(chǎn)品，例如在智能客服、信息檢4GenAI技術(shù)落地白皮書(shū)大模型進(jìn)行工程化適配，還是大模型的直接使用，其中最關(guān)鍵的環(huán)節(jié)就是基礎(chǔ)大模型的選擇。在這一過(guò)程中，需要綜合考量各種因素，包括企業(yè)的業(yè)務(wù)場(chǎng)景需求、成本預(yù)算、員工技術(shù)水平，模型的生成質(zhì)量、泛化能力、響應(yīng)速度等，但本質(zhì)上，選擇大模型服務(wù)的關(guān)鍵是在成本、效果和性?成本指的是企業(yè)大模型落地的整體費(fèi)用，包括大模型的訓(xùn)練成本、推理成本以及部署、運(yùn)維和升級(jí)成本等。企業(yè)有時(shí)僅關(guān)注有形成本：例如GPU購(gòu)置費(fèi)用、消耗的電費(fèi)，或從第三方服務(wù)商購(gòu)買模型服務(wù)的費(fèi)?效果指的是大模型生成內(nèi)容的質(zhì)量，包括內(nèi)容的準(zhǔn)確性，是否存在幻覺(jué)問(wèn)題，或是否會(huì)生成不合適的內(nèi)5GenAI技術(shù)落地白皮書(shū)要同時(shí)考慮一系列其他因素：例如集成難度，即模型服務(wù)與現(xiàn)有系統(tǒng)的集成復(fù)雜度及其所需的技術(shù)投入；技術(shù)友好性，即技術(shù)人員的學(xué)習(xí)和使用難度；模型擴(kuò)展性，即模型的更新、升級(jí)頻率和向下兼容性；模型生態(tài)，包括模型系列的參數(shù)尺寸全面性及其背后的工具生態(tài)系統(tǒng)和合作伙伴網(wǎng)絡(luò)等；服務(wù)商可靠性，包括服務(wù)商的口碑聲譽(yù)、技術(shù)實(shí)力和服務(wù)能力以及客戶成功案例等。這其中，企業(yè)需要格外注意大模型服務(wù)的合規(guī)性與安全性，以免影響業(yè)務(wù)的正常開(kāi)展甚至造成企業(yè)數(shù)據(jù)的泄露。在國(guó)內(nèi)，提供基礎(chǔ)大模型服務(wù)的供應(yīng)商除了需要遵守?cái)?shù)據(jù)安全相關(guān)法規(guī)，還需要完成67GenAI技術(shù)落地白皮書(shū)3.大模型的培育在大模型的三條主要技術(shù)路線中，基于現(xiàn)有大模型進(jìn)行工程化適配是最受企業(yè)關(guān)注的一條 提示詞工程能夠在不修改或重新訓(xùn)練大模型的情況下，引導(dǎo)模型更加精準(zhǔn)地完成任務(wù)，從 - --GenAI技術(shù)落地白皮書(shū)RAG是一種結(jié)合了信息檢索和文本生成的技術(shù)方案，它需要企業(yè)構(gòu)建知識(shí)庫(kù)，特別是要在知識(shí)庫(kù)中納入企業(yè)希望重點(diǎn)服務(wù)的業(yè)務(wù)場(chǎng)景數(shù)據(jù)。RAG通過(guò)引入外部權(quán)威信息，顯著提升大模型內(nèi)容生成的準(zhǔn)確性和豐富度，減少錯(cuò)誤和臆測(cè)；生成的內(nèi)容可以追溯到具體的信息源，提高透明度和可解釋性。同時(shí)，基礎(chǔ)特別是生成內(nèi)容的質(zhì)量高度依賴于檢索系統(tǒng)的性能和檢索信息的質(zhì)量，這使得RAG相比于提示詞工程增加了成本，并提高了技術(shù)門檻。此外，檢索過(guò)程可能導(dǎo)致大模型的響應(yīng)速度變慢，對(duì)性能8GenAI技術(shù)落地白皮書(shū) 微調(diào)利用特定任務(wù)的數(shù)據(jù)集，調(diào)整大模型的部分或全部參數(shù)，進(jìn)而將行業(yè)知識(shí)內(nèi)化到大模型中，因此，數(shù)據(jù)質(zhì)量直接影響微調(diào)后的大模型效果。同時(shí)，微調(diào)策略也直接影響大模型效微調(diào)是目前較為常用的行業(yè)大模型和場(chǎng)景大模型的構(gòu)建方法，但由于其存在一定的資源和技 -9GenAI技術(shù)落地白皮書(shū)4.大模型的使用企業(yè)在確定GenAI的技術(shù)路線、選取合適的基礎(chǔ)大模型并完成工程化適配后，就需要規(guī)模化資源和部署環(huán)境；可以通過(guò)Agent方式將GenAI嵌入現(xiàn)有業(yè)務(wù)流程進(jìn)而提升效能；實(shí)施GenAIOps（生成式人工智能運(yùn)維充分發(fā)揮GenAI潛力，驅(qū)動(dòng)業(yè)務(wù)創(chuàng)新和），當(dāng)企業(yè)選擇深度研發(fā)或基于現(xiàn)有基礎(chǔ)大模型進(jìn)行微調(diào)時(shí)，面臨的首要問(wèn)題就是基礎(chǔ)設(shè)施的建設(shè)。企業(yè)構(gòu)建大模型基礎(chǔ)設(shè)施的方式主要包括自建或租用數(shù)據(jù)中心、使用公共云服務(wù)兩種方式。而當(dāng)企業(yè)選擇以RAG、提示詞工程進(jìn)行工程化適配或者直接使用大模型時(shí)，模型服務(wù)商會(huì)提供成熟的產(chǎn)品或API接口服務(wù)，可以面向用戶屏蔽大模型的基礎(chǔ)資源消耗，用戶只需關(guān)注大模型A用戶或服務(wù)商提供GenAI技術(shù)落地白皮書(shū)前期的資金和時(shí)間成本投入，相比自建數(shù)據(jù)中心靈活性更高。總體上，自建或租用數(shù)據(jù)中心均具備自主使用公共云服務(wù)構(gòu)建GenAI基礎(chǔ)設(shè)施，是指企業(yè)利用云服務(wù)商的資源和平臺(tái)來(lái)搭建和運(yùn)行GeGenAI技術(shù)落地白皮書(shū)4.2通過(guò)AIAgent升級(jí)業(yè)務(wù)流程代碼解釋器……傳統(tǒng)工作范式軟件工程思維AIAgent工作范式Agent工程思維AI為中心，人為輔助GenAI技術(shù)落地白皮書(shū)應(yīng)用于各行業(yè)，例如，在個(gè)人助理方面，能夠安排日程、回答優(yōu)化生產(chǎn)流程，預(yù)測(cè)維護(hù)需求；在醫(yī)療健康方面，能夠輔助診斷疾病，監(jiān)測(cè)建議；在金融服務(wù)方面，能夠進(jìn)行風(fēng)險(xiǎn)管理、欺詐檢測(cè)、智能投顧，并提供個(gè)性化財(cái)務(wù)建議；在持續(xù)、高效的軟件交付。這一實(shí)踐在機(jī)器學(xué)習(xí)（MachineLearning）領(lǐng)域的落地即為MLOps人員的高效協(xié)作，保障線上、線下數(shù)據(jù)的一致性以及實(shí)現(xiàn)模型的一系列流程持續(xù)運(yùn)轉(zhuǎn)，確保模型的效果始終滿足業(yè)務(wù)預(yù)期。在GenAI爆發(fā)的今天，大模型作為內(nèi)核，將會(huì)與眾多企業(yè)應(yīng)用進(jìn)行更加緊密地交互，迫切需要企業(yè)借鑒MLOps的理念，實(shí)現(xiàn)GenAIOps，以達(dá)到團(tuán)隊(duì)高效協(xié)作、縮短產(chǎn)GenAI原生應(yīng)用開(kāi)發(fā)，或者基于GenAI能力的現(xiàn)有應(yīng)用升級(jí)都涉及多個(gè)團(tuán)隊(duì)的緊密協(xié)作。在模型調(diào)優(yōu)或工程化適配階段，需要數(shù)據(jù)團(tuán)隊(duì)提供精準(zhǔn)業(yè)務(wù)應(yīng)用范圍的微調(diào)數(shù)據(jù)或外掛知識(shí)庫(kù)數(shù)據(jù)，需要算法科學(xué)家與AI工程師團(tuán)隊(duì)進(jìn)行微調(diào)、RAG或提示詞的工程化，特別是需要到業(yè)務(wù)目標(biāo)給出建議和改進(jìn)意見(jiàn)。在整個(gè)過(guò)程中，安全合規(guī)團(tuán)隊(duì)要確保數(shù)據(jù)沒(méi)有被濫用以及從負(fù)在開(kāi)發(fā)GenAI應(yīng)用的過(guò)程中涉及多個(gè)階段，流程間的斷點(diǎn)將會(huì)導(dǎo)致開(kāi)發(fā)速度減慢、出現(xiàn)潛在GenAI技術(shù)落地白皮書(shū) GenAI技術(shù)落地白皮書(shū)用安全，保護(hù)企業(yè)免受黑客利用GenAI進(jìn)行攻擊。企業(yè)應(yīng)該采用內(nèi)容異常檢測(cè)工具來(lái)限制不當(dāng)修復(fù)安全漏洞；建立應(yīng)急響應(yīng)機(jī)制，確保在發(fā)生安全事件時(shí)能夠迅速響應(yīng)并減少損失。特別是要關(guān)注新興GenAI技術(shù)落地白皮書(shū)