2024行業(yè)大模型調研報告：向AI而行共筑新質生產力

向RI而行共筑新質生產力——行業(yè)大模型調研報告騰訊研究院TencentResearchInstitute2024年5月人工智能大模型正在催生新一輪技術創(chuàng)新與產業(yè)變革，也將為工業(yè)、金融、廣電等行業(yè)數字化轉型和高質量發(fā)展帶來新動能。當前市場以基礎大模型為主，通識能力強，但缺少行業(yè)專業(yè)知識。如何將大模型融入個行業(yè)、上百位專家的訪談，在行業(yè)大模型概念厘清、應用進展、實現方式、安全大模型上云落地，能夠加速形成新質生產力，推動數字經濟的提質換檔。期待與更工業(yè)是國家之本、經濟之基。“AI+制造”能夠提高生產效率、提升產品質量、實現個性化定制、優(yōu)化資源配置、促進綠色環(huán)保、實現人才結構優(yōu)化等，進而加快推進中國工業(yè)的五個轉型升級，實現工業(yè)的數字轉型與智能化升級，促進新質生產力騰訊的行業(yè)大模型報告，通過一手的大量調研，闡釋了行業(yè)大模型的必要性和發(fā)展路徑。報告從應用場景入手，給出了落地的具體實現方式，揭示了大模型在降本提行業(yè)大模型作為AI向善和可持續(xù)發(fā)展的重要維度，其安全、可信、負責任的發(fā)展日益離不開有效的治理和安全措施。在這方面，這份報告提出的見解為我們構建負希望業(yè)內外同仁能夠在此基礎上繼續(xù)深入討論，以達成更廣泛的共識，共同推進人廣告是市場經濟的傳感器、晴雨表和風向標。在智能化浪潮的推動下，廣告行業(yè)正迎來前所未有的變革。大模型在廣告創(chuàng)意和生產、個性化推薦、效果分析等方面，已展現出巨大潛力。它正在重塑著廣告行業(yè)的未來，為品牌與消費者之間建立更加大模型是效率、體驗和創(chuàng)造力的倍增器，騰訊的這份報告為我們展現了大模型在各各行業(yè)將催生大量產品形態(tài)、生產力、生產方式、產業(yè)組織等多層面的創(chuàng)新，實現大模型的出現使得AI再次受到資本市場的廣泛關注，其核心邏輯在于大模型實現數據、場景等四個決定大模型發(fā)展的關鍵要素中，數據和場景是我們相對優(yōu)勢的領域。而要更好地利用場景，成功實現商業(yè)落地同時，基于云側和端側模型的完美結合，實現較高的執(zhí)行效率。目前，大模型大規(guī)模的行業(yè)應用尚在探索，成體系的研究不多。騰訊研究院的報告基于大量一線訪談和調研，進行了全面系統的分析梳理，提供了理性、全面、有價值的研究參考。作為投資人，我很樂于并期待看到更多類似的高質量研究，以此推動大模型向通用人包括各類企業(yè)和所有普通開發(fā)者。我們堅信，開源大模型會成為新的選項，開源社量的一手調研數據表示，我們不管是從底層能力還是應用場景方面，都應該引導一但是場景理解不足；另一方面，因為通用大模型對算力和數據量的高需求，許多企業(yè)無力承擔。我特別推薦不管是技術供給還是需求方的人士，都可以通過閱讀這份報告，了解供需兩股力量的匹配情況，共同推進生成式AI模型的能力開放，讓普我們研究院做的這份報告基于一線的大量實踐反饋，做了系統深入的歸納總結，讓比如行業(yè)大模型與通用大模型的關系等。我們始終認為，人工智能發(fā)展的根本目標是落地于行業(yè)、服務于人。能真正解決用戶需求、距離場景和數據更近的企業(yè)，將應用場景是大模型的“磨刀石”。騰訊擁抱大模型的一個重要方式，就是積極推動騰訊自己的各類業(yè)務與自研的混元大模型結合，同時在文化消費、生產提效、科技普惠等多個領域探索落地場景，發(fā)掘大模型的真實應用價值。這也是騰訊多年來形成的務實精神的體現，把自己做試驗田，內部打磨成熟再向外推廣應用，通過“由隨著騰訊大模型的不斷發(fā)展成熟，我們將會連接和服務更多的行業(yè)應用場景。哪些行業(yè)和場景需求強，哪些應用實現方式更適合，如何衡量應用的價值和成效……這些都是需要我們持續(xù)思考和解答的問題。這份行業(yè)大模型研究，提供了一份不錯的預研參考。未來，騰訊將繼續(xù)專注于自主可控的大模型技術發(fā)展路線，不斷迭代技序很少有一項技術像大模型這樣，全球熱度持續(xù)了快兩年，還在不斷涌現新熱點。這文生圖到文生視頻，大模型不斷解鎖新能力，逐步替代傳統的智力勞動，使得原本需要專業(yè)團隊長時間才能完成的工作，現在僅需一個簡單的提示或草圖即可實現。結果就是，人類的智力成果可以云端的方式、通過大模型提供給每個人，一個人帶然而，在大模型技術持續(xù)快速迭代的同時，我們也越來越發(fā)現一個現實問題：大模型在具體行業(yè)中的應用，推進好像沒那么快。很多企業(yè)對大模型是一邊期待、一邊焦慮，想盡快用起來，又不太知道怎么用，即使是有試用的，效果也不明顯，存在要用一個通用的大模型來直接滿足各行各業(yè)的特定需求，至少現在還有一定距離。行業(yè)大模型應運而生。坦白說，一開始我有疑慮，覺得這是一個偽也有不少討論和爭議。后來我們團隊堅持要進行研究、用事實說話，我也支持。在我看來，大模型發(fā)展到今天，研究已經不能只停留在眺望未來的視角，更需要貼近實踐，用深度的研究推動創(chuàng)新探索和落地。這份行業(yè)大模型調研報告，就這樣最終報告做了大量的一線實踐調研，訪談了超過百位的各界專家，系統歸納解答了一系列共性問題，包括為什么要發(fā)展行業(yè)大模型、行業(yè)大模型是什么、哪些行業(yè)和場景至少現階段是客觀存在的，通?；谕ㄓ么竽Ｐ驼{整而來，是很多企業(yè)提高模型專業(yè)性的有效選擇，也是國家落地“人工智能+”的最后一公里。而決定大模型影響大小的核心因素，就在“知識密度”，密度越高的行業(yè)或場景，受影響會越大，比當然，這項研究只是起了個頭，希望能對大家有所啟發(fā)和幫助。也要特別感謝所有給予我們指導、接受我們訪談的各界專家和朋友們，希望未來我們繼續(xù)攜手合作，推動大模型深入各行各業(yè)，一起創(chuàng)造和見證一 發(fā)展背景01行業(yè)大模型既有模型、也含應用09應用進展12一行業(yè)大模型應用階段劃分大模型在垂直場景的應用滲透，呈現“微笑不同行業(yè)對大模型能力有“三大共性需求”20三終極之問：行業(yè)大模型怎樣算成功？避免兩個誤區(qū)：片面追求技術性能或短期收益23評估三類價值：降本提效、業(yè)務創(chuàng)新和體驗增強構建一個模式：高質量數據飛輪37 實現方式39科研案例：scBERT單細胞基因數據分析大模型5254 行業(yè)大模型治理的三項原則5556575960 "人工智能+"促進行業(yè)大模型應用提速發(fā)展背景發(fā)展背景大模型引發(fā)的智能革命"日益強大的人工智能系統將從根本上改變科技產品的工作方式、創(chuàng)造新的類別并重組整個行業(yè)。從頭開始是好的。""IncreasinglypowerfulAlsystemswillfundamentallychangehowtechproductswork,createnewcategories,andrestructureentireindustries.startingwithacleanslateisgood."Model))chatGPT,用戶數5天過百萬、2個月過億的成績,一度刷新紀錄成為史上增長最快的應用。chatGPT的全民爆火揭開了人工智能(AI,ArtificialInteligence)大模型時代的序幕,也預示著AI邁向通用人工智能(AGl,Artificial目前業(yè)界對大模型并沒有形成明確統一的定義,狹義上可指代大語言模型,基于Transformer技術框架;廣義上則包含了語言、聲音、圖像、視頻等多模態(tài)大模型,技術框架也涵蓋stableDiffusion等。學界如李飛飛等人工智能學者指出,這些模型可被稱為基礎模型(FM,FoundationModel)。發(fā)展背景在大模型出現之前,人工智能通常需要針對特定的任務和場景設計專門的算法模型,人的通用智能"涌現"能力,能夠學習多個領域知識、處理多種任務,因此也被稱為通用大模型。具體而言,大模型具備以下特點:1.參數規(guī)模大存在冪律關系,性能會隨著這三個因素的指數增加而線性提高,通俗而言就是"大力出奇跡"。不過"大"并沒有一個絕對的標準,而是一個相對概念。傳統模型參數量通常在數萬至數億之間,大模型的參數量則至少在億級,并已發(fā)展到過萬億級GPT-4非官方估計約達1.8萬億。數據來源:Epoch(2024),ourworldlnData發(fā)展背景2.泛化能力強大模型能夠有效處理多種未見過的數據或新任務?；谧⒁饬C制(Attention),通過在大規(guī)模、多樣化的無標注數據集上進行預訓練,大模型能夠學習掌握豐富的通用知識和方法,從而在廣泛的場景和任務中使用,例如文本生成、自然語言理解、翻譯、數學推導、邏輯推理和多輪對話等。大模型不需要、或者僅需少量特定任務了多種人類基準考試,結果顯示其在多項考試中成績都超過了大部分人類(80%以上),包括法學、經濟學、歷史、數學、閱讀和寫作等。估大模型在各種語言理解任務上能力的綜合測評,涵蓋歷史、文學、科學、數學等廣泛主題和領域發(fā)展背景資源與成本滿足性能需要,然而降低資源消耗基本上需要采用更小的模型或更少的參數,這又會降低模型的性能表現。通用大模型以發(fā)展通識能力為主要目標、更側重泛化性,在專業(yè)性和經濟性方面很難充分滿足具體行業(yè)/機構的特定需求,存在"有幻覺、成本高"等情況。2.行業(yè)對大模型有內生需求具體行業(yè)中機構從自身需求出發(fā),采用大模型還有兩個關鍵考量因素:競爭和安全。將數據轉化為競爭力是核心驅動:為有效提升競爭力,機構會盡力尋找性能最佳的模型,并利用行業(yè)專業(yè)數據或私有數據的獨特資源,對模型進行定制調整和優(yōu)化。目前GPT-4等市場頭部通用大模型多為閉源,通過網頁、APP應用服務大眾用戶,或以API標準化調用的方式服務開發(fā)者,可定制化調整的空間較小。保障安全可控是底線要求:大模型不僅涉及機構私有數據的調用,還會與機構的業(yè)通用大模型通?；诠性铺峁┓?會造成機構對私有數據、敏感數據安全的擔憂。例如,2023年三星電子引入chatGPT不到20天,就引發(fā)代碼上傳、會議記錄等三起內部資料泄露事件。此外,通用大模型本身的數據集、參數等對外多是黑盒,機構無法掌握技術細節(jié),也會影響對模型的信任度。3.行業(yè)大模型是落地"人工智能+"的最后一公里如上可見,通用大模型與行業(yè)/機構具體需求間存在差距,行業(yè)大模型成為彌合技術與需求間差距的必然產物,能有效支持各行各業(yè)加速落地大模型應用:發(fā)展背景所以還需要提供大模型的私有化訓練和本地化部署。"●行業(yè)大模型的特點行業(yè)大模型是與通用大模型相對的概念。通用大模型側重發(fā)展通識能力,行業(yè)大模型則側重發(fā)展專業(yè)能力。從行業(yè)實踐看,行業(yè)大模型不僅指開發(fā)一個行業(yè)專用的模型本身,更多還包括基于通用大模型調整和開發(fā)的行業(yè)應用。因此,廣義上行業(yè)大模型可以歸納為:利用大模型技術,針對特定數據和任務進行訓練或優(yōu)化,形成具備專用知識與能力的大模型及應用。此外,國際上更多用垂直模型(verticalModel)或垂直人工智能(verticalAI)來表示,國內還有用垂類模型、領域模型、專屬模型等稱謂,都可以認為與行業(yè)大模型等同或包含在內。2.行業(yè)大模型大多生長于通用大模型之上行業(yè)大模型大多在通用大模型基礎上構建。通用大模型具備豐富的知識和強大的泛化能力,不僅能為行業(yè)大模型提供廣泛的知識基礎并提升交互體驗,還能顯著節(jié)約從頭訓練模型所需的大量數據和算力資源,大幅提升行業(yè)大模型開發(fā)及應用的效率和效果。通過對通用大模型進行提示工程、檢索增強生成、精調、繼續(xù)預訓練/后訓練等方式,模型能夠更好地處理特定數據或任務,從而生成行業(yè)大模型的版本發(fā)展背景(模型有變)或具備行業(yè)大模型的功能(模型不變),具體實現方式見報告第三章。今天市場上很多行業(yè)大模型,如金融、法律、教育、傳媒、文旅等,大多是在Llama、SD、GLM、Baichuan等國內外主流開源大模型基礎上構建。場景數據行業(yè)數據行業(yè)數據通用大模型"模型需要進一步的分級,如L0-L1-L2等從基礎模型、垂直模型到某個領域專家,來逐步實現專業(yè)性的提升。所謂的垂直領域模型,更多是一個特定訓練數據的加入,比如占到10-15%的預訓練占比,從而輸出行業(yè)大模型。"——國內某大模型獨角獸技術負責人應用進展應用進展經營管理-農業(yè)市場信息分析輔助經營管理-農業(yè)市場信息分析輔助行業(yè)農業(yè)第一產業(yè):農林牧漁業(yè)研發(fā)/設計-生物育種生產/制造-智慧種植/養(yǎng)殖決策輔助市場/銷售-農產品電商平臺銷售對話客戶服務-農業(yè)技術服務智能對話助手第二產業(yè):制造業(yè)/建筑業(yè)/電力/能源第二產業(yè):制造業(yè)/建筑業(yè)/電力/能源行業(yè)研發(fā)/設計生產/制造市場/銷售客戶服務經營管理建筑-戶型和總圖設計生成-意向圖生成等-開店選址助手-技術資料對話-建筑工程技術資料對話輔助施工-住房銷售廣告素材生成-物業(yè)智能客服/數字社區(qū)-企業(yè)助手-經營數據問答-工單自動分類-設備設施管理制造-工業(yè)產品外觀設計-工業(yè)代碼生成-工業(yè)機器人控制-車間和設備管理-市場需求預測和庫存管理-個性化營銷-產品營銷內容生成-產品智能客服-機器人業(yè)務處理-管理軟件輔助-工業(yè)知識問答和企業(yè)助手能源-新能源場景規(guī)劃輔助-智能巡檢-生產環(huán)節(jié)調度輔助-知識圖譜輔助運營-售電公司智能銷售-售電與電網服務助手-負荷預測及電力質量分析 第三產業(yè):生產性服務業(yè)行業(yè)行業(yè)研發(fā)/設計市場/銷售客戶服務經營管理市場/銷售客戶服務經營管理-廣告主自助內容生成平臺-金融智能客服-差異化的廣告投放-銀行催收合規(guī)監(jiān)管-應用智能客服-copllot編程輔助-風險管理和信貸評價-資料匯總和投資分析-軟件創(chuàng)意設計生成-輔助芯片設計-數倉的自動調度-營銷合規(guī)監(jiān)管-廣告創(chuàng)意生成-設計圖生成-客戶觸達數據分析-數據中臺智能分析-銷售線索自動評化-廣告精準投放-理財產品銷售廣告軟件金融應用進展各行業(yè)橫向對比,大模型已經在多個行業(yè)落地,從進展快慢角度可歸為三大類:1)數字原生行業(yè)是大模型應用的先行者成為大模型落地較快的行業(yè)。這些行業(yè)的大模型應用場景廣泛,覆蓋了營銷、客服、內容生成等諸多環(huán)節(jié),目前已積累了相對豐富和成熟的實踐。例如,游戲行業(yè)利用大模型進行NPC對話生成、游戲素材創(chuàng)作、玩家行為分析等,提升研發(fā)效率和游戲體驗;互聯網TOC領域,利用大模型優(yōu)化內容生成、信息搜索、智能助手等關鍵應用進展較快。2)生產性服務業(yè)成為傳統行業(yè)結合大模型的示范區(qū)金融、廣告、軟件等生產性服務業(yè),因其產品和業(yè)務的非實物屬性,在客戶服務和數據處理等方面有強需求,比較適配當前大模型技術的能力,因此推進也較快,為其他傳統行業(yè)的大模型應用探索提供了示范。例如,軟件行業(yè)積極利用大模型代碼生成等能力,優(yōu)化從需求分析、開發(fā)、測試到運維的全流程,降低人力成本、提高應用開發(fā)和服務質量;金融機構則利用大模型增強服務的廣度和精度,實現營銷、風控、投研等環(huán)節(jié)的賦能提效。這些行業(yè)的大模型實踐正加速走向成熟,并向場景縱深探索。3)重資產行業(yè)在大模型的應用上處于局部探索階段能源/電力、建筑、制造業(yè)等行業(yè),大模型應用推進相對慢,主要受限于線下生產應用進展型技術所帶來的"智力即服務"的范式變化,特別適配微笑曲線兩端、知識密集型1)營銷/服務環(huán)節(jié)進展最快,跨行業(yè)通用性強是重要原因在產業(yè)鏈下游的營銷與服務環(huán)節(jié),基于機構自有知識庫的內容生成與智能對話,能使營銷和服務活動的效率和體驗得到顯著提升,成為各行業(yè)嘗試應用大模型的普遍先行領域。營銷和服務大多直接面向C端用戶,跨行業(yè)通用性強,能夠充分利用通用大模型的基礎能力和通用的營銷、服務知識,快速開發(fā)和調試出適配機構需要的應用。如營銷方面,各行業(yè)都能基于廣告大模型進行素材生成和精準投放;客服方面,各行業(yè)也能在通用的智能客服機器人快速搭載自有知識庫,為用戶提供專業(yè)的個性化服務。2)研發(fā)/設計環(huán)節(jié)結合最深,高質量專業(yè)數據集決定進程在產業(yè)鏈上游的設計研發(fā)環(huán)節(jié),大模型對海量知識的高效學習、推理和生成能力,不僅能大幅提升文案、影像、代碼等內容創(chuàng)意的生成效率,還適用于生物、環(huán)境、材料等涉及海量科研數據處理的科學計算領域。是否具備高質量的專業(yè)數據集,決定了不同行業(yè)、領域在這個環(huán)節(jié)進程的快慢。文案、影像、代碼等有大量基于互聯網的開放、開源數據集,因此這些領域進展最快;有高質量、大規(guī)模開放數據集的科研領域進展也較快,典型像DeepMind開發(fā)的AlphaFold,能夠僅憑氨基酸預測蛋白質的3D結構,大幅提升了蛋白質研究進程,其成功的背后有賴于采用了PDB、uniprot等提供的開放數據集進行預訓練;工業(yè)研發(fā)/設計方面,芯片、汽車等領域也已出現用大模型輔助設計生成的應用,但這些領域多涉及強商業(yè)競爭,應用進展高質量的開放數據集很難獲取,需要更多投入,實用進展相對慢。3)生產/制造環(huán)節(jié)進展相對慢,對人的輔助增強是目前主要結合點處于產業(yè)鏈中間的生產制造環(huán)節(jié),往往涉及對機器等各類實體的操作,需要人與設備、工藝、系統的適配,環(huán)節(jié)多、流程復雜,對安全性、準確性和穩(wěn)定性要求高。目前大模型的能力主要體現在自然語言和圖像的處理上,并不直接適用于生產制造環(huán)節(jié)復雜的數值計算、時序分析和實時決策等場景,往往需要針對性采集專業(yè)數據集進行專門的模型訓練和開發(fā),因此結合的進展相對慢。從目前行業(yè)實踐看,大模型在生產制造領域的應用側重在對人的輔助增強,以copilot(機器人助手)為主要形態(tài),結合工業(yè)軟件在工業(yè)仿真、生產監(jiān)控、故障排查等環(huán)節(jié)輔助人提升處理能力。例如西門子與微軟合作推出了siemensIndustrialcopilot,通過自然語言交互,維修人員可以獲得詳細的維修指導,工程師可以快速訪問仿真工具,還能夠快速生成、優(yōu)化和調試復雜的自動化代碼,幾分鐘即可完成以前耗時數周的任務,大幅提互就能自動整理工廠運營相關的各類數據,快速生成易于理解的報告、郵件和圖表,還能引導用戶進行根因分析加快問題診斷。3.不同行業(yè)對大模型能力有"三大共性需求"雖然不同行業(yè)與大模型結合的進展和側重點存在差異,但對大模型的當前優(yōu)勢和發(fā)展方向也存在共性的認識與需求,總體看有三個方面:1)內容生成與創(chuàng)意設計主要運用大模型展現出的生成能力,包括文本生成、圖像生成及代碼、表格等泛文應用進展本生成能力,結合特定行業(yè)、場景的數據,支持內容生成和創(chuàng)意設計。例如各行業(yè)都普遍需要營銷和廣告,不論是創(chuàng)意階段的文案制作、還是市場階段的廣告素材生成,結合行業(yè)特定數據的廣告大模型應用都能發(fā)揮更好的作用。在數字化的浪潮下,很多行業(yè)也需要增加代碼開發(fā)、數據分析等工作,大模型輔助代碼生成、數據分析和圖表生成等,成為增長中的跨行業(yè)共性需求。2)信息提煉與專業(yè)輔助主要運用大模型的摘要、規(guī)劃等能力,針對特定行業(yè)、場景的數據,輔助人進行專業(yè)知識的提煉、分析和加工。結合檢索增強生成等技術,許多行業(yè)通過對話機器人實現此類助手型應用,覆蓋研發(fā)設計、生產制造、營銷服務等多環(huán)節(jié)。例如金融行業(yè),結合金融領域專有知識形成的金融大模型,已能有效支持前后臺工作,成為金融投資決策、風險評估等的關鍵支撐;醫(yī)療行業(yè),科研人員可以通過對話式藥物研發(fā)助手,便捷查詢專業(yè)信息,助力新藥研發(fā),甚至輔助DNA測序識別疾病與基因的關聯等。3)任務調度與智能交互行業(yè)對大模型的需求,更多還體現對其代理能力(Agent)的期待,希望大模型能與其他應用,甚至與現實世界的機器和設備等連通,在更廣泛的范圍協助進行任務調度和問題解決。這涉及實時數據處理、自動化控制、環(huán)境感知和決策支持等,對模型的響應速度、準確度和自適應性提出了更高要求,需要大模型插件生態(tài)、大模型與小模型的結合、多模態(tài)大模型等順利發(fā)展。例如電力行業(yè),希望通過大模型的任務調度和交互能力,有效整合傳感器等數據,優(yōu)化能源分配和消耗,提高能源領域的運行效率;交通行業(yè),涉及復雜的現實環(huán)境交互,對安全性和準確性要求高,可能需要開發(fā)具備多模態(tài)能力的原生交通大模型才能滿足需求。應用進展相對概念、沒有絕對標準。1.避免兩個誤區(qū):片面追求技術性能或短期收益誤區(qū)1:將技術指標當作證明大模型成功的標準。在大模型技術快速迭代的形勢下,一些機構會將注意力集中在技術性能上,通過呈現指標數值的增長來反映大模型的成功,包括精度、召回率和提升率等,但這些指標遠遠不夠。最大的問題是,技術指標的高低無法直接反映出大模型價值的大小,例如召回率從50%提升到60%,算不算成功其實很難評判。更重要的應該是關注業(yè)務指標,例如用戶數、使用量、收入等,這些指標能直觀反映價值,作為評判成功的標準更具說服力?？蓪⒓夹g指標和業(yè)務指標建立聯系,用業(yè)務發(fā)展來牽引技術開發(fā)和優(yōu)化,也更容易論證技術性能提升所帶來的價值。誤區(qū)2:過度看重投資收益中的短期產出部分而忽視長期投入。行業(yè)更關注大模型的實用性,越來越強調投入產出比,這本身沒有問題。但一些機構會將大模型與成熟業(yè)務類似,要求明確的投入產出,甚至短期內實現正向盈利,這并不利于大模型應用的發(fā)展。大模型還在快速迭代,有大量的不確定性,比如技術突變、泡沫等,短期財務上很難有較好的表現,長期也很難評估準確。更合理的方式是將大模型作為研發(fā)或孵化項目,不強求短期的財務指標絕對值達成,轉而關注業(yè)務、技術等指標的相對提升,采取廣泛的組合投資策略長期持續(xù)投入才可能真正見效。應用進展"人工智能投資的最佳回報率將來自廣泛的人工智能投資組合,并以廣泛且不斷發(fā)展的投資理論為指導與戰(zhàn)略優(yōu)先事項保持一致,有助于根據業(yè)務影響分配資源。遵循投資組合管理計劃來確定大多數人工智能用例的組織,達到人工智能實施成熟水平的可能性高出2.4倍。"——Gartner《快速解答:人工智能投資的真實回報是什么?》2.評估三類價值:降本提效、業(yè)務創(chuàng)新和體驗增強從國際頭部企業(yè)的研究和實踐經驗看,目前評估大模型成功的方法整體呈現多維特征。例如,微軟推出的《為人工智能成功奠定基礎:領導者指南》列出了五個類別,包括商業(yè)策略、技術策略、AI策略、組織與文化、AI治理。谷歌在《新一代人工智能的KPI》中歸納了三個主要領域,模型質量、系統質量和業(yè)務影響。往體現為業(yè)務需求及指標)是衡量大模型成功的最終指向。例如,微軟認為商業(yè)策略是人工智能成功的第一步,業(yè)務需求目標主要有提高生產力、效率最大化、改善業(yè)務成果。谷歌認為企業(yè)可以從人工智能部署中獲得多種價值,建議用于跟蹤業(yè)務影響的指標有采用率、使用頻率、會話長度、放棄率、用戶滿意度等,商業(yè)價值改進指標則列舉了客服成本減少、營銷簡化時間節(jié)省、零售每次訪問收入提升等示例。"41%的成熟人工智能組織使用與客戶成功相關的業(yè)務指標。"——Gartner《調查分析:人工智能優(yōu)先策略帶來回報增加》應用進展從我們調研的實際情況看也類似,國內行業(yè)大模型應用實踐的企業(yè),在談及大模型價值或成效的時候,大多也認為對商業(yè)、業(yè)務的影響是最關注的問題。整體上可以歸納為三類價值降本提效主要是衡量行業(yè)大模型對機構本身運營管理影響,也是目前比較顯性的成效表現。核心在于大模型能輔助增強人員能力,提升自動化水平進而簡化流程,最終減少人力等成本、提升組織運營和管理效率。典型場景包括自動化開發(fā)、業(yè)務流程優(yōu)化、智能化決策支持等,衡量成效的指標如大模型支持業(yè)務的成本節(jié)約、時間節(jié)約、效率提升、輔助決策的準確率等。自動化開發(fā)大模型能自動生成代碼、提供編程建議,減少開發(fā)者的重復性工作,讓他們更專注于復雜的系統設計和問題解決。同時,這也降低了編程門檻,使非專業(yè)人士能參與編程開發(fā),促進技術的普及和創(chuàng)新。比如,大模型提供的代碼示例和建議,幫助開發(fā)者避免常見錯誤、提高效率。大模型能理解編程語言的語法和結構,甚至項目的具體上下文,為開發(fā)者提供定制化支持。這種自動化不僅加快了開發(fā)流程,也能提高產品質量。"跨境賣家每年投入在商品拍攝上的費用幾乎會占到整體跨境賣家每請1個外籍模特的費用基本在2000元/小時,而用AgIGC模特商拍功能,可以將每張商拍圖的成本降低應用進展98%,同時生成時間縮短至1分鐘/張,大大降低買家營銷"ICT行業(yè)之前很多公司都是靠外包,把需求和設計聊清楚,代碼交給別人。這些原來可以交給別人去做的工作,后面可能都可以通過大模型來做。"在生產端,stableDiffusion等工具助力2D美術創(chuàng)作,同時較低的技術環(huán)節(jié)成本。"應用進展業(yè)務流程優(yōu)化大模型能通過智能助手等方式,嵌入業(yè)務流程環(huán)節(jié)中,提高環(huán)節(jié)間的交互效率,并通過自動化方式簡化、優(yōu)化流程,提升業(yè)務運營效率。例如游戲行業(yè),大模型能使初步概念快速轉化為可視化內容,降低策劃與美術之間的溝通成本,提高游戲開發(fā)效率。能源行業(yè),像電網運維檢修,大模型結合向量數據庫加速了知識圖譜的創(chuàng)建,支持數據處理和決策流程提效,提升作業(yè)規(guī)范和安全性。金融行業(yè),大模型已被用于自動化交易、風險管理和合規(guī)監(jiān)控中,輔助識別欺詐行為等風險,同時提高交易的處理速度和精確度。協同辦公領域也在融入大模型,如視頻會議結合大模型能自動生成會議記錄和摘要,形成行動計劃并自動分發(fā)任務信息等。"大模型技術在金融領域深化客戶交互與營銷管理,通過chatbot和數字人提高服務的個性化與效率。這些AI工具資和保險方案制定中展現出精準服務能力。同時在辦公協同內部的工作流程效率。""在運維檢修等關鍵場景中,需要促進作業(yè)人員的安全、規(guī)建過程,提高應用效果,簡化電網的數據處理和決策流程。"應用進展"IT技術的發(fā)展,最開始做的是流程化,如通過RP9去幫助企業(yè)提效,把重復勞動替換掉;然后我們增加了智能化,最能化的方式進一步提效;再然后是月1重塑工作流,也就是讓客戶原來的工作流程體系逐漸被RI替代。""傳統方式上,策劃向美術傳達概念草圖時面臨巨大挑戰(zhàn),因難以通過言語讓對方完全理解內心的視覺想法。引入基于大模型的RIGC工具后,策劃可將初步概?快速轉化為一系列2D或3D內容,供和美術一起討論,有效避免意見分歧導致的內耗,極大簡化了美術風格定調和選型過程,顯著提高游戲制作的效率。"智能化決策支持大模型還能在運營分析和管理上發(fā)揮作用。例如,在供應鏈管理中,大模型能輔助分析預測需求,支持庫存優(yōu)化,提高物流效率并降低成本。交通領域,大模型能整合人、車、路、環(huán)境等多元的數據,提供智能管控方案,改善城市交通的流量管理。金融行業(yè),大模型能輔助高效檢索信息,提高了財富管理顧問等決策和服務效率。在大模型能輔助數據探索、自動執(zhí)行數據清洗和預處理等任務,節(jié)省分析時間、提升分析結果的時效性。廣告行業(yè),以大模型為底座,通過投放的實時數據反饋來驅動創(chuàng)意素材的生成與預算分配中各項指標的設定,最終能建立起清晰的增長模型與投放策略。應用進展各種因素納入考量,通過計算得出高精度的最佳控制方案。通流異常情況時,依據交通流的動態(tài)數據,并結合無人機的吸收TSW自身廣泛的智力資本。[該產品)專門為、并且由摩根士丹利設計,通過適當的控制,財務顧問及其團隊理解的格式提供答案,專門從刀5WT的內容中生成,并帶有鏈接源文件,幫助財務顧問更好地為客戶服務。"——摩根士丹利財富管理公司[IT5WTJ應用進展支持,滿足規(guī)范標準和工程經驗的要求,還在進一步支持設計師創(chuàng)新和優(yōu)化設計、促進團隊之間精準溝通等方面發(fā)揮作用。""從目前大模型對數據分析日常工作的輔助來看,比較適合2)業(yè)務創(chuàng)新業(yè)務創(chuàng)新主要是衡量行業(yè)大模型對業(yè)務供給能力的影響,也是很多機構最希望實現的目標。核心在于大模型的生成能力能擴大內容供給,與應用場景的結合還可能創(chuàng)造新功能或業(yè)務,幫助提高業(yè)務的競爭力、擴大業(yè)務的市場空間。典型場景包括豐富內容創(chuàng)意、優(yōu)化業(yè)務功能、開發(fā)新業(yè)務等,衡量成效的指標如大模型支持內容生成的速度和質量、業(yè)務的用戶數、業(yè)務的營收等。降低創(chuàng)意門檻大模型能快速生成內容,從而降低內容創(chuàng)意門檻,尤其在廣告、建筑、規(guī)劃和設計領域表現顯著。廣告營銷行業(yè)最典型,技術進步特別是文生圖像和視頻大模型如應用進展廣告。這些模型使得創(chuàng)意不再是高不可攀的資源,普通人也能借助AI工具將其想法具象化,極大豐富廣告創(chuàng)意的供給。又如建筑和規(guī)劃行業(yè),大模型可以貫穿從創(chuàng)意啟動到審圖階段,輔助將創(chuàng)意逐步轉化為合理的設計。"文生圖對我們影響比較大,與設計師的生產息息相關。尤其商業(yè)圖像很嚴肅,用戶付費要求比較高。之前是人工較多,服務對象較少,設計師水平差異比較大,成本比較高。能夠通過AIGC工具服務更多的人。"——卓也,稿定(廈門)科技有限公司視覺算法負責人"大模型應用顯著提高了創(chuàng)意生產的效率,一方面降低營銷人員與設計師間的溝通成本,通過自然語言直接生成概念圖。另一方面,為創(chuàng)意人員提供新素材方向和靈感,建立素"建筑和規(guī)劃領域,大模型的重要性可歸納為兩個階段:創(chuàng)意啟動階段,它提供了基于實際空間圖紙的輔助工具;審圖和發(fā)散想象型兩種。"應用進展豐富創(chuàng)意供給一是擴大供給數量,由于創(chuàng)意生成門檻的降低,普通人也可以通過AI工具,將其創(chuàng)意想法進行呈現,并進行各種再加工和應用,AIGC+UGC的混合方式大幅度提升創(chuàng)意的供應量;二是豐富供給類型,目前文生圖只是AIGC的1.0版本,隨著sora等新技術的出現,"扔一本小說生成一本繪本或者一部電影"的想象正在走向現實。未來,文生文與文生圖、文生視頻、游戲引擎等結合,可能創(chuàng)造更多內容形態(tài)和服務方式。"在沒有AI的時代,中級原畫師需要約一周時間才能完成一張高質量的場景圖。然而借助stableDiffusion,美術人員在簡單培訓后,一個上午就能產出百張圖,可滿足需求。此外,還可以進一步利用如controlnet之類的工具進行優(yōu)化提效。""互聯網廣告的作業(yè)流程包括策略設定、內容管理、創(chuàng)意生產、發(fā)布和數據分析環(huán)節(jié)的人工智能應用已相對成熟,形成有效的"智能小循環(huán)'。然而,策略設定、內容管理和創(chuàng)意生產三率,使得人工智能能夠貫穿并賦能整個廣告作業(yè)整體流程效率的提升。"應用進展"今天的互聯網大家理解更多是生產和消費的鏈接,人和人的鏈接。通過新的AI供給重塑互聯網,目前比較明確的熱點在于內容行業(yè),特點是生產和消費都在線上可以完成,比如character.ai,Artifact和pika就是探索GenAI時代的內容平臺,提供了一種創(chuàng)造即消費,主被動一體的新體驗。"創(chuàng)新應用場景大模型也有利于激發(fā)用戶的需求,創(chuàng)造出全新的應用場景。例如開發(fā)者可以利用Al生成環(huán)境、角色、對話等,提供以AI生成內容為核心的新業(yè)務和個性化服務,在互聯網、游戲、建筑等領域都有新嘗試。"基于大語言模型推出月I咨詢師的文字問答服務,好評率"9I原生的企業(yè)會越來越多,因為成本足夠低,可能性空間會很大。比如做照片的、視頻的、數字人的。甚至是建個就能看到很多可能性的空間。以前這種產品成本很高,有了AI能力之后,成本變低。月I的能力會極大降低元宇宙的應用進展"我認為未來在虛擬空間搭建方面有很大的發(fā)展?jié)摿?。利?大模型能夠輸入:文本、圖像、草圖、三維重建模型、視頻級數字底板生成與更新的3D大模型建設。同時具備泛化為通3)體驗增強體驗增強主要是衡量行業(yè)大模型對用戶使用的影響,體現對用戶的價值。大模型能提供自然語言交互能力,并隨著向多模態(tài)、具身智能方向發(fā)展,為用戶提供更加自然、豐富的體驗,從而創(chuàng)造價值增值。典型場景包括交互方式變革、個性化服務、虛擬陪伴等,衡量成效的指標如大模型支持業(yè)務的用戶使用量、活躍度、滿意度、問題解決率、留存率等。交互方式變革大模型可能改變現有應用的交互方式,以更自然的對話方式,讓用戶使用應用和調用功能。例如,文檔結合大模型,用戶可以通過描述需求,讓應用直接生成文字、圖形等內容。更有想象空間的是與AR/VR等新交互技術和設備的結合,像蘋果的visionpro,可能推動新一輪應用形態(tài)和體驗的變革。應用進展"以chatGPT為代表的AI大語言模型應用將復雜交互做了根本性的顛覆,因為只有人與人的對話是最順暢的,類chatGPT應用以擬人化的預訓練大語言模型提供了接近于人類交流的舒適度與流暢度。大模型應用于政府領域,使市民與數字政府之間的交互會更流暢和便捷,可以視為數字政府的專家級陪伴或助手。"——吳炳坤,眾數信科CEO"換位想象一下,如果所有的交互變成自然語言的交互方式呢?比如我要創(chuàng)建一個任務,原來在5a35產品上要點擊60次才能完成,現在我一句話就能完成,這個一定會有助于5aa5的落地。"個性化服務大模型能夠提供個性化服務。典型像教育領域,大模型可以根據每個學生的特點和興趣,輔助提供千人千面的個性化教學內容和服務。同時,在教學過程中,對話式學習也將提升學生學習過程的交互性,提高每個學生的學習興趣。醫(yī)療領域,大模型可以為醫(yī)生和患者提供助手服務,輔助實現大規(guī)模的精準醫(yī)療服務實施。應用進展水平快速提升,教育方式不再是一成不變的,而是根據學生"人類醫(yī)生處理類似問題時并不會直接給出答案,而是追問癥狀,進一步排除可能性較低的疾病。騰訊醫(yī)療大模型就很虛擬陪伴服務在產品服務優(yōu)化環(huán)節(jié),將大模型的能力集成到產品中,成為消費電子、汽車等領域產品智能化能力提升的探索焦點。例如智能音箱vifachatMini內置了chatGPT,在保持了專業(yè)聲學標準的基礎上,提升了自然語言交互體驗,可用于情感支持、學習陪伴、工作助手等?，F在做聆心陪伴,大模型的對話能力很重要,不然用戶無法持續(xù)聊下去。用戶在不做假設的情況下聊天,體驗不好的時候直接退出。我們用戶的體驗和對話的輪次息息相關,現在平均對話是60輪左右,單一客戶是150輪左右。之前是單應用進展感…大模型在未來教育中會成為一種陪伴的角色,甚至是不"結合車輛感知數據、語音輸入和用戶行為分析等因素,騰戶更自然的對話體驗、生成式的交互界面、多樣化的場景編——孫廷,騰訊智慧出行智能座艙產品總經理3.構建一個模式:高質量數據飛輪數據是大模型能夠運行并創(chuàng)造價值的核心能源。對具體的行業(yè)機構而言,通過大模型生成和擴展價值的能力,核心取決于如何充分利用自己特有的數據。在數據問題上往往有一個誤區(qū):數據量越大越好,有大量的數據就能訓練出好的模型。然而實際上相比規(guī)模,數據質量對于大模型的性能更為重要,尤其是對專業(yè)性和準確性要求高的行業(yè)大模型。行業(yè)大模型的構建,需要一開始就把高質量的數據環(huán)境納入其中,通過體系化的數據治理設計,優(yōu)先開發(fā)數據管道,讓大模型能夠與應用相關的機構自有數據源建立應用進展連接,以支持后續(xù)能持續(xù)不斷獲得有效的數據,形成數據飛輪。高質量的數據環(huán)境,不是企業(yè)任意數據拿過來就可以,而是需要應用相關的、能提供上下文理解的數據,重點投資于持續(xù)標記、組織和監(jiān)控這些數據,比如行業(yè)專家的問答內容。數據架構本身,還需要涵蓋結構化和非結構化的數據源,支持多樣化的數據處理。●"與行業(yè)客戶合作中,遇到最核心的問題是數據準備方面,也是當前最大的成本項?？蛻敉磺宄獪蕚淠男祿?、數據要整理成什么格式等。工業(yè)為例,數據量是巨大的、一天幾個T,但對于當前的大語言模型來說,一些簡單重復的時序數據,沒有太大意義,需要重新規(guī)劃訓練思路。"——國內某大模型獨角獸公司技術負責人可以建立一些指標和標準來評估和指引數據工作,并根據實際的訓練和應用不斷優(yōu)化完善。如數據的相關性,評估數據符合模型應用的需要程度,缺乏相關性的數據很可能降低模型性能。數據的可持續(xù)性,評估數據是否容易持續(xù)獲取,能通過業(yè)務的用戶使用及反饋直接獲取的有效數據,更容易支持數據飛輪的構建?？傊?高質量數據的飛輪是行業(yè)大模型成功的重要基礎。實現方式實現方式提示工程成為持續(xù)優(yōu)化大模型應用的基本方法。通過構建提示庫并不斷更新,企業(yè)的大模型應用開發(fā)人員能夠在不同場景中重復使用這些提示詞,再將用戶的開放式輸入封裝到提示詞中傳給模型,使模型輸出更相關、更準確的內容,避免用戶反復試驗從而提升體驗。任務的復雜度決定了提示工程的技術方式選擇。簡單任務可以用零樣本提示、少樣本提示的方式,不提供或少量提供示例給模型,讓模型能快速輸出結果,比如對某個文本進行正面或負面的評判。復雜任務則大多需要拆解為若干步驟、提供更多示例,采取思維鏈提示等方式,讓模型能逐步推理輸出更精準的結果,例如對一個復雜的工程問題進行數學求解。提示工程的效果高度依賴通用大模型本身的能力。如果通用大模型訓練時包含了行業(yè)應用相關的數據,提示工程就能有效引導模型輸出更符合行業(yè)需要的結果;但若通用大模型本身內含的行業(yè)應用數據較少,提示工程的作用就會比較有限。外掛:檢索增強生成的基礎上,通過外掛知識庫等方式,為模型提供特定領域的數據信息輸入,實現對該領域更準確的信息檢索和生成。RAG能有效幫助企業(yè)快速利用大模型處理私有數據,已經成為企業(yè)部署行業(yè)大模實現方式提高模型應用的專業(yè)準確性滿足企業(yè)自有數據所有權保障的需要模型本身只會查找和調用外掛的數據,不會吸收數據并訓練成模型內含的知識;具備較高的性價比底層大模型本身不做調整,不用投入大量算力等資源做精調或預訓練,能夠更快速開發(fā)和部署應用。小農通過RgG思路,大幅提高了農技月1問答結果的豐度和準確性,而農技知識庫本身來自以往農技專家在惠農網平臺的沉淀,AI通過RAG的能力核心是有效結合了檢索和生成兩種方法?；舅悸肥前阉接袛祿M行切片,向量化后通過向量檢索進行召回,再作為上下文輸入到通用大模型,模型再進行分析和回答。具體應用時,當用戶提出一個問題或請求,RAG首先檢索私有數據,找到與問題相關的信息。這些信息接著被整合到原始問題中,作為額外的上下文信息和原始問題一起輸入大模型。大模型接到這個增強的提示后,將其與自己內部知識進行綜合,最后生成更準確的內容。實現方式精調適用于特定領域對大模型有更高性能要求的場景。在行業(yè)應用中,當通用大模型不能準確理解或生成專業(yè)的內容時,可以通過精調的方式,提升大模型在理解行業(yè)特定術語和正確應用行業(yè)知識的能力,并確保大模型的輸出符合特定的業(yè)務規(guī)則或邏輯。例如,在零售的智能客服場景中,大模型需要理解商品的知識,并按照公司的故障排查流程來提問和回應?！?例如我們在幫助很多假發(fā)垂直品類客戶解決一系列繁瑣的棚拍問題,我們的91GC數字營銷創(chuàng)作平臺-kreadogI'可以自動生成不同年齡、膚色的數字人試戴素材。那在大模型訓練過程中,我們結合—秦鵬,易點天下企業(yè)技術中心總經理●精調會將行業(yè)知識內化到大模型的參數中。精調后的大模型不僅保有通用知識,還能較為準確地理解和使用行業(yè)知識,能更好地適應行業(yè)內的多樣化場景,提供更加貼合實際需求的解決方案。例如,用醫(yī)療領域數據精調的醫(yī)療大模型,能夠更準確解讀專業(yè)的醫(yī)學文獻和病歷報告,達到為醫(yī)生提供輔助診斷的要求。精調是對大模型定制優(yōu)化和成本投入的折中選擇。精調往往涉及大模型權重參數或模型結構的調整,并且需要多次迭代才能達到性能要求,因此相對提示工程、RAG等不改變模型本身的方式,會需要較長時間和較多的計算資源。當然,與從頭預訓練大模型相比,精調還是一種更為經濟高效的方法,因為通常只用對模型做局部調整、所需訓練的數據相對少。實現方式高質量數據集是決定精調后模型性能的關鍵。數據集需要與業(yè)務場景密切相關,并且數據標注需要高度精準。高質量數據集既會來自企業(yè)內部數據提取也會來自外部數據的采集,均需進行專門的數據標注處理。這些數據需要具備代表性、多樣性和準確性,并符合數據隱私等法規(guī)要求。只有當足夠的高質量數據被用于訓練時,精調才能真正發(fā)揮作用?！?行業(yè)數據的質量比數量更為重要,在做全量精調的過程中,加入的高質量行業(yè)數據占比大約在10-15%;在SFT精調的實踐經驗中,高質量的問答對,最少要達到一萬條,才會有比較好的效果,部分項目甚至高達百萬條。"——某國內大模型獨角獸Z公司技術負責人精調策略也直接影響著大模型最終的性能。精調分為全量精調和局部精調。局部精調的方法更為高效、在實際中也比全量精調使用更多,常見形式有:有監(jiān)督精調 (SFT,supervisedFine-tuning),在特定任務的標注數據上調整模型;低秩調適應新任務。精調策略的選擇可根據具體任務需求、數據的可用性以及計算資源的限制來綜合考慮。實現方式據的深入分析和學習,使得模型能夠捕捉到蛋白質序列與其空間結構之間的復雜關系,從而精準地理解和預測蛋白質的復雜三維結構。預訓練的方式一般投入成本較大,當前較少采用。預訓練方式不僅需要大量的計算資源和長期的訓練過程,還需要行業(yè)專家的密切協作和深度介入。此外,從頭預訓練還涉及復雜的數據處理和模型架構設計工作,以及在訓練過程中不斷地調優(yōu)和驗證。因此,只有少數企業(yè)和科研機構有能力采用這種高投入、高風險,而潛在回報同樣高的方式。未來隨著技術的進步和成本的降低,預訓練行業(yè)大模型可能增加。準備上,從一開始就會加入行業(yè)特性的數據;在模型構建技術與流程上,和通用大模型預訓練類似,會涉及模型架構設計、預訓練任務挑選、大量數據處理、大規(guī)模無監(jiān)督或自監(jiān)督學習等。例如,使用自監(jiān)督學習(SSL,self-supervisedLearning)技術,通過從數據本身生成標簽來學習數據的內在結構和特征,無需人fromHumanFeedback)技術,通過引入人類專家的主觀反饋來引導模型的學習過程,以產生更高質量的輸出。典型案例:多種方式組合1.商業(yè)案例:金融大模型+個股異動寫稿行業(yè)大模型是在通用大模型基礎上增強了模型的垂類領域知識,能更好地適配和解實現方式強垂類知識的方法,但效果與投入成正比。方案選型上需要綜合考量該垂類的知識豐富度、復雜度和投入產出比。騰訊金融大模型是在混元通用大模型基礎上,在預訓練階段重點加入300Btoken以上的金融領域語料進行二次增訓,使模型對金融知識體系有完整的吸收與理解,之后再通過幾十萬條高質量的金融指令數據進行了SFT和RLHF。1)為什么從預訓練開始?金融作為包含金融市場、產品、機構、風險、法規(guī)、量化等的綜合學科,知識體系豐富且復雜,指令微調無法涵蓋所有金融知識和任務,僅靠對通用大模型做RAG件一樣時,還是會更傾向于金融專業(yè)背景的人。2)為什么需要針對金融領域做SFT和RLHF?金融場景需要不斷適應符合監(jiān)管政策和合規(guī)要求,在產品推薦、投后服務等場景只有通過針對金融領域特定的SFT和RLHF,才能滿足金融細分場景的針對性要求、專業(yè)風格和偏好需要等,此外從安全合規(guī)角度甚至對于一些用戶問題需要拒絕回復。3)為什么還需要RAG?通用大模型的創(chuàng)意往往來自它的幻覺率,但金融場景不同于寫作等創(chuàng)意場景,對數字的實時性、準確性有非常高的要求,需要通過RAG提供更實時的信息,同時以RAG檢索到的信息生成回復可大幅降低幻覺率,僅依賴基座大模型容易導致一招實現方式致命的風險?？傊?在專業(yè)、合規(guī)、實時和準確等要求下,騰訊金融大模型選擇從預訓練階段進行二次增訓開始,經過SFT和RLHF,在實際推理階段又整合內部金融知識庫輔助LLM生成,實現在金融任務上效果遠超通用大模型。4)金融場景應用有沒有成功案例?在股票投資服務場景中我們發(fā)現,股民當所關注的個股出現較大幅漲跌時,總希望了解背后的原因來輔助決策。騰訊自選股針對這個需求,每日挑選重點個股,進行漲跌原因解讀和稿件推送,受到用戶歡迎。之前采用人工編輯的方式有個問題,每日稿件生產量不足10篇,尤其高質量稿件生產耗時長。利用金融大模型,我們有效實現了效率和質量的雙提升,稿件生產快、覆蓋個股全,同時質量還能達到人工編輯的好,編輯僅需對最終輸出進行復核保障安全合規(guī)要求。在個股行情觸發(fā)漲跌幅時,可5分鐘內生成稿件,效率提升5倍以上。5)有什么需要注意的關鍵點?一是大模型無法一步到位,我們原本將個股行情變化、與同時期發(fā)生的個股事件資訊全部給到大模型,希望大模型直接生成最后原因解讀的稿件,但結果生成質量差、讓大模型分步驟來解決;二是大模型無法一招吃遍天下,需要與金融場景沉淀的"小模型"打配合、互相輔助,之前在業(yè)務場景中已使用的輿情正負面模型、事件分類模型等,是基于業(yè)務場景特性構建、根據業(yè)務指標優(yōu)化的,用以輔助大模型輸出能產生事半功倍的效果。實現方式2.科研案例:SCBERT單細胞基因數據分析大模型SCBERT模型是騰訊AILab2022年發(fā)表的科研成果,首次將transformer運用到單細胞轉錄組測序數據分析領域,為生命科學和精準醫(yī)療領域提供了高質量的AI輔助分析方法。1)為什么選擇預訓練方式?隨著單細胞測序技術的成熟和廣泛應用,基礎研究和精準醫(yī)療領域產生了大量的單細胞測序數據,亟須進行精準的注釋和分析。這些數據存在超高維度、高噪聲和批次效應等特點,給數據分析帶來了較大挑戰(zhàn)。以往的注釋方法,主要包括基于人工挑選基因注釋、基于參考表達譜匹配、篩選基因及降維訓練分類器等,存在引入人工偏差、損失全局信息、容易過擬合和泛化性差難遷移等問題。全球已經有較大量的公開單細胞數據集,雖然是很寶貴的研究資源,但其中數據質量參差不齊、缺乏精細標注,未被充分利用。近年來,基于transformer框架和BERT范式的預訓練大語言模型,已經在NLP領域取得了前所未有的突破。但是由于單細胞數據格式與自然語言差異大,難以直接針對以上錯綜復雜的行業(yè)痛點,騰訊AILab針對單細胞測序數據格式,設計了基開數據集進行自監(jiān)督預訓練(包括不同來源、組織、細胞類型和測序平臺等),有效地對超高維度、高噪聲的數據進行編碼表征,以數據驅動的端到端方式建立模型,使得模型不受批次效應影響并且具有較強的泛化能力。實現方式2)怎么做的預訓練和精調?礎,首先進行標準化和對齊,然后針對單細胞轉錄組數據獨特的組成格式,分別設計基因嵌入式表示和表達譜嵌入式表示,處理好的數據作為預訓練數據集。SCBERT模型是基于BERT架構,采用預訓練+精調方式構建的行業(yè)大模型。首先的方式進行自監(jiān)督預訓練,根據上下文進行回填,從而學習單細胞表達譜的模式。預訓練后的模型加入細胞類型注釋分類器,隨后基于少量精標注在細胞類型注釋任務上進行精調,從而實現對不同疾病類型、組織和細胞類型的精準注釋。3)效果怎么樣?該方法是單細胞測序領域首創(chuàng)性研究,開創(chuàng)了單細胞預訓練大語言模型的研究方向。模型建立后進行了充分的精準測試,分別在9個獨立數據集(涵蓋17種人體主要器官,超過50種細胞類型,超過500,000個細胞)對應的細胞類型注釋任務上驗證效果,并且可擴展至新類的發(fā)現、新標記基因的發(fā)現、基因相互作用和基因表征等應用場景。研究成果發(fā)表于人工智能頂級期刊《NatureMachine(435,968)中受關注度高居前5%(Almetrics統計)。安全與治理大模型大發(fā)展同時帶來諸多安全和治理新問題,引發(fā)全球各界廣泛關注。諸如AlI府都在積極探索發(fā)展和監(jiān)管上的平衡應對之策。如我國已出臺《生成式人工智能服務管理暫行辦法》,明確提出堅持發(fā)展和安全并重、促進創(chuàng)新和依法治理相結合的原則,鼓勵生成式人工智能技術在各行業(yè)、各領域的創(chuàng)新應用,同時保障技術應用的安全、可靠、可控。歐盟在制定《歐盟人工智能法》過程中,增加了針對大模型的專門規(guī)定,要求通用目的AI模型(即大模型)的提供者履行相關的透明度義務。美國對于AI治理以軟性監(jiān)管措施和行業(yè)自律為主,例如美國NIST制定了自愿性的AI風險管理標準、美國白宮AI行政命令提出了"紅隊測試指南"、主流AI企業(yè)作出了自愿性的AI安全承諾等。在此形勢下,行業(yè)大模型的有效治理也勢在必行。行業(yè)大模型是發(fā)揮我國在AI領域應用場景優(yōu)勢的重要載體,但其安全和治理問題可能也更復雜,不僅面臨通用大模型的共性問題,諸如可解釋性、網絡安全、價值對齊等,也會面臨特定行業(yè)的特殊監(jiān)管要求,如醫(yī)療、金融、交通、教育等強監(jiān)管行業(yè)內存在的強制性標準等。因此,需要通過監(jiān)管和治理創(chuàng)新,疏通行業(yè)大模型在數據獲取、算力供給、應用拓展等方面面臨的堵點和難點以及相關監(jiān)管障礙,盡量給予充分的創(chuàng)新、試錯空間,避免超前治理、多方疊加治理等影響創(chuàng)新應用及時落地。行業(yè)大模型治理的三項原則針對行業(yè)大模型的特點,我們結合各方實踐和共識,提出三項治理原則,旨在確保行業(yè)大模型的應用不僅能在技術上先進、安全可靠,而且在法律和倫理上也能得到充分的考量和保障。安全與治理一是可信可控原則:行業(yè)大模型的開發(fā)和應用,需要建立在可信可控的通用大模型之上。應優(yōu)先選擇提供充分安全保障、技術透明度和可控性等的大模型產品和服務,同時考慮到大模型作為行業(yè)應用的基礎,需要確保技術底座的穩(wěn)固性和通用性,以有效支持后續(xù)的行業(yè)定制和功能擴展。二是數據安全與知識產權保護原則:在大模型的預訓練、檢索增強和精調等各個階段,需要使用安全、合規(guī)的優(yōu)質行業(yè)數據。確保數據來源于合法渠道,并且符合知識產權保護的要求。鑒于高質量共性知識通常受到知識產權保護,行業(yè)大模型需要與掌握這些關鍵數據的機構建立合作關系,共同解決數據合規(guī)問題,避免法律糾紛和訴訟風險。三是頂層設計與行業(yè)協同原則行業(yè)大模型的落地實施可能需要行業(yè)主管部門進行頂層設計和統籌規(guī)劃,以確保行業(yè)共性知識庫的合規(guī)性,并推動建立一個可擴展、可協同的行業(yè)大模型技術架構。這種架構應當促進產業(yè)鏈各環(huán)節(jié)之間的有效溝通和協作,使得各環(huán)節(jié)能夠獨立構建和應用其領域模型和企業(yè)模型,同時實現跨領域的協同和整合,從而提升整個行業(yè)的競爭力和創(chuàng)新能力。價值對齊是行業(yè)大模型可信應用的基礎保障隨著大模型的能力日益強大,如何讓其行為和目的跟人類的價值、偏好、倫理原則、真實意圖之間實現協調一致,成為越來越重要的議題。從通用大模型的情況來看,目前業(yè)界主要是從人機價值對齊的方向來對AI大模型進行安全治理,并在技術上取得了可觀的效果,在很大程度上確保大模型部署和使用中的安全與信任。安全與治理AI反饋強化學習(RLAIF)對齊。此外,業(yè)界還在探索訓練數據質量把控、對抗測試(紅隊測試)、模型評估、可解釋AI方法、倫理審查、第三方服務等多元化手段,共同確保負責任AI的發(fā)展。行業(yè)大模型對準確和安全的要求往往更高,價值對齊更重要。一方面,選擇做好價值對齊的通用大模型作為基礎模型進行再開發(fā),可以大幅減少風險。另一方面,對于醫(yī)療、教育等領域面向公眾提供公共服務的行業(yè)大模型,再開發(fā)所采用的數據集、開發(fā)后形成的模型成果,也應再采取類似方法進行價值對齊,以確保模型的有用性、安全性、真實性和無害性。為了支持對細分領域的行業(yè)大模型進行價值對齊,可以在考慮具體行業(yè)的特殊性基礎上,形成專門的價值對齊指南、標準和技術規(guī)范。行業(yè)大模型更需重視全生命周期的安全保障機制大模型的數據處理流程相比傳統模型復雜,許多不可控因素帶來不容忽視的安全隱患問題,包括數據隱私安全、推理安全、內容安全、版權保護等,需要體系化的安全機制,對行業(yè)大模型而言更是如此。騰訊提出的大模型安全框架,針對全生命周期安全風險提供原則和方法指引,包括內生安全及應用安全,協助系統解決大模型生產研發(fā)流程中涉及的基礎設施、數據、模型、算法等方面的安全風險,以及不合理應用可能引發(fā)決策失控風險等。其中,對于大模型生產研發(fā)流程中的內生安全問題,應該由大模型研發(fā)團隊及安全團隊共同關注,通過安全評估等機制來保障大模型的應用達到安全目標?？傮w而言,把安全措施落實到具體的研發(fā)、訓練、測試、安全與治理RI沙盒在行業(yè)中有較成熟探索可成為實現監(jiān)管目標的可行方案"沙盒"(sandbox)作為源自計算機安全領域的一個技術概念,旨在提供一個安全的隔離測試環(huán)境,使軟件應用、程序和代碼可以在真實環(huán)境中運行,保障測試的準確和安全。在AI領域,沙盒環(huán)境同樣提供了一個安全、可控的測試場所,讓研究者和開發(fā)者可以自由地測試AI模型和算法,同時避免潛在的風險和不可預見的副作用。AI沙盒在模型安全性測試、性能評估、倫理和法律合規(guī)性檢驗、創(chuàng)新實驗等方面,已有較多應用。AI沙盒也可以跟監(jiān)管結合起來,作為一種創(chuàng)新性的監(jiān)管方式,幫助實現監(jiān)管目的。例如,在自動駕駛汽車領域,我國已采取試行汽車安全沙盒監(jiān)管制度,支持測試前沿技術或新功能新模式。已有多個國家和地區(qū)積極試點AI監(jiān)管沙盒,如歐盟在其人工智能法案中引入該機制、新加坡特別推出了面向中小企業(yè)的GenAI沙盒等。整體上,AI開發(fā)者可以向監(jiān)管部門申請開展沙盒測試,與主管部門商定沙盒計劃,包括可以在沙盒中受監(jiān)督的現實世界條件下進行測試和應用。而監(jiān)管部門將對AI企業(yè)提供指導、監(jiān)管預期、監(jiān)督和指導,以識別、控制潛在風險,支持AI監(jiān)管沙盒的有效運作。這一機制尤其對AI領域的中小微企業(yè)和初創(chuàng)企業(yè)較為有利,可以顯著降低合規(guī)成本。對行業(yè)大模型而言,尤其在傳統強監(jiān)管的領域,該機制可以提供一個合規(guī)的落地方式。行業(yè)主管部門可以針對各行業(yè)、領域特點,推出專項的AI監(jiān)管沙盒計劃,鼓勵符合資格的企業(yè)加入,提供真實環(huán)境加快行業(yè)大模型測試、驗證、試點和先行應用。安全與治理合成數據有望為行業(yè)大模型增加數據來源合成數據指在數字世界中創(chuàng)造的、由計算機模擬技術或算法創(chuàng)建或生成的自標注信息,是可替代真實世界數據用以訓練、測試、驗證AI模型的數據。目前業(yè)界普遍判斷,合成數據將在未來人工智能發(fā)展中扮演核心作用,成為通用人工智能的關鍵要素。當前,合成數據在交通、醫(yī)療、工業(yè)、金融等產業(yè)領域已經有先行探索,并取得積極成效。合成數據有幾個方面的優(yōu)點:1)促進創(chuàng)新,通過提供難以獲取或受限數據的合成版本,推動科研和商業(yè)創(chuàng)新;2)降低成本,相比于收集真實世界數據的高昂成本,提供了更經濟的選擇;3)保護隱私,能夠在保護個人隱私的同時,使得敏感數據得到有效地利用。行業(yè)大模型大多需要特定領域的專業(yè)數據,數據稀缺和隱私安全問題更突出,合成數據可以有效解決數據供給、數據安全利用等問題,進一步夯實行業(yè)大模型發(fā)展的數據基礎,助力行業(yè)大模型應用普及。為此,需要營造良好的制度和政策環(huán)境,積極扶持、鼓勵合成數據技術、產業(yè)和相關應用的創(chuàng)新發(fā)展。可為合成數據的生成和使用制定明確的隱私保護標準和指南,推動合成數據商業(yè)化利用。在公共數據、行業(yè)數據開放共享方面,也可以探索通過合成數據方式,實現涉及個人信息、商業(yè)秘密、知識產權等數據的安全開放和共享。安全與治理行業(yè)大模型是走向R1綠色可持續(xù)發(fā)展的路徑之一大模型"大力出奇跡"的方式,訓練和部署需要大量算力支持,導致大量的能源消能行業(yè)正面臨能源危機,因為下一代生成式AI系統將消耗大量能源,可能超出能源系統的承載能力。大模型的算力應用系統還需要大量淡水用于冷卻處理器和發(fā)電,數據中心的水資源消耗量也已經顯著增加。對此,研究界呼吁優(yōu)先考慮節(jié)能問題,需要構建更高效的模型和重新設計數據中心等。行業(yè)大模型本身就是對通用大模型的"降本增效",參數量相對大幅減少,算力資源消耗也明顯降低,這也意味著降低了能源消耗和碳排放。未來,行業(yè)大模型在發(fā)展應用過程中,可以將算力及能耗節(jié)約作為重點優(yōu)化方向之一,加強環(huán)境影響治理,將綠色可持續(xù)打造成行業(yè)大模型的一個特性。可以通過試點示范等方式,激勵更多行業(yè)大模型優(yōu)化算法、節(jié)能減排。未來展望未來展望"人工智能+"促進行業(yè)大模型應用提速2024年政府工作報告明確提出,要"深化大數據、人工智能等研發(fā)應用,開展'人工智能+'行動,打造具有國際競爭力的數字產業(yè)集群"。國家發(fā)改委也提出,將推進"人工智能+"行動,推動人工智能技術與經濟社會各領域深度融合,支撐各行業(yè)應用創(chuàng)新,賦能百業(yè)智能化轉型升級,提高生產效率,激發(fā)創(chuàng)新活力,重塑產業(yè)生態(tài),培育經濟發(fā)展新動能,形成更廣泛的以人工智能為創(chuàng)新要素的經濟社會發(fā)展新形態(tài)。可以看到,在國家推進新質生產力的背景下,人工智能已經成為經濟發(fā)展的核心動力之一。未來,國家將加大力度推進通用大模型和行業(yè)大模型應用,引導更多行業(yè)領域開放應用場景,加強典型應用落地的示范,讓人工智能更好賦能千行百業(yè)。實際上,近年各地已經陸續(xù)出臺了一系列鼓勵措施,在國家政策指引下,預計各地推進產業(yè)落地會進一步加速。北京、上海、杭州、廣東、重慶等十多個省市,已經發(fā)布相關政策積極推動通用人工智能技術在各類場景的應用,涉及金融、醫(yī)療、教育、制造、城市治理、交通、農業(yè)農村等多個領域。在這個過程