2024年面向AI大模型的網(wǎng)絡使能技術白皮書-6GANA

面向AI大模型的網(wǎng)絡使能技術 （一）發(fā)展歷程 （二）發(fā)展趨勢 （一）數(shù)據(jù)感知服務 （二）分布式訓練服務 （三）指令優(yōu)化服務 （四）端邊云協(xié)同推理服務 （五）模型優(yōu)化服務 摘要隨著大模型和智能體（Artificialintelligenceagent,AIagent）技術的另一方面，未來第六代移動通信（Sixgeneration,6G）網(wǎng)絡存在大量低時延必然。本文介紹了大模型時代下網(wǎng)絡使能人工智能（Artificialintelligence,AI）技術的需求和驅動力，詳細闡述了未來6G網(wǎng)絡能為大模型提供的AI服務，包一、AI大模型發(fā)展概述（一）發(fā)展歷程高算力和強算法等關鍵技術的共同推動下，以ChatGPT為代表的AI大模型大了人們的工作和生活方式，實現(xiàn)了AI技術從“量變”到“質變”的跨越。AI大模型是指擁有超大規(guī)模參數(shù)、超強計算資源的機器學習模型，能夠處理海量數(shù)據(jù)，并完成各種復雜任務。AI大模型的發(fā)展可以追溯到20世紀50年架構，模型的性能不斷提升?？偟膩碚f，AI大模型的發(fā)展歷程主要可以分為四圖1.AI大模型的發(fā)展歷程?傳統(tǒng)模型（1950-1980在AI發(fā)展的早期，傳統(tǒng)模型主要依賴于簡單?神經(jīng)網(wǎng)絡模型（1980-20171980年，卷積神經(jīng)網(wǎng)絡的雛形CNN誕生。2000年代初期，有學者開始研究神經(jīng)網(wǎng)絡模型，開始模仿人腦進行大量數(shù)?Transformer模型（2017-20182017年，Google顛覆性地提出了基于自注意力機制的Transformer架構，奠定了大模型預訓練算法架構的基礎。2018年，OpenAI和Google分別發(fā)布了GPT-1與BERT大模型，使得NLP?現(xiàn)代AI大模型（2018至今2022年，聊天機器人ChatGPT橫空出世，迅速引爆互聯(lián)網(wǎng)。此后發(fā)布的多模態(tài)預訓練大模型GPT-4，再次引發(fā)了生1.多模態(tài)能力提升，應用場景范圍擴大2.模型輕量化部署，資源需求成本降低在AI技術快速發(fā)展的當下，智能手機等移動設備在人機交互、語音交流等3.外部工具相結合，交互方式更加智能部工具調用、記憶和規(guī)劃功能的AI大模型，可以被視為智能代理（Age二、網(wǎng)絡使能大模型的需求和驅動力（一）未來6G網(wǎng)絡的通算智融合趨勢這一AI服務基礎設施進行支持。而隨著大模型技術在上述場景中的深入應用，終端對于網(wǎng)絡側算力和數(shù)據(jù)資源支撐的需求將成6G通信網(wǎng)絡的新能力和新服務，實現(xiàn)AI即服務(AIasaservice，AIaaS)。這要求6G網(wǎng)絡能夠隨時隨地提供AI服務、支持低時延的推理和訓練服務、支持移動式AI、保障AI服務質量、提供安全隱私保護。1.AI手機應時延通常在1秒之內，讓用戶感受到即時的互動體驗。而圖像類功能包括文參數(shù)量通常不超過10B，這種部署方式可以更好地保護用戶隱私，同時降低對表1.各廠商大模型手機調研信息大模型功能大模型性能參數(shù)量部署位置vivo[1]-智能問答-文本創(chuàng)作-文本總結-邏輯推理-智能問答首詞響應1s-文本總結首詞響應ms級1B/7B端側70B/130B/175B云端OPPO[2]-智能問答-通話摘要-文本總結-圖像消除-文生圖-智能問答首字響應0.2s-512*512生圖時長6s7B端側70B/180B云端榮耀[3]-智慧成片-一語查圖暫無公布數(shù)據(jù)7B端側小米[4]-智能問答-文生圖-圖片問答-圖像消除/擴圖暫無公布數(shù)據(jù)暫無公布數(shù)據(jù)暫無公布數(shù)據(jù)蘋果[5]-智能問答-文本摘要-重要消息置頂-文生圖-圖像消除-跨應用操作暫無公布數(shù)據(jù)暫無公布數(shù)據(jù)端側云端圖2.6G網(wǎng)絡賦能大模型終端推理場景和數(shù)據(jù)使能3種場景?？紤]到目前手機大模型中文生圖的時延較長的痛點，價圖3.6G網(wǎng)絡賦能大模型云端推理場景如圖3所示，6G網(wǎng)絡使能云端推理也可以包括算力使能、數(shù)據(jù)使能以及算展到分布式網(wǎng)絡節(jié)點/基站環(huán)境中，使數(shù)據(jù)和應用程序可以更靠近車輛，提供快在中央網(wǎng)絡節(jié)點/云端進行大規(guī)模模型訓練和全局優(yōu)化，利用大數(shù)據(jù)提升模型的3.智能醫(yī)療4.工業(yè)4.05.工業(yè)元宇宙系統(tǒng)與物理世界緊密互動，優(yōu)化資源分配，最終實現(xiàn)更高效工單一的大模型往往難以全面覆蓋所有工業(yè)元宇宙場景需求，需要AI大模型中的不足，形成一個多功能的、全覆蓋的AI使能的工業(yè)元宇宙系統(tǒng)，適應更加三、網(wǎng)絡使能大模型服務表2.網(wǎng)絡使能大模型服務和一般AI模型服務的對比對比項網(wǎng)絡使能大模型服務一般AI模型服務需求帶寬處理的數(shù)據(jù)量更大，有更高的帶寬需求：數(shù)據(jù)傳輸量相對較小，帶寬需求較低實時性具有超低延遲的應用需求，在自動駕駛、實時視頻處理等場景中，低延遲是關鍵多數(shù)場景對實時性的要求較低，相對較高的延遲容忍性能力大帶寬提供更大傳輸帶寬現(xiàn)有資源帶寬難以提升低延遲利用6G網(wǎng)絡的高帶寬和低延遲，實現(xiàn)數(shù)據(jù)的實時傳輸和處理，支持實時分析和決策主要依賴固定網(wǎng)絡基礎設施，數(shù)據(jù)傳輸和處理的實時性較低動態(tài)調度利用智能調度系統(tǒng)，動態(tài)調整計算資源和任務分配計算資源分配相對固定，難以動態(tài)調整和優(yōu)化分布訓練廣泛使用分布式數(shù)據(jù)并行和模型并行技術通常在單個計算節(jié)點上完成訓練和推理邊緣計算充分利用邊緣計算能力，提高實時性和響應速度，減輕云端壓力邊緣計算支持較少，主要依賴云端進行數(shù)據(jù)處理和模型訓練（一）數(shù)據(jù)感知服務1.分布式機器學習理論TB甚至PB級別，這種規(guī)模的數(shù)據(jù)量遠超傳統(tǒng)數(shù)據(jù)處器學習不能適應當前環(huán)境的主要因素。大規(guī)模數(shù)據(jù)量和計算量的任務分布式地部署到多臺機器上，其核心思想是“分而治之”，即將數(shù)據(jù)集或是計算任務分解成多個小數(shù)據(jù)集或計算的計算節(jié)點上處理，有效提高了大規(guī)模數(shù)據(jù)計算的的硬件資源和計算資源去解決復雜的梯度計算，顯著降低了能源和分布式機器學習分為面向擴展性的分布式機器學習和面向隱私保護的分布1）面向擴展性的分布式機器學習神經(jīng)網(wǎng)絡為代表的神經(jīng)網(wǎng)絡使用大量訓練數(shù)據(jù)訓練一個參數(shù)為千萬量級甚至上2）面向隱私保護的分布式機器學習向隱私保護的DML適用于具有縱向劃分目前來看，其實不必糾結于面向隱私保護的DML適2.分布式機器學習平臺和算法設計分布式機器學習的主要研究方向包括分布式機器平臺研究和分布式機器學分布式機器學習的算法主要包括服務器如何將計算任務分配給每一個計算式機器學習算法，并且具有優(yōu)異性能的分布式1）分布式機器學習平臺分布式機器學習平臺研究起步的時間實際上較早。2005年，Apache實現(xiàn)了Hadoop分布式系統(tǒng)的基礎架構。在經(jīng)過接近20年的發(fā)展后，出現(xiàn)了大量(1)基于數(shù)據(jù)流模型了處理效率。此外，數(shù)據(jù)流模型使得分布式機器學習不僅在物理上是一個“分而Spark是一個具有代表性的基于數(shù)據(jù)流模型的分布式處理系統(tǒng)，雖然它主據(jù)處理的熟讀，尤其適用于機器學習這樣的迭代計2010年，Google的研究人員最早提出關于參數(shù)服務器的概念，Google在2012年發(fā)布了一個為大規(guī)模分布式訓練深度神經(jīng)網(wǎng)絡設計的框架，即DistBelief，它也是Tensorflow的前身?；趨?shù)服務器的分布式機器學習平臺的主要組成部分包括參數(shù)服務器和流圖后，使用參數(shù)服務器進行任務調度，使用工作節(jié)點進行計算任（3）基于混合模型混合模型的代表分布式機器學習處理系統(tǒng)主要有TensorFlow和PyTorch，GoogleBrain的團隊在DisBelief的基礎上研發(fā)了TensorFlow。它將數(shù)早期的TensorFlow使用的是靜態(tài)計算圖，這種方式在優(yōu)化和部署時會具有一定的優(yōu)勢，后續(xù)TensorFlow引入了EagerExecution，從而使得默認情況下計Windows和CPU、GPU。是：使用了類似于Numpy的N維tensor，從而在GPU加速上取得了杰出的2)分布式機器學習算法設計式的機器學習算法針對通信延遲、一致性和容錯還可以驅動傳統(tǒng)人工智能服務、AI生成服務等3.分布式訓練框架分布式訓練的關鍵技術包括云邊協(xié)同計算和分布式訓式網(wǎng)絡節(jié)點和中央網(wǎng)絡節(jié)點協(xié)同通過在分布式網(wǎng)絡節(jié)點進行初步的數(shù)據(jù)處>分布式訓練框架：分布式訓練框架包括并行計算和智能調度，其中并行計算全局同步然后更新模型參數(shù)。數(shù)據(jù)并行能夠處理非常大的數(shù)據(jù)集，并且適用優(yōu)化分布式訓練過程。利用AI算法動態(tài)調整源利用率和訓練效率。如圖4所示，分布式訓練服務的部署和內涵應從如下步圖4.分布式訓練服務部署步驟>選擇適合的分布式訓練框架，支持數(shù)據(jù)并行和模型并行。4.聯(lián)邦學習根據(jù)scalinglaw，大模型的性能是和模型給K個參與訓練的客戶端。模型參數(shù)。對每個客戶端K，訓練的目標是最小化其本地損失函數(shù):Fkw)=w;xi,yi。其中，xi,yi是客戶端k上的數(shù)據(jù)樣本，f(?)是損失函數(shù)，w是模型參數(shù)，nk是客戶端k的本地數(shù)據(jù)量。器。此時，每個客戶端k提交的模型可以表示為wk。權聚合來更新全局模型。最常用的聚合方法是FedAvg，其公式為：w'=Σ=1wk。其中，n是所有客戶端的數(shù)據(jù)總量，K是參與訓練的客戶端數(shù)，w'孤島（cross-silo）和跨設備（cross-device）兩種：2）跨設備：參與的設備通常是功能有限的智能設備，例如手機、IoT（物聯(lián)網(wǎng)）設備等，計算能力不如silo中的服務器強大，這些設備之間通過無線網(wǎng)同聯(lián)邦學習場景所施加的限制與大模型計算/存儲/通信密集型要求之間的沖突[6]，所面臨的主要挑戰(zhàn)包括：存來處理流式收集/生成的數(shù)據(jù)以及訓練期間模型參數(shù)的更新。典型的網(wǎng)絡架構通道（5G中用戶體驗的數(shù)據(jù)速率）傳輸一次GPT2-XL（約5.8GB的中型月的連續(xù)訓練。雖然5G及以上網(wǎng)絡有嚴格的延遲要求。目前尚不清楚型集成到支持聯(lián)邦學習的網(wǎng)絡中如何滿足如此嚴降低通信輪次，如DiLoCo[10]；壓縮；量化等；算法層面可以采用更高效的聯(lián)邦聚合算法，如OpenFedLLM[11]，或者傳輸內容更少的其他優(yōu)化算法，如FwdLLM[12]、FedKSeed[13]用零階有限差分估計梯度。累積、激活值重計算等技術；優(yōu)化器的選擇，SGD、帶動量的SGD、Adam、AdamW只訓練部分層/層凍結，如AutoFreeze[15]、SmartFRZ[16]、FedOT/FedOST[17]等。此外，針對內存的優(yōu)化還可以采用混合精度訓練、ZeRO零冗余優(yōu)化器[18]其次，對于算力異質性的研究，F(xiàn)ATE-LLM[19]提出很多種架構的可能性，允模型。FedIT[20]提出每個設備可以采用不同的Lora配置，即層級最優(yōu)秩(Layer-wiseOptimalRankAdaptation)思想。5.聯(lián)邦大模型大模型的參數(shù)規(guī)模極為龐大，且各大廠商也在持續(xù)刷新大模型參數(shù)量的上限。以GPT系列為例，從GPT-1到GPT-4，模型的參數(shù)量從1.1億增長至1.8模型微調（Fine?tuning，F(xiàn)T）已成為利用大模型的主要方法[21]，但直接微調對算力、內存都提出了更高的要求，AI硬件（GPU）內存難以跟上模型擴大的將訓練擴展到多個AI硬件上（如GPU從而突破于單個硬件內存容量和帶寬集合通信（collectivecommunication，CC）模式和參數(shù)服務器（parameterserver，PS）模式。NLP、CV、多模態(tài)、科學計算等領域的模型往往具有模型結構復雜、參數(shù)稠計算芯片的算力和芯片之間的網(wǎng)絡互聯(lián)要求較高，如高性能計算的GPU、芯片之間的高速網(wǎng)絡互聯(lián)NVLink和InfiniBand等。搜索、推薦等場景的模型往往圖5.分布式微調訓練然而，傳統(tǒng)公開的可用數(shù)據(jù)集無法滿足大模型微調的需求[22]，特別是大規(guī) 收集、融合使用數(shù)據(jù)到不同的地方進行AI處理，本地數(shù)數(shù)據(jù)集之間存在顯著差異可能導致模型的泛化性能為了解決隱私數(shù)據(jù)給用戶安全和模型泛化性能帶來的挑戰(zhàn)，聯(lián)邦學習（Federatedlearning，F(xiàn)L）[22]作為一種分布式框架被引入。其中，聯(lián)邦分割學習（Federatedsplitlearning，F(xiàn)SL）框架[23]將模型分割成多個部分，在圖6.聯(lián)邦學習此外，JianyiZhang等人[24]將FL用于大模型的指令微調，保護隱私的同時，在一定程度上提升了模型性能。JingJiang等人[25]提出了低參數(shù)聯(lián)邦學習需計算資源龐大和高質量數(shù)據(jù)分散的問題，并保護了模型知識產權和數(shù)據(jù)隱私。ChaochaoChen等人[27]考慮到計算和通信兩個方面，提出將參數(shù)高效微調方通過最小化參數(shù)梯度計算和減少聚合參數(shù)的數(shù)量，有效降低了計算和這種方法在保留近似性能和顯著減少計算和通信負擔之間?。ㄈ┲噶顑?yōu)化服務提出更高的需求。盡管指令優(yōu)化對于指令導向的語言任務（例如自然語言推理、證訓練和推理的合理性與準確性。另一方面，可以考慮人類反饋的強化學習（RLHF通過在指令優(yōu)化步驟之后增加給定指令的人類（四）端邊云協(xié)同推理服務言處理和多模態(tài)理解任務中的廣泛應用，端邊云協(xié)同推理服務成為提升AI服務備、邊緣節(jié)點與云端資源的協(xié)同推理架構逐漸成為解決上述問題的1.端邊云大模型部署策略在位置生成更加精準的提示（prompt這些提示隨后被傳輸?shù)皆贫?，結合云數(shù)據(jù)傳輸?shù)难舆t，減少了通信帶寬的占用，并提升了整體傳輸效率和模型性能。為了應對各種動態(tài)環(huán)境下的推理任務，諸如FlexInfer框架等還提出了多種制化服務[29]。結合這些技術，邊緣節(jié)點可以快速響應用戶請求，生成初步的推數(shù)據(jù)上傳至云端的必要性，從而進一步增強了數(shù)據(jù)隱私綜上所述，端邊云協(xié)同推理服務為大規(guī)模AI模型的高效部署提供了技術支量的AI服務。隨著技術的不斷進步，端邊云協(xié)2.端邊云大小模型協(xié)同推理策略Kimi和豆包等，通常都部署在云端。這些大模型體積龐大，適用于復雜任務的實際上，Meta、谷歌、微軟等大型科技公司在發(fā)布大中小三種模型套裝，其中最小的模型參數(shù)基本都在10B以下，并且有些模型手機端側推理設計的Phi-3系列模型；Apple也在（2）端邊云協(xié)同推理服務的操作類型2)提升端側大模型推理效率。對于現(xiàn)在主需要逐個token進行計算輸出，效率比較低。為此，網(wǎng)絡可以提供推理效率提例如3GPP定義的RedCap（ReducedCapability）所覆蓋的終端，其在部署4)使能多個端側智能體協(xié)同。部署了大模型的終端智能體，其個體行為之（3）網(wǎng)絡需要具備的能力3.面向AIAgent的端邊云協(xié)同方案隨著大模型在自然語言處理、計算機視覺和機器人控制等領域所涌現(xiàn)出的現(xiàn)有的基于模型分割的端邊云協(xié)同大模型輕量化方法雖然能夠在推理準確性和端到端時延性能上取得折中，但存在以下(1)模型分割算法復雜度高，分割點尋找困難?，F(xiàn)有方案中的模型分割往往(2)基于分割后的模型在進行端邊或端云協(xié)同推理時需要傳輸中間隱藏層的在終端部署的信息采集和推理模塊以及在網(wǎng)絡邊緣（五）模型優(yōu)化服務現(xiàn)有的針對無線通信AI模型的生命周期管理方案采用的是外掛疊加式的以下技術問題：僅針對特定的AI任務，對于不同的任務需要額外添加監(jiān)控處理本文提出了一種面向AI大模型的優(yōu)化服務，通過在基站端部署性能監(jiān)控和利用網(wǎng)絡或者云端算力重新訓練模型，通過引入AI編排模塊來針對不同任務統(tǒng)所提方法的架構如圖8所示，包括AI任務編排、性能監(jiān)控、算力檢查、信圖8內生AI模型的生命周期管理架構四、案例分析生成式AI在語義通信系統(tǒng)中的應用1.生成式AI與語義通信概述生成式AI是一種利用深度學習模型來生成新內容的人工智能技術。這種技的認知能力，包括邏輯推理、問題解決、感知和語言理解等[30]。通過深入學習從而形成了人工智能生成內容（AI-GeneratedCo前景。通過生成式AI的深度學習模型和算法，AIGC能夠快速生成高質量的內絡（GenerativeAdversarialNetwork，AIGN）、變分自編碼器（VariationalAutoencoder，VAE）、循環(huán)神經(jīng)網(wǎng)絡（RecurrentNeuralNetwork，RRN）等。這些技術通過不同的機制學習數(shù)據(jù)的分布，并生成新的數(shù)據(jù)實例。生成式AI的工作過程是一個迭代的過程，需要不斷地調整模型和評估生成結果，從而圖9.兩類生成式AI大模型:單模態(tài)和多模態(tài)表3.AIGC應用和模型概覽[33]模型類型AIGC應用AI大模型神經(jīng)網(wǎng)絡架構ChatGPT-3,BingAIGPT-3,T5Transformer,GAN,VAEPaintMe.AI,VizcomStyleGAN,VQ-VAEGAN,VAE,CNN,Transformer,RNN,Murf.AI,Resemble.AIWaveGAN,SpecGANGAN,VAE,RNN,CNN,Transformer本NightCafeTransformer,GAN,Synthesia,PictoryCogVideo,PhenakiTransformer,VAE,MurfAI,PlayHTWaveNet,AudioLM文TranskribusTransformer,RNN,GoogleCloudVideoIntelligenceVideoCLIP,VideoBERTTransformer,RNN,SpeakAIDeepSpeechTransformer,RNN,端到端貫通式優(yōu)化和信源信道聯(lián)合設計的技術手段，獲得通信系統(tǒng)的整體優(yōu)化[31]。這種技術以任務為主體，遵循“先理解，后傳輸”的原則，從而大幅提升 的含義[32]。為實現(xiàn)這一目標，語義通信的發(fā)送端和接收端均具備強大的語義處 2.生成式AI大模型驅動的語義通信系統(tǒng)生成式AI大模型驅動的語義通信系統(tǒng)是一種將生成式AI模型與語義通信相信息傳輸[33]。該網(wǎng)絡架構主要包括物理基礎設施、數(shù)據(jù)平面和網(wǎng)絡控制平面三和知識庫，以支持AIGC服務。無線終端設備可以上傳數(shù)據(jù)，并通過接入點點能夠利用自身和連接的無線終端設備的知識對生成式AI模型進行預訓練和微調，并將訓練好的模型部署到相應的無線終端設備上[34]。中央云服務器則擁有龐大的存儲和計算資源，用于大規(guī)模生成式AI模型的預訓練和提供全局的AIGC服務。?數(shù)據(jù)平面：AIGC數(shù)據(jù)在該網(wǎng)絡的數(shù)據(jù)平面上生成、傳輸和評估。生成式模型負責生成包括單模態(tài)和多模態(tài)在內的AIGC信息。這些信息通過語義通進行恢復，以減少傳輸過程中的失真[31]。此外，數(shù)據(jù)平面還負責從任務完成度和相關性等多個維度評估AIGC信息的有效性。新和可靠性[35]。網(wǎng)絡控制平面還承擔著網(wǎng)絡管理的職責，以適應語義通信的需求，并充分發(fā)揮AIGC的優(yōu)勢，如低延遲、創(chuàng)造力、效率、可擴展性和圖10.生成式AI大模型驅動的語義通信系統(tǒng)了生成式AI大模型驅動的語義通信系統(tǒng)的核心支撐。由于網(wǎng)絡流量的波動的資源消耗模式，從而做出精準的資源分配決策[36]。這種基于預測的分配源[35]。通過動態(tài)調整計算資源，生成式AI大模型驅動的語義通信系統(tǒng)能夠上下文感知和用戶中心化的特點[37]。傳統(tǒng)的通信資源分配主要關注數(shù)據(jù)吞吐量和帶寬效率等位相關的指標，而生成式AI大模型驅動的語義通信系統(tǒng)高置信度的數(shù)據(jù)得到優(yōu)先傳輸[38]。而在多模態(tài)提示方面，系統(tǒng)則會利用視性和準確性[39]。此外，由于語義通信中不同的知識匹配程度會導致移動用[40]。這種策略旨在通過優(yōu)化收發(fā)器之間的知識匹配度，來提高語義通信系統(tǒng)的資源管理效率。同時，還有一些研究探討了生成式AI大模型驅求來優(yōu)化服務效率。這些創(chuàng)新性的通信資源分配策略，為生成在文獻[34]中，研究人員針對生成式AI大模型驅動的語義通信系統(tǒng)進行了采用了深度卷積網(wǎng)絡和Transformer驅動的語義解碼器進行語義分割和恢復。所有模型都在信噪比為0dB的AWGN信道上進行訓練，以傳容的圖像。使用Adam優(yōu)化器對神經(jīng)網(wǎng)絡進行訓練，初始學習率為5×10-4。表4：在下行鏈路傳輸300張圖像所需的比特數(shù)以及PSNR性能[34]不同的圖像傳輸方案下行鏈路所需比特數(shù)PSNR（峰值信噪1.28×10528.05語義通信[41]5.99×10428.253.03×10428.64張1024x1024像素的圖像時，僅需要3.03×104比特，相較于文獻[41]中的語義通信方案減少了2.96×104比特，與集成生成式AI的傳統(tǒng)通信方案相比更是減少了9.77×104比特。在圖像傳輸質量方面，生成式AI大模型驅動的語義通信系統(tǒng)的PSNR得分為28.64，略高于其他兩種方法，表明該框架在減少比資源。這些結果表明生成式AI大模型驅動的語義五、未來展望究。AIAgent作為未來網(wǎng)絡的核心元素，其潛力巨大，能夠自主決策、優(yōu)化網(wǎng)AI服務，這意味著云、核心網(wǎng)、無線網(wǎng)和終端等各面做出全面的優(yōu)化。只有這樣，我們才能確保AI服務能夠覆蓋到網(wǎng)絡的每一個網(wǎng)絡數(shù)字孿生作為解決AI概率性和網(wǎng)絡高可靠性之間矛盾的主要途徑，正六、參考文獻[1]2023年11月vivo開發(fā)者大會,/vdc/2023/index.html#/[2]/cn/events/find-x7-series-launch/[3]/cn/phones/honor-magic6/[4]/[5]/cn/videos/play/wwdc2024/101/[6]WangG,LiuJ,LiC,etal.Cloud-DeviceCollaborativeLearningforMultimodalLargeLanguageModels[C]//ProceedingsoftheIEEE/CVFConferenceonComputerVisionandPatternRecognition.2024:12646-12655.[7]LinZ,QuG,ChenQ,etal.Pushinglargelanguagemodelstothe6Gedge:Vision,challenges,andopportunities.arXivpreprintarXiv:2309.16739,2023.[8]DingN,QinY,YangG,etal.Parameter-efficientfine-tuningoflarge-scalepre-trainedlanguagemodels.NatureMachineIntelligence,2023,5(3):220-235.[9]ZhangZ,YangY,DaiY,etal.Fedpetuning:Whenfederatedlearningmeetstheparameter-efficienttuningmethodsofpre-trainedlanguagemodels.ACL,2023:9963-9977.[10]DouillardA,FengQ,RusuAA,etal.DiLoCo:DistributedLow-CommunicationTrainingofLanguageModels.arXivpreprintarXiv:2311.08105,2023.[11]YeR,WangW,ChaiJ,etal.OpenFedLLM:TrainingLargeLanguageModelsonDecentralizedPrivateDataviaFederatedLearning.arXivpreprintarXiv:2402.06954,2024.[12]XuM,CaiD,WuY,etal.Fwdllm:Efficientfedllmusingforwardgradient.arXiv:2308.13894,2024.[13]Z.Qin,D.Chen,B.Qian,B.Ding,Y.Li,andS.Deng,Federatedfullparametertuningofbillion-sizedlanguagemodelswithcommunicationcostunder18kilobytes,inICML,2024.[14]LinZ,ZhuG,DengY,etal.Efficientparallelsplitlearningoverresource-constrainedwirelessedgenetworks.IEEETransactionsonMobileComputing,2024.[15]LiuY,AgarwalS,VenkataramanS.Autofreeze:Automaticallyfreezingmodelblockstoacceleratefine-tuning(2021).arXivpreprintarXiv:2102.01386.[16]LiS,YuanG,DaiY,etal.Smartfrz:Anefficienttrainingframeworkusingattention-basedlayerfreezing.arXivpreprintarXiv:2401.16720,2024.[17]KuangW,QianB,LiZ,etal.Federatedscope-llm:Acomprehensivepackageforfine-tuninglargelanguagemodelsinfederatedlearning.arXivpreprintarXiv:2309.00363,2023.[18]RajbhandariS,RasleyJ,RuwaseO,etal.Zero:Memoryoptimizationstowardtrainingtrillionparametermodels,SC20:InternationalConferenceforHighPerformanceComputing,Networking,StorageandAnalysis.IEEE,2020:1-16.[19]FanT,KangY,MaG,etal.Fate-llm:Aindustrialgradefederatedlearningframeworkforlargelanguagemodels.arXivpreprintarXiv:2310.10049,2023.[20]ZhangJ,VahidianS,KuoM,etal.TowardsbuildingthefederatedGPT:Federatedinstructiontuning.IEEEICASSP,2024:6915-6919.[21]JiangFeiboetal.“Personalizedwirelessfederatedlearningforlargelanguagemodels.”ArXivabs/2404.13238(2024):n.pag.[22]McMahan,H.B.etal.“Communication-efficientlearningofdeepnetworksfromdecentralizeddata.”InternationalConferenceonArtificialIntelligenceandStatistics(2016).[23]ThapaChandraetal.“SplitFed:Whenfederatedlearningmeetssplitlearning.”ArXivabs/2004.12088(2020):n.pag.[24]ZhangJianyietal.“TowardsBuildingtheFederatedGPT:FederatedInstructionTuning.”ArXivabs/2305.05644(2023):n.pag.[25]JiangJingetal.“Low-parameterfederatedlearningwithlargelanguagemodels.”ArXivabs/2307.13896(2023):n.pag.[26]FanTaoetal."FATE-LLM:Aindustrialgradefederatedlearningframeworkforlargelanguagemodels",ArXivabs/2310.10049(2023):n.pag.[27]ChenChaochaoetal.“Federatedlargelanguagemodel:Apositionpaper.”ArXivabs/2307.08925(2023):n.pag.[28]YangZ,JiW,WangZ.Adaptivejointconfigurationoptimizationforcollaborativeinferenceinedge-cloudsystems[J].ScienceChinaInformationSciences,2024,67(4):149103.[29]ChenY,LiR,YuX,etal.AdaptiveLayerSplittingforWirelessLLMInferenceinEdgeComputing:AModel-BasedReinforcementLearningApproach[J].arXivpreprintarXiv:2406.02616,2024.[30]R.Gozalo-BrizuelaandE.C.Garrido-Merchan,“ASurveyofGenerativeAIApplications,”arXivpreprintarXiv:2306.02781,2023.[31]H.Xie,Z.Qin,G.Y.Li,andB.-H.Juang,“DeepLearningEnabledSemanticCommunicationSystems,”IEEETransactionsonSignalProcessing,vol.69,pp.2663–2675,2021.[32]Q.Lan,D.Wen,Z.Zhang,Q.Zeng,X.Chen,P.Popovski,andK.Huang,“WhatisSemanticCommunication?AViewonConveyingMeaningintheEraofMachineIntelligence,”JournalofCommunicationsandInformationNetworks,vol.6,no.4,pp.336–371,2021.[33]C.Liangetal.,"GenerativeAI-drivenSemanticCommunicationNetworks:Architecture,TechnologiesandApplications,"inIEEETransactionsonCognitiveCommunicationsandNetworking,2024,doi:10.1109/TCCN.2024.3435524.[34]L.Xia,Y.Sun,C.Liang,L.Zhang,M.A.Imran,andD.Niyato,“GenerativeAIforSemanticCommunication:Architecture,Challenges,andOutlook,”arXivpreprintarXiv:2308.15483,2023.[35]H.Du,R.Zhang,Y.Liu,J.Wang,Y.Lin,Z.Li,D.N