中國人工智能系列白皮書一元宇宙技術(shù)(2024 版)

2 4 4 7 1.3.3新經(jīng)濟模式 2.1元宇宙技術(shù)架構(gòu) 2.2元宇宙計算 23 282.3.1微透鏡陣列光場感知 282.3.2計算光場成像 29 2.3.5音頻感知 2.3.6觸覺感知 41 42 462.4.3AI內(nèi)容生成 482.5元宇宙協(xié)同 51 2.5.3元宇宙協(xié)同安全 2.6元宇宙交互 2.6.1信息顯示 2.6.3多模態(tài)情感計算 3 3.2典型元宇宙硬件平臺 3.3典型元宇宙內(nèi)容構(gòu)建平臺 3.4典型開源技術(shù)與工具 4.1文旅元宇宙 4.2教育元宇宙 4.4辦公元宇宙 4.5娛樂元宇宙 4.7金融元宇宙 4.8供應(yīng)鏈元宇宙 4.9農(nóng)業(yè)元宇宙 5.1元宇宙的安全風(fēng)險 5.1.1數(shù)據(jù)安全與治理 5.1.2網(wǎng)絡(luò)安全 5.1.4國家安全 5.2元宇宙安全治理的現(xiàn)實挑戰(zhàn) 5.2.1數(shù)字平臺的安全漏洞 5.3元宇宙安全治理的策略與建議 5.3.1技術(shù)層面的創(chuàng)新與應(yīng)用 5.3.2法律層面的完善與實施 第6章總結(jié)與展望 6.1協(xié)同多方合作，共同推動元宇宙產(chǎn)業(yè)發(fā)展 6.2建立元宇宙應(yīng)用規(guī)范和評測平臺 參考文獻 4第1章元宇宙技術(shù)概述有收斂性、物理持久性、連接感知和共享等特征。在進行互動和交流。元宇宙超越了物理世界的個個生成圖1-1元宇宙的技術(shù)演進如圖1-1所示，“元宇宙”的概念隨著技術(shù)的演進而不斷完善。在元宇宙概念剛興5·元宇宙拓展性671.2.1海外發(fā)展格局89辦公和社交的平臺生態(tài)，并通過底層技術(shù)研發(fā)開發(fā)工具及平臺，以SparkAR、排名1蘋果研究AR設(shè)備；并購25家AI公2研究AR設(shè)備和操作系統(tǒng)、全息3微軟收購游戲開發(fā)商暴雪；發(fā)展游戲應(yīng)用市場；研究MR設(shè)備。4三星推出數(shù)實融合的演唱會和商店；研究VR設(shè)備。5綜合布局VR硬件、底層架構(gòu)、人工智能、平臺與內(nèi)容。6研究高性能算力芯片，積極布局GPU、IPU、RISC-V芯片產(chǎn)品線。7從芯片技術(shù)優(yōu)勢延展，打造數(shù)字孿生引擎、數(shù)字人引擎和相關(guān)開發(fā)平臺。模約為909億元，而元宇宙上下游產(chǎn)業(yè)產(chǎn)值則超過02026E21.3.2新數(shù)字器官1.3.4新社會圖景1.4.1元宇宙發(fā)展機遇免責(zé)中讀系客細值，重讀系客細值，重-時閉用職系校方4如有其他姓系，口i?第2章元宇宙關(guān)鍵技術(shù)AR/成像與傳感數(shù)字孿生交互協(xié)同生成智能交互感知計算通信圖2-2元宇宙理論與關(guān)鍵技術(shù)些技術(shù)共同作用，使得元宇宙應(yīng)用能夠準確地捕捉和再現(xiàn)現(xiàn)實世界的各種信息。例如，2.2.1分布式并行計算(1)異構(gòu)計算優(yōu)化(HeterogeneousComputingOptimization):元宇宙計算通常涉及Prefetching)和緩存(Caching)、數(shù)據(jù)壓縮(DataCompression)和編碼(Encoding)等。(3)通信優(yōu)化(CommunicationOptimization):元宇宙計算中的許多任務(wù)需要頻繁 (DistributedMachineLearningAlgorithms)和聯(lián)邦學(xué)習(xí)(FederatedLearning)架構(gòu)。的方法，研究復(fù)雜系統(tǒng)的行為和演化。物理引擎(PhysicsEngine)、流體動力學(xué) 模型預(yù)測湍流(Turbulence)、邊界層(Boundary清視頻編解碼(Ultra-High-Definition透鏡進行一次成像后，后端通過分視場相機陣列(約98個)進行采集的AWARE-2相可初步驗證動態(tài)10億像素成像的可行性，但類得到的全景圖像/視頻投影為矩陣形式并進行數(shù)據(jù)的表征與存儲。此外，各個像感器均是，由于其位姿估計嚴重依賴重疊區(qū)域的全局Yuan等[15]提出了非結(jié)構(gòu)化光場感知算法，構(gòu)建了“多層異構(gòu)-同層自適應(yīng)”的樹形感知模型。其中，“多層異構(gòu)”一改傳統(tǒng)結(jié)構(gòu)化陣列像感器固有的圖連接感知模型，解除了光學(xué)成像裝置物理體積隨數(shù)據(jù)通量線性增長(ScalingLaw)的制約，突破了現(xiàn)有感器均勻化采樣、信號同分布的假設(shè)，相鄰像感器間無需受視場相互重疊的嚴格限制，層架構(gòu)的父層像感器與子層像感器之間自然基礎(chǔ)上，各個局部像感器的調(diào)整(移除/添加)不會影響其他像感器，亦不會對多像感器位姿的優(yōu)化帶來復(fù)雜度劇增和魯棒性降低的問題。如圖2-5所示的非結(jié)構(gòu)化異構(gòu)像感器陣列本質(zhì)上是將多個極低成本的相機，以多尺多通通光牌經(jīng)1 SOTA平均LPIPS降低了40%,將野生環(huán)境下跨尺Google研發(fā)的Lightstage系統(tǒng)采用了331個可編程光源以及一個90臺12.4M像素6通道彩色LED光源陣列、16臺RGB-D深 6市康宋*車勇2.3.5音頻感知01.前端信號處理01.前端信號處理支持回聲、混響和噪聲端上抑制02.語音識別支持方言口音，多語種等03.自然語言處理話知識庫對話個性化定制，極少語料庫自適應(yīng)05.聲紋識別上十萬人聲紋庫06.情感識別支持離散，連續(xù)情感識別智能交互04.語音合成圖2-9音頻感知交互特征矢量之間的距離測度來實現(xiàn)。在說話人訓(xùn)練根據(jù)系統(tǒng)建模算法，得到說話人的特征模型，輸出即為說話人識別結(jié)果，之后如注意力機情感識別是實現(xiàn)深度音頻感知不可或缺的關(guān)鍵一環(huán)，語音情感識塊主要通過語音傳感器(例如麥克風(fēng)等語音錄制設(shè)備)獲得語音信號，并傳遞到下一個語音情感特征提取模塊對語音信號中情感關(guān)聯(lián)緊情感識別模塊完成情感的判斷。基于深度神經(jīng)網(wǎng)絡(luò)的情感特征提取能夠用于特征抽取，經(jīng)網(wǎng)絡(luò)可以替代傳統(tǒng)分類器，從而捕獲更加豐富語音合成是實現(xiàn)音頻感知中的關(guān)鍵表達環(huán)節(jié)。隨著深度學(xué)習(xí)的發(fā)展，目前語音合成技術(shù)已經(jīng)發(fā)展相對成熟，且已取得了廣泛應(yīng)用，但仍然存在音色風(fēng)格單一，數(shù)據(jù)成本，構(gòu)建時間等諸多限制。一個好的語音合成系統(tǒng)建的語音合成數(shù)據(jù)庫門檻限制了語音合成的輸出風(fēng)格。就語音合成系統(tǒng)的聲學(xué)模型而言，都花費較長時間對數(shù)據(jù)和模型進行定制是不經(jīng)個性化語音合成系統(tǒng)時，首先面臨的問題就是2.3.6觸覺感知圖2-10視觸覺傳感發(fā)展進展圖2-11Meta開發(fā)的Digit視觸覺傳感器并應(yīng)用于元宇宙中機器人感知視觸覺傳感器由接觸模塊、照明模塊和成像模塊組成。接觸模塊包含功能層、彈性體、亞克力和LED[41],其中功能層用于模擬皮膚感知功能，例如涂層用于紋理傳感、標記層用于力傳感和熱致變層用于溫度傳感。研究者將標記的矢量信息與接觸狀態(tài)以神經(jīng)網(wǎng)絡(luò)的方式構(gòu)建映射關(guān)系并與機器人的操作控制關(guān)聯(lián)，其中對力信息進行隱式表達降低了機器人對交互狀態(tài)的理解難度。以涂層和標記層為媒介，結(jié)合單目/多目視覺實現(xiàn)了基于光度立體法[42]、深度標定法[43]和光流法的物體三維重建[44]。觸覺深度信息幫助機器人理解物體的空間結(jié)構(gòu)，進而獲取物體的外在屬性并推導(dǎo)出機械手和物體的幾何約束關(guān)系，為操作策略制定和操作姿態(tài)微調(diào)提供先驗知識[45]。生成器隱式編碼(c)用于三維重建的DeepSDF圖2-12元宇宙環(huán)境中基于觸覺信息的三維重建結(jié)合視覺信息提供的物體2.5D形狀，以觸覺探索的方式獲取精細的局部重建[46]。視觸覺可以提供觸覺點云，在元宇宙環(huán)境中結(jié)合物體空間姿態(tài)重構(gòu)體素化的3D物體形狀[47](圖2-12所示)。觸覺仿真是觸覺邁向元宇宙的關(guān)鍵一步。Meta開發(fā)了一套在元宇宙中模擬視觸覺的仿真平臺TACTO[48],可用于生成大規(guī)模觸覺數(shù)據(jù)來提高機器人技能學(xué)習(xí)(圖2-13所示)。研究界還探索了有限元、物理仿真和材料點法來模擬彈性變圖2-13Meta開發(fā)的TACTO模擬器在元宇宙中自主生成大規(guī)模觸覺數(shù)據(jù)Meta開創(chuàng)了視觸覺傳感在元宇宙的應(yīng)用先河?？茖W(xué)界普遍認為視觸覺傳感具備視姿計算注冊融合傳感器數(shù)據(jù)，構(gòu)建現(xiàn)實世界運動結(jié)構(gòu)重建(StructurefromMotion)、多視點立體視覺(MultiviewStere光度立體法(PhotometricStereo)等。近年來，隨著可微渲染技術(shù)的發(fā)展，神經(jīng)網(wǎng)絡(luò)隱采樣表達三維光場，代表性工作為最新的三維高斯?jié)姙R(3DGS)技術(shù)，極大提高了神經(jīng)成式人工智能模型自動生成三維內(nèi)容奠定了數(shù)據(jù)基礎(chǔ)。生成對抗模型(Generative圖2-14三維重建的概念(1)傳統(tǒng)SFM&MVS重建立體深度估計輸入：圖像序列位姿和稀疏點云立體深度估計點云融合輸出：帶貼圖的mesh網(wǎng)格重建點云融合(2)可微渲染引導(dǎo)的三維重建表達Mesh表達表達圖像序列&位妻輻射場表達輻射場渲染圖像序列&位妻輻射場表達F。>4點的值(RGBa)是通過神經(jīng)空間圖2-17神經(jīng)渲染輻射場(NeRF)重建·3D高斯?jié)娊?3DGS)方法3D高斯?jié)姙R(3DGaussian圖2-183D高斯輻射場(3DGS)重建二維關(guān)鍵點熱圖整合成一個三維圖形結(jié)構(gòu)模型。Wang等[68]人開發(fā)了一種基于2.4.3AI內(nèi)容生成了高分辨率和高質(zhì)量的圖像生成。最新的三維人臉生成的工作，如EG3D[74]、Portrait3D[75]等，很多都采用了StyleGAN2作為了基本的網(wǎng)絡(luò)架構(gòu)。噪聲生成器判別器真/假圖2-19生成對抗模型結(jié)構(gòu)示意圖擴散模型[72]是一類基于去噪擴散概率模型(DDPM)的生成技術(shù)。其核心思想是通過迭代去噪過程，從隨機噪聲生成目標數(shù)據(jù)。擴散模型的訓(xùn)練過程包括兩個步驟：前向噪聲注入和反向去噪預(yù)測。前向噪聲注入是指在數(shù)據(jù)中逐步引入高斯噪聲，而反向去噪預(yù)測則是通過學(xué)習(xí)去噪函數(shù)來恢復(fù)原始數(shù)據(jù)，如圖2-20所示。第1000步去噪去噪第999步去噪圖2-20擴散模型的前向加噪與反向去噪過程近年來，基于CLIP和擴散模型的方法大幅提升了文本到3D生成的能力。例如，Point-E[76]是一種圖像到點云擴散模型，利用CLIP視覺潛在編碼作為輸入，生成3D點云。Shap-E[77]通過引入隱空間投影，實現(xiàn)了對SDF表示的重建，支持大規(guī)模詞匯3D生成。Gaussian-Dreamer[78]結(jié)合3D和2D擴散模型，通過高斯分裂確保3D一致性和細節(jié)生成，從文本描述生成3D實例。通過圖像生成3D內(nèi)容的方法同樣取得了顯著進展?；趫D像的3D生成利用擴散模型從單視點圖像生成多視點圖像，利用多視點的一致性，生成一致的3D模型。例如，NPGs(NeuralParametricGaussians)[79]通過局部表示和時間共享錨定的3D高斯體對于視頻到4D的生成，4DGen和Efficient4D都提出利用SyncDreamer從輸入幀生成多(1)概念和基本原理(2)優(yōu)勢和不足區(qū)塊鏈可以使元宇宙中的資產(chǎn)(如虛擬土地、物品或貨幣)和數(shù)據(jù)在不同的平臺間NakamotoS,BitcoinA.Apeer-to-peerelectroniccashsystem[J].Bitcoin.-URL:htps//b早在20世紀90年代，就有學(xué)者提出智能(2)二層網(wǎng)絡(luò)(Layer2Solutions)[97]側(cè)鏈[0]在線假設(shè)(例如，瞭望塔)是是是金是金哲是是高當中等中等高1及中等面中等中等中等度新新以太坊1.0上的最大吞吐量P以太坊2.0上的最大吞吐量資本效率開設(shè)新賬戶需要額外的鏈上交易是交易費用低低低低提現(xiàn)時回1..10分鐘[71..10分鐘[7]達到主觀確定性的時間時不可用1確認1確認1..10分鐘1..10分鐘可用即時交易確認智能合約活據(jù)活是否否[0】某些研究者完全不認為側(cè)鏈應(yīng)被歸入L2范疇，可見：https://twitter.con[1]要看相關(guān)升級機制的實現(xiàn)，不過一般來說都可以/gakonst/status/114679368554[2]有非常復(fù)雜的限制[3]為保證與EVM的兼容性，吞吐量的上限是300TPS[4]這個參數(shù)實際上是可調(diào)的，但大部分研究者都覺得1到2周時間比較安全[5]要看相關(guān)的實現(xiàn)，zkSyne是不需要的，但Loopring需要[7]理論上來說，可以通過流動性提供商緩解這個問題，但是會讓整個方案的資金利用效率性變差2https://blog.matter-labs.io/evaluating-cthereum-12-scalingsolutions-a-comparison-framework-b6b提交到主鏈。根據(jù)數(shù)據(jù)處理方式的不同，Rollups可以分為OptimisticRollups[101]和ZKRoll1Se8e這些數(shù)據(jù)包括但不限于股票價格、天氣信息、體育比賽結(jié)果等[109]。隨著技術(shù)的發(fā)展，3/Ikxnetwork/blockchain-bridges-5db6afac一些新的預(yù)言機為區(qū)塊鏈提供了更加復(fù)雜和可靠的服務(wù)，比如引入去中心化網(wǎng)絡(luò)的(5)非同質(zhì)化代幣(NFTs)[116],也讓虛擬財產(chǎn)所有者(如游戲玩家)能夠更有效的保證自己的虛擬資產(chǎn)。(6)去中心化自治組織(DAOs)(1)用戶身份安全所示，為了保障元宇宙協(xié)同下的身份安全，需要從以下四方面實現(xiàn)去中心化的身份管理。圖2-24元宇宙協(xié)同中的用戶身份安全·身份認證：在元宇宙協(xié)同中，用戶可能需要在不同的虛擬世界和平臺之間無縫移動他們的身份。分布式身份技術(shù)(例如W3C的DID標準[123])具有去中心化和用戶自主控制的特點，使用戶能夠攜帶自己的身份認證信息跨越不同的應(yīng)用場景。這可以促進整個元宇宙生態(tài)系統(tǒng)的開放性、互操作性和增長潛力?！そ巧芾恚和ㄟ^門限密碼[126]、角色管理委員會，確保任何角色管理操作都需要達到預(yù)設(shè)的管理者數(shù)量的同意，從而實現(xiàn)去中心化的授權(quán)與決策。此外，每個角色管理委員會成員僅掌握密鑰片段，即使部分信息泄露，也能保持元宇宙系統(tǒng)的安全性?！?shù)據(jù)確權(quán)：在元宇宙中，數(shù)字資產(chǎn)如虛擬土地有真實經(jīng)濟價值。利用區(qū)塊鏈的分布式賬本特性，可以創(chuàng)建不可篡改的所有權(quán)記錄，確保每個數(shù)據(jù)資產(chǎn)的唯一性、可追溯性和所有權(quán)透明度。區(qū)塊鏈智能合約[128]能夠自動執(zhí)行合同條款，無需第三方介入，可以用來規(guī)定數(shù)字資產(chǎn)的使用、轉(zhuǎn)讓、收益分配等規(guī)則，從而實現(xiàn)自動化的確權(quán)和執(zhí)行，減少糾紛。·訪問控制：根據(jù)用戶在元宇宙中的角色(如游客、居民、管理員等),分配相應(yīng)的訪問權(quán)限?；诮巧脑L問控制[129]減少了權(quán)限管理的復(fù)雜性，并確保用戶只能訪問與其角色相關(guān)的資源。(2)通信安全在元宇宙協(xié)同場景中，通信安全扮演著至關(guān)重要的角色。不同元宇宙之間的數(shù)據(jù)交換和交互操作需要通過安全的通信渠道進行，以防止數(shù)據(jù)在傳輸過程中被竊取、篡改或·安全通訊協(xié)議：安全通訊協(xié)議是構(gòu)建數(shù)據(jù)傳輸防護網(wǎng)的關(guān)鍵。如圖2-25所示，安全通訊協(xié)議確保了跨元宇宙數(shù)據(jù)交換的完整性、認證性和機密性。例如，使為通信雙方提供端到端的加密，防止中間人攻擊和數(shù)據(jù)被竊聽。更進一步，采用量子安全加密技術(shù)，如量子密鑰分發(fā)(QuantumKeyDistribution,QKD)[131],可以在未來抵御潛在的量子計算機攻擊，為元宇宙間的超安全通信奠定圖2-25安全通訊協(xié)議用諸如Tor網(wǎng)絡(luò)(如圖2-26所示)或零知識證明(Zero-KnowledgeProof)[134](如圖2-27所示)的匿名通信技術(shù)，用戶能夠在不透露自己真實身份或敏感信息的前提下參與跨元宇宙活動。零知識證明技術(shù)尤其強大，它允許一方證明其擁有某些信息、是某種狀態(tài)或能執(zhí)行某項計算，而無需揭露除斷言真實性以外的任何信息。這在驗證用戶權(quán)限或資產(chǎn)所有權(quán)時尤為關(guān)鍵，同時保持用戶隱私圖2-26匿名通信技術(shù)中的Tor網(wǎng)絡(luò)二驗證者驗證者圖2-28流量安全機制(3)數(shù)據(jù)安全所示，本文總結(jié)了元宇宙協(xié)同中數(shù)據(jù)采集、數(shù)圖2-29元宇宙協(xié)同中的數(shù)據(jù)安全通過哈希數(shù)字摘要[140]和承諾技術(shù)[141],結(jié)合零知識證明[142](如zk-(4)計算安全Computation,MPC)、可信執(zhí)行環(huán)境(TrustedExecutionEnvironment,TEE)和聯(lián)邦學(xué)習(xí)(FederatedLearning)等。云端數(shù)據(jù)=圖2-30元宇宙協(xié)同中的計算安全從而在云端或其他不可信環(huán)境中執(zhí)行數(shù)據(jù)處理任務(wù)時確保數(shù)據(jù)的隱私和安這種技術(shù)通過對加密數(shù)據(jù)進行數(shù)學(xué)運算，使計算結(jié)果在解密后與對未加密數(shù)據(jù)下共同完成計算任務(wù)。通過復(fù)雜的加密協(xié)議和算法，確保計算過程中的每一步·聯(lián)邦學(xué)習(xí)：聯(lián)邦學(xué)習(xí)是一種分布式機器學(xué)習(xí)技術(shù)[1數(shù)據(jù)的情況下共同訓(xùn)練模型。通過僅交換模型參數(shù)而非數(shù)據(jù)本身，保護數(shù)據(jù)隱各參與方的本地訓(xùn)練，提高了非獨立同分布數(shù)據(jù)(non-IIDdata)下聯(lián)邦學(xué)習(xí)的性能。(5)監(jiān)管審計數(shù)據(jù)水印數(shù)據(jù)生成數(shù)據(jù)傳輸審計系統(tǒng)審計系統(tǒng)計算技術(shù)保護用戶數(shù)據(jù)，確保計算過程的安全性和可靠性。監(jiān)管審計通過數(shù)據(jù)生命周期宙生態(tài)系統(tǒng)的健康發(fā)展。2.6元宇宙交互人對信息的接受80%來自于視覺，視覺交互是人類接受外界信息的重要渠道之一。目前的視覺交互都是基于顯示技術(shù)而實現(xiàn)的，下面對元宇宙中的主要顯示技術(shù)分別進行頭戴式3頭戴式3D顯示技術(shù)助視3D裸眼3D助視3D顯示技術(shù)主要包括頭戴式3D顯示技術(shù)、分色3D顯示技術(shù)、偏振3D顯示裸眼3D顯示技術(shù)主要分為視差3D顯示技術(shù)、光場3D顯示和全息3D顯示技術(shù)等技術(shù)是全息3D顯示技術(shù)的主要發(fā)展方向。交互，如圖2-34所示，讓用戶能夠更加自然和直觀地與元宇宙中的目標進行互動。用戶體驗的沉浸感和真實感。此外，語音交互也圖2-34多模態(tài)交互在輸出方面，多模態(tài)交互不僅限于視覺和聽覺，還包括觸覺、嗅覺和味覺的體驗。(1)手勢交互方面，手勢識別系統(tǒng)需要高幀率成像設(shè)備，以確保流暢的交互體驗。LeapMotion等設(shè)備基于結(jié)構(gòu)光和紅外技術(shù)，通過發(fā)射紅外光線并捕捉反射數(shù)據(jù)，精確地重建手部的3D模型。軟件方面，手勢識別技術(shù)經(jīng)歷了從傳統(tǒng)計現(xiàn)不佳。高動態(tài)范圍(HDR)傳感器、深度傳感因為兩只手之間的相對位置和互動關(guān)系增加了算法的復(fù)雜性。為了解決這些問題，特征空間解時間解輸入圖像融合碼器碼器記圖記圖(2)肢體交互人體動作識別(HAR)和人機交互(HCI)。慣性傳感器技術(shù)(如IMU)因其低功耗、(3)眼動交互不可用的不可用的亮縮圍硝膻圖眨眼和注視特征檢測準基于角膜反射的注視估計和特定對象校準視點人臉追蹤Lgc(4)觸覺反饋基于超聲波技術(shù)的裸手式觸覺設(shè)備，通過空氣中的振動波在用戶手上產(chǎn)生觸覺反饋機械式機械式非機械式裸手式觸覺反饋觸覺反饋技術(shù)穿戴式觸覺反饋裸手式觸覺反饋觸覺反饋技術(shù)穿戴式觸覺反饋圖2-38觸覺反饋技術(shù)的分類盡管觸覺反饋技術(shù)有巨大潛力，但仍面臨諸多制了其大規(guī)模應(yīng)用。尤其是在消費級市場，成本其更易于集成到各種設(shè)備中，如VR頭盔、手套和穿戴設(shè)備。2)軟硬件一體化發(fā)展：觸現(xiàn)給用戶，并與其他感官反饋(如視覺、聽覺)相結(jié)合，將大幅提升元宇宙的沉浸感和2.6.3多模態(tài)情感計算及多種模態(tài)，包括顯性表達(如人臉表情、語言)和隱性表達(如文本、圖像)[187]。文本圖2-39情感模態(tài)：顯性情感線索(上)和隱性情感刺激(下)厭要開心北傷姓分類器優(yōu)化表示學(xué)習(xí)模態(tài)1回歸(1)情感的表示學(xué)習(xí)到目前為止，人們已經(jīng)開發(fā)出大量方法來提取音頻中情感刺激的代表性特征(2)各情感模態(tài)的特征融合第3章元宇宙技術(shù)平臺(1)隱式模型與CAD模型的混合渲染(2)端云異步渲染標。端云異步渲染需要經(jīng)歷了兩次渲染過程，第一次是云端根據(jù)AR設(shè)備反饋的位姿信結(jié)合當前用戶實時位姿，運用ATW、運動預(yù)測等算法，對當前幀進行二次渲染圖像矯正，以增強模型的錨定性，解決果凍效應(yīng)等(3)低延時MTP MotionReadU圖3-2優(yōu)化顯示機制和流程，縮減MTP到28.4ms(4)雙目交替渲染技術(shù)ATWATW矯正VSync時刻的最新幀復(fù)合幀刷新顯示VSync-1時刻的緩存幀L3.2典型元宇宙硬件平臺(1)虛擬現(xiàn)實(VR)設(shè)備等，如圖3-5所示。圖3-5VR設(shè)備(依次為：聯(lián)想ThinkRealityVRX,聯(lián)想RiftS,Pico4,VisionPro)3-6所示。圖3-6典型AR設(shè)備(依次：晨星NewG2pro,G2light)圖3-7足式機器人中充當智能助手，提供各種服務(wù)?？梢耘c增強現(xiàn)實(AR)和虛擬現(xiàn)實(VR)技術(shù)相結(jié)(1)聯(lián)想晨星工業(yè)元宇宙平臺晨星工業(yè)元宇宙平臺(DaystarWorld)是由聯(lián)想開發(fā)的面向行業(yè)元宇宙解決方案應(yīng)等核心技術(shù)多核心能力聚合的國內(nèi)領(lǐng)先工業(yè)元宇宙開放平臺。如圖3-8所示，其核心能方方元宇由工營甲白工具位6M幅圖3-8晨星工業(yè)元宇宙平臺框圖平臺核心功能特征有：1)基于神經(jīng)輻射場(NeRF)技術(shù)的高擬真三維重建，實現(xiàn)備、無人機等設(shè)備，提供全要素(特征/Mesh/紋理/語義)空間計算服務(wù)，由此構(gòu)建了(2)咪咕元宇宙創(chuàng)新產(chǎn)品平臺備圖3-10咪咕元宇宙創(chuàng)新產(chǎn)品平臺能力架構(gòu)圖應(yīng)用微服務(wù)應(yīng)用拓展套件Omniverse平臺模擬仿真模擬仿真核心框架和庫渲染渲染英偉達圖形顯卡允許用戶通過語音聊天和手勢互動進行實時交流，增強了虛擬環(huán)境中的社交體驗。圖片生成音頻分類語言檢測文本嵌入文本分類人臉檢測手勢識別面部特征點檢測圖片分割圖片分類對象檢測(2)區(qū)塊鏈開源工具是采用optimisticrollup(3)三維重建開源工具效地訓(xùn)練NeRF模型，支持多種內(nèi)置基于可微渲具，用戶可以實時查看重建的三維場景和生成的視圖合成效果，如圖3-14所示。這兩個開源工具是開源3D內(nèi)容生成統(tǒng)一框架。通過利用2D文本(6)開源大語言模型GLM(GeneralLanguageM大模型之一。智譜AI從2020年開始研括采用了前置層歸一化(Pre-normalization)并使用RMSNorm歸一化函數(shù) (7)協(xié)同安全開源工具·星際文件系統(tǒng)(InterPlanetaryFileSystem,IPFS)第4章元宇宙典型應(yīng)用2022年10月，南方電網(wǎng)應(yīng)急實訓(xùn)部引入了AR實訓(xùn)及考核方案。如圖4-4所示，國圖4-4基于AR設(shè)備的南網(wǎng)應(yīng)急AR實訓(xùn)圖4-5基于Hololens和Dynamics365Guides的汽車公司員工培訓(xùn)(1)數(shù)字孿生工廠設(shè)計、模擬、培訓(xùn)機器人等復(fù)雜工作。經(jīng)過近2年時間測圖4-6基于Omniverse的寶馬數(shù)字孿生工廠(2)虛擬規(guī)劃與模擬仿真(3)智能監(jiān)控與運維2023年6月，中煙下屬某卷煙廠制絲車間上線一套(1)元宇宙會議虛擬空間(2)遠程協(xié)作平臺展協(xié)作，或者只需進行富于表現(xiàn)力的對話交流，盡享身臨其境般的協(xié)作體驗。借助圖4-10HorizonWorkrooms虛擬會議空間聯(lián)想在2024年4月份的聯(lián)想創(chuàng)新科技大會上一口氣連發(fā)10余款A(yù)IPC產(chǎn)品，宣微軟于2024年5月剛剛發(fā)布新一代Copilot+PC,接入GPT-4o提供各種實時AI能圖4-11聯(lián)想AIPC-小天智能體(左),微軟CopilotPC(右)制造、貿(mào)易和參與PvP/PvE戰(zhàn)斗等活動[PVPPVP圖4-12玩家可以在EVEOnline世界中從事活動一覽表機融合。2022年8月5日上海虛擬體育公開賽(ShanghaiVirtualSportsOpen,簡稱高保真獎杯型互動沉漫式開啟歐洲杯1/8決賽空間觀賽器oMO51個aaaaMo程常CauasmMR空間多賽同看圖4-14所