2024年AI智能眼鏡白皮書

(一)A推動人類進入第四次工業(yè)革命—-01 2、從判別式人工智能到生成式人工智能 033、大模型崛起，從單一模態(tài)到多模態(tài) 03(三)Al產(chǎn)業(yè)快速發(fā)展 02 05 06 07 (1)與眼睛視覺結(jié)合 1 (3)與嘴巴語言結(jié)合 ………… 二、Al智能眼鏡未來已來 、3、 1、Al智能眼鏡發(fā)展分類 2、Al智能眼鏡功能對比 20 2 22 維深wellsennXR專題報告：Al智能眼鏡白皮書三、Al智能眼鏡趨勢與展望 1、全球人口及視力受損人群規(guī)模龐大 254、全球眼鏡市場銷量及規(guī)模 27 7、中國太陽眼鏡銷量及規(guī)模 29智能眼鏡提供了廣闊的土壤 30 10l能眼鏡業(yè)鏈結(jié)構(gòu)成熟完善 32 圖表1:圖表1:A推動人類進入第四次工業(yè)革命圖表2:人工智能發(fā)展歷程圖表3:從判別式人工智能到生成式人工智能圖表4:從單一模態(tài)大模型到多模態(tài)大模型圖表5:ChatGPT發(fā)展開啟大模型競爭開端圖表6:海外大模型引領(lǐng)AI產(chǎn)業(yè)進化圖表7:中國大模型快速跟上圖表8:大模型競爭愈演愈烈圖表9:部分降價或免費使用的模型圖表10:AI賦能一切圖表11:AI賦能傳統(tǒng)消費電子圖表12:AI賦能新型消費電子圖表13:AI最好的載體—AI智能眼鏡圖表14:AI智能眼鏡與眼睛視覺結(jié)合圖表15:AI智能眼鏡與耳朵聽覺結(jié)合圖表16:Al智能眼鏡賦能視覺、聽覺、大腦圖表17:AI智能眼鏡關(guān)鍵技術(shù)特征圖表18:AI智能眼鏡交互方式圖表19:AI智能眼鏡構(gòu)建超級智能體圖表20:AI部署——端云協(xié)同圖表21:AI智能眼鏡發(fā)展分類圖表22:AI智能眼鏡功能對比圖表23:MCU級別SOC圖表24:系統(tǒng)級別SOc圖表25:帶攝像頭智能眼鏡方案圖表26:系統(tǒng)級SOC方案圖表27:MCU級SOC方案圖表28:SOC+MCU方案圖表29:Al智能眼鏡方案能力對比圖表30:帶攝像頭智能眼鏡基本功能和構(gòu)造圖表31:全球人口及視力受損人群規(guī)模圖表32:全球近視眼鏡銷量及規(guī)模圖表33:全球太陽眼鏡銷量及規(guī)模圖表34:全球眼鏡市場銷量及規(guī)模圖表35:中國人口及近視人群規(guī)模圖表36:中國近視眼鏡銷量及規(guī)模圖表37:中國太陽眼鏡銷量及規(guī)模圖表38:全球近視眼鏡+太陽鏡銷量圖表39:全球近視眼鏡+太陽鏡銷量圖表40:傳統(tǒng)眼鏡產(chǎn)業(yè)鏈圖表41:Al智能眼鏡產(chǎn)業(yè)鏈圖表42:在基礎(chǔ)眼鏡上做加法圖表43:基礎(chǔ)眼鏡發(fā)展方向圖表44:音頻功能發(fā)展方向圖表45:圖像功能發(fā)展方向圖表46:交互功能發(fā)展方向圖表47:傳感器發(fā)展方向圖表48:顯示功能發(fā)展方向圖表49:AR智能眼鏡集成多種硬件屬性圖表50:AI+AR智能眼鏡銷量規(guī)模和預(yù)測圖表51:傳統(tǒng)眼鏡銷量與智能眼鏡銷量(一)AI推動人類進入第四次工業(yè)革命18世紀21世紀第四次工業(yè)革命智能化，信息化的發(fā)展促進數(shù)據(jù)成為重要資源，以數(shù)據(jù)展開的機器人學、人工智能、量子電腦、生物科技、(工業(yè))物聯(lián)網(wǎng)、分散式共識、5G、全自動駕駛汽車(二)從簡單工作到深度學習，AI能力越來越強自然語言處理能力問題求解器、符向傳播國際象棋HiTech和(生成模型)奇諾克、國際象棋DeepBlue入知識圖譜(KnowledgeGraph)利用數(shù)據(jù)庫訓練得出決策依據(jù)和生成模型，實現(xiàn)創(chuàng)造性的生成能力，如文字編寫、圖像創(chuàng)人工智能的發(fā)展主要有三個階段：規(guī)則型人工智能階段、判別式人工智能階段以及生成式人960-1990年90年1990-2014年創(chuàng)造性內(nèi)容。可轉(zhuǎn)換成判別式模型●具有知識表示生成式模型是大語言模型建立的基石，通過生成式模型，大語言模型可生成并輸出文(三)AI產(chǎn)業(yè)快速發(fā)展6月11日預(yù)訓練數(shù)據(jù)量：改未公開架構(gòu)年5月13日2018年，基于生成式模型和TransfGPT1,該模型參數(shù)量1.17億，預(yù)訓練數(shù)據(jù)量4.5GB。經(jīng)過不斷的迭代改進，到2024年5月速促成了大量Al領(lǐng)域的關(guān)注和投資，到2023年1月就擁有了超過1億用戶，截至2023年12統(tǒng)計)。大橫型開增(2018-2020)大橫型探索(2020-2022)大模型熱潮(2022至今)2020年GPT-42018年是海外大模型競爭的開端，transformer框架的提出，推動了OpenAI的GPT-1和谷歌的BERT大模型發(fā)布，其中谷歌于2018年10月發(fā)布的3億參數(shù)BERT大模型表現(xiàn)尤為出色。到2020年，OpenAI已經(jīng)相繼發(fā)布了GPT-2,GPT-3,其中GPT-3大模型已達到了1750億參數(shù)。DALL-E,微軟和英偉達合作開發(fā)的自然語言生成模型MT-NLG,谷歌通用語言模型GLaM/PLaM,Midjourney開發(fā)的文本轉(zhuǎn)圖像模型Midjourney,開源文本轉(zhuǎn)圖像模型到2022年11月，OpenAI基于GPT-3.5模型的聊天機器人ChatGPT發(fā)布，迅速吸引各界目光投向人工智能領(lǐng)域，隨后大模型競爭迎來爆發(fā)期，更多的大模型推出。(關(guān)鍵(關(guān)鍵進展)OpenAl發(fā)布GPTMeto開源Loma2OpenA發(fā)布GPT-4Turbo.vo發(fā)布BueLMiniMax發(fā)布ABAB?華開源ChatGLM阿里云發(fā)布通義千問2022.122023.026月12月2024年1-2月2024年3-4月文心一言4.0等，截至2024年4月2日，我國已有117家生成式人工智能模型完成備案。①①文心一言安通義干問(O騰訊濕元訊K星火vivoBlueLMu云從科技從容大模型JDH京醫(yī)干詢汽AI大模型CPM-Bee文化/零售/交通文R螞蟻金融大模型軒輔大模型盤古大模型4ParadigmSogeGPTNISHIC回子曰閉源開源元象酯腦言行業(yè)大模型通用大模型部分領(lǐng)域出門問問血8截至2024年，完成備案的生成式人工智能模型已有117家，除此之外，還有大量未能完成備案的生成式人工智能，據(jù)不完全統(tǒng)計，國內(nèi)已有超300個生成式人工智能大模型。5、大模型競爭帶來價格競爭，促進商業(yè)化落地部分宣布降價或免費使用的模型下調(diào)價格的日期所屬公司DeepSeek-V20.0010.0025月6日深度求索5月11日智譜AI5月15日5月21日阿里云5月21日阿里云5月21日阿里云免費5月21日百度免費5月21日百度5月22日5月22日免費5月22日5月22日5月22日5月22日GPT-4oUS$500/1MtokensUS$1500/1Mtokens5月13日AlAl賦能一切▲07維深wellsennXR專題報告：Al智能眼鏡白皮書傳統(tǒng)消費電子傳統(tǒng)消費電子傳統(tǒng)消傳統(tǒng)消(1)AI賦能傳統(tǒng)消費電子費費電子電子AI耳機AI手機AI耳機AI手機AIPC(2)AI賦能新型消費電子傳統(tǒng)消費品+硬件AI牙刷AI鏡子AI枕頭新型電子硬件新型電子硬件傳統(tǒng)消費品+硬件，如：新型電子硬件，如：Humane推出AI新硬件AIPIN,內(nèi)置基于GPT-4的AI大模型，通過激光投影提供全新預(yù)計越來越多的AI新硬件推出，AI在積極部署AI應(yīng)用落地的同時，也在探索AI新物種載體，以全新的方式，為用戶帶來全新的Al智能體驗。3、Al智能眼鏡，Al最好的載體眼鏡是最靠近人體三大重要感官的穿戴設(shè)備：嘴巴、耳朵和眼睛。嘴巴是語言輸出器官、耳朵是語音接受的器官、眼睛則是人類最重要的信息攝入器官，人80%的信息來源于視覺。眼鏡是人類穿戴設(shè)備和電子設(shè)備中最靠近這三大感官的群體，是Al最好的硬件載體，可AI智能眼鏡O大腦大腦語言語言2023年10月初，微軟發(fā)布了基于GPT2023年10月初，微軟發(fā)布了基于GPT-4v言模型加上視覺感官后的大型多模態(tài)模型，主要研究了給大語言模型加上視覺處理后，對開放世界圖像理解、視覺描述、多模態(tài)知識、常識、場景文本理解、文檔推理、代碼編程、時間推理、抽象推理、情感推理等場景的應(yīng)對能力。計算機視覺被稱作是人工智能的眼睛，主要利用算法模型對輸入的圖像進行處理，提取信息。利用攝像頭進行圖像的捕獲，算法模型可以獲得大量的、實時的訓練數(shù)據(jù)。眼鏡作為輔助人眼睛接收圖像的一個載體，通過攝像頭的嵌入，可以實現(xiàn)計算機視覺和人類視覺的完美結(jié)合，人眼接收到圖像信息的同時，大模型也可以通過攝像頭獲取同樣視角的圖像信息。人眼接收信息，進行圖像處理，大模型接收信息，也進行圖像處理，并將處理后的信息反饋給用戶進行信息補充，為用戶提供全面的、實時的智能服務(wù)。在這種方案下，將計算機視覺與智能眼鏡結(jié)合起來無疑是最合理的方案；市場上已經(jīng)存在相應(yīng)的產(chǎn)品，如工業(yè)智能眼鏡，通過計算機視覺實現(xiàn)對工業(yè)產(chǎn)品的缺陷檢測；如小米智能配備攝像頭的眼鏡消費端企業(yè)端消費端現(xiàn)今人工智能最主流的交互之一是語音交互，通過語音與大模型進行交流，實時獲取大模型提供的推理分析，通過語音播報，用戶再無需緊盯著屏幕接收人工智能提供的信息，可以騰出手去處理其他的任務(wù)。音頻作為語音交互的輸出端，極大地方便了用戶獲取終端反饋合起來，則形成智能音頻眼鏡。用戶可以通過眼鏡去看、去聽，而內(nèi)置的人工智能大模型也為用戶帶來更豐富的體驗，用戶可通過語音與內(nèi)置的大模型進行交流，再通過揚聲器實時獲取人工智能大模型提供的信息，對于信息處理的方式更方便快捷。(3)與嘴巴語言結(jié)合語言作為人類日常生活最主要的交互手段之一，是信息輸出的主要途徑，而不同的語言之間存在差異，會導致信息的獲取變得艱難。AI賦能嘴巴/語言，以外界語音為信息輸入，通過算法對語音信息進行處理，實現(xiàn)實時翻譯、信息摘要、信息整理等功能。同時語音作為語音交互的輸入端，通過對獲取的語音信息處理，可以實現(xiàn)語音形式的指令輸入。通過將攝像頭、音頻、語言和眼鏡結(jié)合起來，則形成了Al智能眼鏡，如RayBan聯(lián)合(一)AI智能眼鏡的關(guān)鍵技術(shù)特征多模態(tài)交互多模態(tài)交互基礎(chǔ)服務(wù)隱私安全Al智能眼鏡特征4、多模態(tài)交互鄭觸摸語音顯示手勢眼動5、超級智能體工具工具感知超級智能體記憶記錄外界環(huán)境影響決策決策決定外界環(huán)境記錄感知外界環(huán)境影響決策決策驅(qū)使感知外界環(huán)境6、端云協(xié)同時延高時延高安全低功耗高性能高量級大成本低成本高算力低算力高量級小功耗低時延低性能低安全高云側(cè)端側(cè)·云側(cè)：主要從終端采集感知到的信息，包括聲音、視頻、圖像等數(shù)據(jù)通過網(wǎng)絡(luò)傳輸?shù)皆浦行倪M行數(shù)據(jù)處理，并將最終結(jié)果通過網(wǎng)絡(luò)呈現(xiàn)。云側(cè)的優(yōu)勢是資源高度集中，存儲和算力都十分強大，足以應(yīng)對超大量級的訓練數(shù)據(jù)，且訓練出的模型具有很高通用性。劣勢是不具備實時性，且有很高的滯后性，基于當下任務(wù)產(chǎn)生的數(shù)據(jù)訓練出的模型并不能及時解決當下的問題，且受制于網(wǎng)絡(luò)的限制，無論是數(shù)據(jù)交互還是模型調(diào)用也會有很大的延時，在隱私安全上還會有一定的風險，而對于構(gòu)建云中心高性能計算系統(tǒng)來說，訓練和使用成本也相對高?！ざ藗?cè)：指直接在終端對采集到的數(shù)據(jù)進行人工智能算法上的處理，而無需發(fā)送到云端或服務(wù)器。端側(cè)的優(yōu)勢在于可以第一時間處理得到的信息，加快了系統(tǒng)響應(yīng)的速度，且因為無需上傳數(shù)據(jù)，其隱私性和安全性也很高。在數(shù)據(jù)處理上，端側(cè)計算能高效地篩選有效信息進行處理，減輕網(wǎng)絡(luò)帶寬負擔的同時也緩解對云端中心數(shù)據(jù)存儲的壓力。且相對來說，端側(cè)AI的成本較低。而端側(cè)AI也有很大的局限性，在算力上，相比于云側(cè)，端側(cè)Al只能處理相對低量級的模型和數(shù)據(jù)，且對存儲、芯片傳輸能力、電池續(xù)航和功耗散熱·端云協(xié)同：目前最合理的方案是端云協(xié)同，端側(cè)側(cè)重感知執(zhí)行，可解決一些日常化、簡單的人工智能處理任務(wù)；云側(cè)側(cè)重規(guī)劃決策，可定期收集端側(cè)提供的數(shù)據(jù)，訓練優(yōu)化模型，并對端側(cè)AI進行迭代更新。整體上，端側(cè)AI可當作是云側(cè)AI的簡化版，滿足用戶日無論是云側(cè)Al還是端側(cè)AI,人工智能應(yīng)用的落地智能模型應(yīng)用的全生命周期，會有數(shù)據(jù)投毒、模型后門、對抗樣本、數(shù)據(jù)泄露、模型竊(二)AI智能眼鏡發(fā)展進度與分類支持定制近視鏡片以及支持選配定制近視鏡磁吸式墨鏡片或墨鏡片片或墨鏡片38.3g(不含鏡片)50g(含鏡片)119g(含鏡片)支持語音交互、不支持圖像識別和圖像識別和圖像識別交互能力語音交互、語音交互、2153元)起成本發(fā)售價699元起發(fā)售價299美元(約發(fā)售價4999元起2153元)起(三)帶攝像頭AI智能眼鏡方案總線總線電源管理系統(tǒng)電源管理系統(tǒng)藍牙通信系統(tǒng)前端FEM19維深wellsennXR專題報告：Al智能眼鏡白皮書MCU級別SOC以MCU內(nèi)核為中央處理單元，注重于低功耗下的功能應(yīng)用，多采用Cortex-A系列核心Cortex核心圖像系統(tǒng)總線視頻系統(tǒng)電源管理系統(tǒng)音頻系統(tǒng)WiFi藍牙系統(tǒng)前端FEN存儲器接口維深wellsennXR專題報告：Al智能眼鏡白皮書20△頻、視頻、拍攝、無線通訊帶攝像頭智能眼鏡方案系統(tǒng)級SOC方案MCU級SOC+ISP方案SOC方案成熟，集成度高，內(nèi)置的ISP、件模塊支持帶攝像頭頻、拍攝、藍牙等功能。集成度較低，需外接ISP芯片等功能芯片，可針對音頻、拍照、藍牙模塊等功能進行兼顧低功耗和高功耗模式，集成度基于系統(tǒng)調(diào)度可有效平衡續(xù)航時間。(1)系統(tǒng)級SOC方案系統(tǒng)級SOC方案邏輯框圖POGOPin充電芯片眼鏡狀態(tài)提示燈Comero拍攝狀態(tài)提示燈直接交互系統(tǒng)級PMC)光傳感器開合檢測爾傳感器▲21維深wellsennXR專題報告：Al智能眼鏡白皮書塊添加外接芯片實現(xiàn)相應(yīng)功功耗和高性能，以sOC以及口拍系統(tǒng)級示燈眼鏡狀態(tài)提示燈直接交互陀螺儀維深wellsennXR專題報告：Al智能眼鏡白皮書22▲4、Al智能眼鏡方案能力對比算力高低算力兼?zhèn)涓咚懔ΓС諰inux、低算力，支持RTOS等系算力高低算力兼?zhèn)銩I能力支持，高AI能力支持，低AI能力支持，高AI能力成本高低極高音頻支持支持支持攝影支持支持支持高，內(nèi)核頻率高，可為系統(tǒng)提供高性能計算能力，支持Linux、Android等分時操作系統(tǒng)的部署，并為AI應(yīng)用提供高性能算力，允許機器學習算法、計算機視覺等人工智能應(yīng)用的端側(cè)部署。同時集成的DSP、ISP可支持音頻、攝影等功能，通用性高，方案成熟。缺點是成本高，Codec音頻模塊，GPU、NPU或其他功能模塊，集成度低，內(nèi)核頻率低，更多功能的實現(xiàn)需要外部連接其他功能芯片。優(yōu)點是成本低，功耗低，定制化能力高。缺點是MCU內(nèi)核多采用Cortex-M系列核心的CPU,可提供的系統(tǒng)處理能力不高，只能支持RTOS等實時操作系統(tǒng)，并且集成的功能越多，對CPU負擔越重，對芯片設(shè)計能力要求越高，且方案相對不成熟。在SOC+MCU方案中，sOC可負責需要高計算能力的應(yīng)用場景，如支持分時操作系統(tǒng)，人工智能應(yīng)用，拍攝功能等；MCU可負責低計算能力的應(yīng)用場景，如音頻等。該方案下可實現(xiàn)合理的電源管理，延長設(shè)備運行時間，兼顧高低算力的應(yīng)用需求，可用性廣。缺點是成本(四)帶攝像頭AI智能眼鏡基本功能和結(jié)構(gòu)帶攝像頭的AI眼鏡主要集成了藍牙、眼鏡、相機等硬件的功能，其基本功能主要由音頻和視頻的功能組成，且因其眼鏡的結(jié)構(gòu)形式O相機O相機AI智能眼鏡同樣具有相機的基礎(chǔ)能眼鏡以第一人稱視角實現(xiàn)圖像且可提供攝像頭實現(xiàn)對周圍空間眼鏡近視、老花或太AI智能眼鏡集成麥克風，可提供通話等功能，并且可通過麥克風能力(一)傳統(tǒng)智能眼鏡行業(yè)基數(shù)龐大、市場廣闊20202021202220232024E2025E2026E2027E△25維深wellsennXR專題報告：Al智能眼鏡白皮書201920202021202220232024E2025E2026E2027E2028201920202021202220232024E2025E▲27維深wellsennXR專題報告：Al智能眼鏡白皮書■中國人口■中國近視人群14.614.614.614.614.614.614.614.614.6201920202021202220232024E2025E2026E2027E2028E2029E維深wellsennXR專題報告：Al智能眼鏡白皮書28201920202021202220232024E2025E2026E7、中國太陽眼鏡銷量及規(guī)?！?9維深wellsennXR專題報告：Al智能眼鏡白皮書根據(jù)wellsennXR數(shù)據(jù)整理及預(yù)測，2023年國內(nèi)眼鏡市場擺脫疫情陰霾，增長相對顯著,中國近視眼鏡+太陽眼鏡銷量約2.6億副，2024年增長速度放緩，中國近視眼鏡+太陽眼下游產(chǎn)業(yè)鏈在于眼鏡的銷售和售后，為用戶提供驗光、配鏡、試戴以及維修等專業(yè)服部分傳統(tǒng)眼鏡產(chǎn)業(yè)鏈結(jié)構(gòu)如下：明月鏡片中游下游境架原材imEI10、AI智能眼鏡產(chǎn)業(yè)鏈結(jié)構(gòu)成熟完善基礎(chǔ)眼鏡基礎(chǔ)眼鏡音頻眼鏡O--AR智能眼鏡O---基礎(chǔ)眼鏡：基礎(chǔ)眼鏡服務(wù)于最基礎(chǔ)的視覺需求，主要用于應(yīng)對近視、老花、遮陽等視覺效果，在視覺之外，眼鏡的設(shè)計也兼顧著用戶的時尚需求，可起到一定的美觀作用。音頻眼鏡：在基礎(chǔ)眼鏡的基礎(chǔ)上兼顧音頻需求，則成為音頻眼鏡，結(jié)合音頻能力，提供等復雜功能。如華為智能眼鏡等。拍照眼鏡：在音頻眼鏡的基礎(chǔ)上兼顧拍攝需求，則成為相機眼鏡，結(jié)合拍攝能力，可實現(xiàn)快速抓拍、第一視角記錄、短視頻拍攝、時光回溯等功能。如小米智能眼鏡相機。Al智能眼鏡：在相機眼鏡的基礎(chǔ)上兼顧Al需求，則成為Al智能眼鏡，Al為眼鏡提供強大AR智能眼鏡：在Al智能眼鏡的基礎(chǔ)上兼顧顯示需求，則成為AR智能眼鏡，結(jié)合顯示能基礎(chǔ)眼鏡的不斷迭代發(fā)展，在不同的功能上基礎(chǔ)眼鏡發(fā)展方向▲33維深wellsennXR專題報告：Al智能眼鏡白皮書性，重新設(shè)計新的外觀。重量上，現(xiàn)今的基礎(chǔ)眼鏡可以做到15-30g之間，但是集成了多種硬件，滿足了多種屬性的智能眼鏡則一般在50g以上，把智能眼鏡降到35g左右，可有效提升對智能眼鏡的佩戴體驗鏡片上，基礎(chǔ)眼鏡的鏡片主要用于近視、老花或墨鏡的視覺效果，但目前鏡片主要采用實現(xiàn)鏡片靈活變化是更合理的方案。(2)音頻全景環(huán)繞音頻全景環(huán)繞音頻定向音頻空間音頻音質(zhì)音質(zhì)上，由于智能眼鏡的音頻以開放式音腔為主，所以對音質(zhì)會有一定的影響，雖然可以通過算法去彌補部分的損失，但在信噪比、均衡器、音量、個性化音質(zhì)等方向上還有很大定向音頻，智能眼鏡的音頻功能以開放式音腔播放，所以在隱私上、音質(zhì)上會有一定的全景環(huán)繞音頻，通過模擬3D音頻效果，提供逼真的環(huán)繞音頻體驗?？臻g音頻則可以提供更加真實、逼真的空間感受，提供沉浸式音頻體驗，通過改進算法、硬件，空間音頻是未來智能眼鏡音頻體驗上的發(fā)展重點。(3)圖像圖像上，影響拍攝圖像的因素有很多，如像素、攝像頭數(shù)量、攝像頭模組大小、攝像頭光學模組、圖像處理算法等。維深wellsennXR專題報告：Al智能眼鏡白皮書34▲(4)交互(4)交互像素影響質(zhì)量像素影響質(zhì)量圖像算法影響最終輸出像素圖像算法模組大小空間拍攝空間拍攝提供新的體驗數(shù)量光學模組數(shù)量影響功能光學模組影響成像效果模組大小影響成品尺寸像素上，像素決定了攝像頭能夠捕捉的細節(jié)數(shù)量，像素越高，拍攝的圖像更