Vision Pro空間計算市場分析

VisionPro空間計算市場分析Visionpro哪里不一樣？VisionPro介紹硬件端亮點：M2+R1芯片；1.4英寸MicroOLED屏幕+3PPancake光學(xué)方案；12攝像頭+5傳感器+6麥克風(fēng)。堆料帶來的是極大的用戶體驗升級。設(shè)計端亮點：裸手+眼動+語音，趨于直覺的交互；Eyesight打破傳統(tǒng)社交隔閡；旋鈕調(diào)節(jié)+VST方案，防止現(xiàn)實信息丟失。軟件端亮點：我們認為開發(fā)者生態(tài)+蘋果全家桶或是最大護城河。硬件端：M2+R1雙芯片方案M2芯片是VisionPro的主處理器，主要用于運行visionOS、執(zhí)行計算機視覺算法等任務(wù)。基于ARM架構(gòu)，釆用臺積電5nm工藝，包含200億個晶體管，此前更多應(yīng)用在13寸MacBookPro、13寸和15寸MacBookAir(M2芯片機型）當(dāng)中。R1芯片與VisionPro同時發(fā)布，是一顆協(xié)處理器，專注于實時傳感器任務(wù)。它處理12個攝像頭、5個傳感器和6個麥克風(fēng)采集的數(shù)據(jù)，并在12毫秒之內(nèi)將圖像流式傳輸至顯示屏，從而讓我們在瀏覽真實世界的實時影像時，幾乎感受不到延遲。低延遲是影響頭顯體驗的核心要素：這將有助于減少消費者“眩暈”的可能性。如果人眼在戴著耳機四處走動時能檢測到延遲，可能會開始感到眩暈和惡心，而AppleR1芯片就是防止這種情況的發(fā)生。硬件端：MicroOLED+3PPancake光學(xué)方案蘋果VisionPro的外屏為柔性AMOLED，內(nèi)屏則是搭載了兩塊1.42英寸MicroOLED顯示屏。據(jù)蘋果官方的數(shù)據(jù)，這組MicroOLED顯示屏的像素密度約為3400PPI，擁有2300萬+像素，可提供單目4K級分辨率。相較于其他技術(shù)路徑，MicroOLED顯示屏具有自發(fā)光、能耗低和體積小等特性，可實現(xiàn)更高色域、分辨率及發(fā)光效率等優(yōu)勢，天然適配于近眼顯示設(shè)備。究其原因，MicroOLED采用單晶硅晶圓為背板，是在用造芯片的技術(shù)造屏幕。蘋果VisionPro的光學(xué)方案，選用的是目前逐漸成為主流的Pancake折疊光路透鏡，不一樣的點是，VisionPro采用了3PPancake設(shè)計。XR光學(xué)透鏡發(fā)展路徑基本可以視作單一路徑的不斷演化：非球面透鏡——菲涅爾透鏡——Pancake折疊光路。Pancake較之菲涅爾透鏡，更加輕薄化，成像效果更好。相比于1P、2PPancake，3PPancake可實現(xiàn)清晰度更高、畸變/鬼影更低、色差更小。VR行業(yè)常用每1°視野中像素點（角分辨率，PPD）綜合評判頭戴設(shè)備的顯示效果，達到人眼的效果需要到60?，F(xiàn)在的設(shè)備普遍只有20左右，而VisionPro做到了40。硬件端：12攝像頭+5傳感器，多傳感器為感知和交互提供基礎(chǔ)由于蘋果VisionPro選擇采用手、眼、口結(jié)合的自然交互方式，以及對于VST透視功能的較強需求，VisionPro在傳感器上足足配置了12路攝像頭和5路專用傳感器。傳感器包括以下幾類：RGB攝像頭，紅外攝像頭，dToF激光雷達，結(jié)構(gòu)光相機，以及魚眼紅外攝像頭。設(shè)計端：眼動+裸手+語音，趨于直覺的交互方式VisionPro，采取的是“手+眼+口”的自然交互模式，且這套交互模式是自成體系，相互可協(xié)同的。手勢交互：不僅限于去手柄，更是脫離視覺范圍的交互?；诙喾轿粩z像頭，用戶把手放在腿上，VisionPro也能識別操作指令。手勢操作被設(shè)計的簡單自然，捏合手指就能選擇，輕拂可以滾動，手眼的組合還能呈現(xiàn)出用意念控制一般的感覺。眼動追蹤：當(dāng)眼睛注視到瀏覽器搜索框時，搜索框即進入聽寫輸入狀態(tài)，此時只需語音說出想要檢索的內(nèi)容，即可自動鍵入文本，進而進行搜索。從深層次的交互邏輯來說，VisionPro采取了趨于直覺的交互方式：傳統(tǒng)的手柄操控模式下，“查找”、“選擇”、“確認”等人機交互，只能單線程處理，即查找應(yīng)用、選中圖標(biāo)、點擊確認，是需要按流程一步步完成的。但就正常的人類交互邏輯來看，這些事情是可以多線程同步完成的。VisionPro致力的人機交互邏輯，則是通過三維的交互方式，實現(xiàn)一步到位。應(yīng)用端：我們預(yù)計開發(fā)者生態(tài)+蘋果全家桶或是最大護城河移植蘋果生態(tài)：VisionPro搭載的VisionOS建基于MacOS、iOS和iPadOS之上，這一點為VisionPro可以正常使用蘋果生態(tài)內(nèi)的App提供了天然優(yōu)勢。VisionPro的開發(fā)團隊也一直在致力于使AppStore中“數(shù)以百萬計”的應(yīng)用程序能夠兼容VisionOS。值得一提的是，前些日子的微信iOS版本更新中，也明確表示可visionOS1.0系統(tǒng)。開發(fā)者生態(tài)：目前，全球共有8個VisionPro開發(fā)者實驗室投入使用，所在地包括：上海、庫比蒂諾、倫敦、慕尼黑、新加坡、東京、紐約和悉尼。ARKit：7年時間已為蘋果儲備超過14000款A(yù)R應(yīng)用。我們認為背后培養(yǎng)的大量AR開發(fā)者，以及所完成的用戶教育，將成為蘋果MR眼鏡內(nèi)容生態(tài)的巨大財富?？臻g計算：歷史新起點空間計算：人機交互由2D升維到3D類比Mac將用戶帶入到個人計算時代，Iphone將用戶帶入移動計算時代，我們預(yù)計AppleVisionPro有望帶領(lǐng)用戶進入空間計算時代?？臻g計算(spatialcomputing)技術(shù)可以參照現(xiàn)實的物理世界構(gòu)建一個數(shù)字孿生世界，將現(xiàn)實的物理世界與數(shù)字的虛擬世界連接在一起。使我們能夠進入并且操控3D空間，并用更多的信息和經(jīng)驗來增強現(xiàn)實世界。通俗點說，就是人機交互由2D升維到3D，現(xiàn)實+虛擬+人三者進行交互，本質(zhì)上是拓展信息輸入和輸出的邊界。我們認為，空間計算的基礎(chǔ)是強感知+強交互+強計算+強顯示。空間計算：VisionOS，專為空間計算打造的操作系統(tǒng)VisionOS，基于macOS、iOS和iPadOS的基礎(chǔ)構(gòu)建。新增了空間計算支持：實時執(zhí)行引擎-可擔(dān)當(dāng)高性能需求任務(wù)；多應(yīng)用3D引擎-讓不同的應(yīng)用同時在一個3D空間中運行；動態(tài)注視點渲染管線-確保每一幀眼鏡注視的地方都有最優(yōu)的圖像質(zhì)量；給現(xiàn)有應(yīng)用支持空間體驗做拓展。定位：徹底為空間計算打造的操作系統(tǒng)?？赡苡楷F(xiàn)KillerApp的賽道空間視頻/相機：盡管還未發(fā)售，但一眾開發(fā)者、媒體人在體驗過VisionPro之后，大部分人都不約而同提到了一個概念：VisionPro的空間視頻，更像是回憶而不是視頻。簡單來說，VisionPro并不像傳統(tǒng)VR頭顯那樣過分強調(diào)虛擬現(xiàn)實的沉浸感，空間視頻是以真實空間為核心，以“真”亂真。Iphone15pro+三方軟件，將為空間視頻帶來平民時代。以往3D拍攝需要專業(yè)的設(shè)備和技術(shù)，只有影視制作公司或?qū)I(yè)機構(gòu)、攝影師才能完成，而且成本高昂，播放方式也受限。這導(dǎo)致了3D視頻內(nèi)容的供給相對稀缺，主要以PGC（專業(yè)生產(chǎn)內(nèi)容）為主，而UGC（用戶生產(chǎn)內(nèi)容）近乎沒有，很少流通。iPhone15Pro空間視頻拍攝功能的出現(xiàn)，打破了這種局面，讓3D拍攝的門檻降低到了手機，讓普通用戶也可以輕松拍攝出具有立體感和逼真感的視頻，從而有利于促進UGC的發(fā)展，不僅可以豐富視頻內(nèi)容的多樣性，也可以激發(fā)用戶的創(chuàng)造力和參與度。穿透關(guān)鍵零部件，洞察未來趨勢對比MetaQuest3/Pro和Pico4，可以看出AppleVisionPro綜合成本構(gòu)成中主要差異的部件在于屏幕和芯片。芯片絕對成本并不比其他旗艦頭顯低，但自研仍有一定優(yōu)勢，同時VisionPro加大了對顯示硬件的投入。屏幕：MicroOLED為中短期主流方案，12寸成本優(yōu)勢明顯VisionPro的屏幕像素顯著升級，但距離理想的XR屏幕仍有較大差距。以單目像素趨近8K，PPD接近人眼標(biāo)準(zhǔn)60的水平來看，當(dāng)前方案仍有2-3年距離。對于VR頭顯來說，MicroOLED更高的PPD、高亮度、高分辨率、高填充系數(shù)、更高的效率和更長的壽命能力更能滿足屏幕的需求。YOLE預(yù)測，在VR/AR顯示技術(shù)上，2026年之前很難有相對成熟的MicroLED商業(yè)方案落地。光學(xué)方案：Pancake由單透鏡向貼合式三透鏡演進Pancake光學(xué)方案是一種折疊光路方案。基于Pancake光學(xué)方案的VR眼鏡，顯示屏發(fā)出的光束進入半反半透功能的鏡片BS(分束鏡/半反半透膜)之后，光線在鏡片、四分之一波片以及反射式偏振膜之間多次折返，最終從反射式偏振膜射出進入人眼。相比傳統(tǒng)的三片式Pancake光學(xué)方案，AVP的貼合三片式Pancake光學(xué)方案的間距更小。從AVP的Pancake結(jié)構(gòu)圖中，有兩片透鏡采用非規(guī)則設(shè)計，靠近顯示屏的透鏡頂部薄、中間厚，中間的透鏡頂部厚、中間薄，并且這兩個透鏡都具有旋轉(zhuǎn)對稱性。芯片：協(xié)處理器優(yōu)勢明顯從交互算法到數(shù)據(jù)傳輸再到顯示渲染，協(xié)處理器將會顯著改善VR/AR設(shè)備的延遲與功耗。延遲這一參數(shù)主要取決于3個因素，一是交互算法，其中頭部空間定位主要取決于SLAM技術(shù)；二是數(shù)據(jù)傳輸；三是顯示渲染。在有協(xié)處理器的情況下，SLAM視覺鏈路延遲會降低至13-14毫秒，這帶來最大的好處是IMU積分的時間大幅縮短，對于諸如加速度器這樣需要二次積分的傳感器來說，不僅能提升傳輸精度，還能有效降低抖動。傳感器：新交互與新功能帶來新增量蘋果的手眼交互模式對傳感器數(shù)量有較高的要求。如前文所說，VisionPro的手勢互動不必要在頭顯正前方，這意味著傳感器的必然增加，比如向下的兩個紅外攝像頭，比如結(jié)構(gòu)光相機用來支持前向區(qū)域的精細手勢追蹤。AVP的VST功能也對傳感器提出了新要求。通過前向高像素VST攝像頭代替人眼對外部真實環(huán)境進行拍攝，再通過VST技術(shù)將拍攝的畫面顯示在左右眼兩個顯示區(qū)域。為了實現(xiàn)VST和虛擬界面的最佳融合，虛擬陰影的最佳投射效果，需要由LiDAR提供外部真實環(huán)境的深度信息來實現(xiàn)最佳比例的透視關(guān)系。不僅僅是終端頭顯設(shè)備，上游的內(nèi)容生產(chǎn)設(shè)備對3D影像硬件的需求也會隨之增加。比如蘋果公司早早的就在iPhone中加入dToFLiDAR和結(jié)構(gòu)光相機，用以支持手機端生產(chǎn)3D內(nèi)容。散熱：石墨烯性能優(yōu)異，從手機進入頭顯散熱性能是影響頭顯體驗的核心要素之一。越是計算性能強悍的芯片，其發(fā)熱問題就越需要引起重視，M2芯片帶來強力算力的同時，Visio