版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)
文檔簡介
證券研究報告
行業(yè)動態(tài)報告端側(cè)AI變革將至,迎接AIPC/Phone時代發(fā)布日期:2023年11月7日核心觀點(diǎn)
核心觀點(diǎn):端側(cè)AI是AI發(fā)展下一階段,其具備獨(dú)立性、低時延等性能,能夠完成各種AI推理任務(wù),大模型小型化、端側(cè)AI框架開源等為終端硬件承載AI算法提供了可能;端側(cè)AI芯片性能提升,存儲、模組等升級打通了終端硬件運(yùn)行AI算法的道路。AI
PC、AI
Phone作為端側(cè)AI的核心持續(xù)向前發(fā)展,近期英特爾、高通、聯(lián)想等國內(nèi)外廠商持續(xù)發(fā)布相關(guān)產(chǎn)品、戰(zhàn)略規(guī)劃,打造智能終端的同時也完善相關(guān)產(chǎn)業(yè)生態(tài),我們看好端側(cè)AI產(chǎn)業(yè)進(jìn)展。
端側(cè)AI是AI發(fā)展下一階段,大模型輕量化等技術(shù)推進(jìn)端側(cè)AI發(fā)展。端側(cè)AI具備安全性、獨(dú)立性、低時延、高可靠性等特點(diǎn),能很好地完成各種AI推理任務(wù)。目前,多個大模型均已推出“小型化”和“場景化”版本,其輕量化提供了端側(cè)運(yùn)行基礎(chǔ)。此外,對于數(shù)據(jù)精度例如INT4、INT8的支持優(yōu)化、ExecuTorch等AI框架的開源,為端側(cè)AI進(jìn)展鋪平道路。
端側(cè)AI核心在于手機(jī)和PC,AI
Phone和AI
PC將開啟新時代。從今年2月份舉行的世界移動通信大會,高通展示了其手機(jī)端離線運(yùn)行大模型,到5月份微軟開發(fā)者大會高通展示其PC運(yùn)行AI大模型,再到近期英特爾、聯(lián)想等發(fā)布AI
PC加速計劃、發(fā)布首款A(yù)I
PC等,可以看出,國內(nèi)外廠商持續(xù)發(fā)力AI
Phone和AI
PC,端側(cè)AI將走入新的時代。
AI
PC核心升級在于芯片。AI
PC不同于傳統(tǒng)PC的主要之處在于其SoC芯片中要有AI模塊,通過AI芯片中的NPU等模塊為硬件終端提供算力支撐,從而運(yùn)行端側(cè)AI大模型。過去PC芯片主要是以Intel為代表的x86架構(gòu)芯片,AIPC的提出要求了SOC芯片有AI算力,在端側(cè)AI推理能力方面,過去手機(jī)上就搭載了NPU,高通經(jīng)驗(yàn)積累深厚,Intel的筆記本芯片則是CPU+GPU。生態(tài)上,Windows也開始全力支持ARM體系,自去年開始了多輪支持Arm架構(gòu)芯片的操作系統(tǒng)更新,高通大概率會在PC市場上拿到部分份額。除芯片外,DRAM、計算模組等有望迎來新的升級與市場機(jī)遇。
我們看好端側(cè)AI產(chǎn)業(yè)進(jìn)展,尤其是AI
Phone和AI
PC領(lǐng)域,其已有相關(guān)產(chǎn)品落地,將傳統(tǒng)PC、Phone結(jié)合上AI能力有望帶動整個PC、Phone產(chǎn)業(yè)鏈復(fù)蘇;通過將大模型賦能終端硬件,AI應(yīng)用浪潮將有望開啟。端側(cè)AI是AI發(fā)展下一階段?
端側(cè)智能化的核心在于數(shù)據(jù)、底層軟硬件、智能力三個方面。端側(cè)設(shè)備搭載的傳感器、芯片、算法模型賦予其數(shù)據(jù)采集、計算、分析與推理能力,使其能夠在端側(cè)完成數(shù)據(jù)處理閉環(huán),形成感知、計算、推理三個智能力。?
當(dāng)前云側(cè)AI呈現(xiàn)向端側(cè)AI的轉(zhuǎn)型趨勢。端側(cè)運(yùn)行具備四大優(yōu)勢:(1)通過終端獨(dú)立運(yùn)行以及云-端協(xié)同承擔(dān)計算負(fù)載,可大大降低云端算力需求及能耗成本;(2)解決“弱網(wǎng)”“溢云”等極端場景使用難題,保證低時延、高可靠性;(3)強(qiáng)隱私保護(hù)性和強(qiáng)定制性,可生成專有用戶畫像;(4)具有自然語言語音交互的天然優(yōu)勢,可以便捷地獲取圖片、照片、視頻、位置等信息,優(yōu)化使用體驗(yàn)。圖表:端側(cè)AI是必然趨勢圖表:端側(cè)智能化要素資料:創(chuàng)業(yè)邦,中信建投端側(cè)AI在于AIPhone與AIPC?
2023年2月,在于巴塞羅那舉行的世界移動通信大會(MWC)上,高通展示了全球首個在安卓手機(jī)上跑AI畫圖大模型的能力。高通AI
Research利用高通AI軟件棧(Qualcomm
AI
Stack)執(zhí)行全棧AI優(yōu)化,并且首次在Android智能手機(jī)上部署Stable
Diffusion。?
首先,為了將模型從FP32壓縮至INT8,該團(tuán)隊(duì)使用了高通AI模型增效工具包(AIMET)的訓(xùn)練后量化,使模型在高通專用AI硬件上高效運(yùn)行,在提高性能的同時降低內(nèi)存帶寬消耗。在編譯方面,該團(tuán)隊(duì)利用高通AI引擎Direct框架將神經(jīng)網(wǎng)絡(luò)映射到能夠在目標(biāo)硬件上高效運(yùn)行的程序中。最后,高通AI引擎Direct框架基于高通Hexagon處理器的硬件架構(gòu)和內(nèi)存層級進(jìn)行序列運(yùn)算,從而提升性能并最小化內(nèi)存溢出。這一全棧優(yōu)化最終讓Stable
Diffusion能夠在智能手機(jī)上運(yùn)行,在15秒內(nèi)執(zhí)行20步推理,生成一張512x512像素的圖像。這是在智能手機(jī)上最快的推理速度,且用戶文本輸入完全不受限制。圖表:高通在安卓手機(jī)上進(jìn)行StableDiffusion演示圖表:高通全棧AI優(yōu)化資料:高通,中信建投端側(cè)AI在于AIPhone與AIPC?
在微軟Build2023開發(fā)者大會期間,高通展示了其最新的終端側(cè)AI能力,包括驍龍平臺上運(yùn)行生成式AI以及支持在下一代Windows
11PC上開發(fā)生成式AI的工具。?
此次高通發(fā)布的重點(diǎn)在其驍龍8cx
Gen
3上。高通展示了集成Hexagon運(yùn)算單元的驍龍8cx
Gen3在本地運(yùn)行的優(yōu)秀表現(xiàn),并且為了進(jìn)一步推動其發(fā)展,高通開放了AI引擎Direct
SDK,讓任何開發(fā)者都可以充分利用該硬件進(jìn)行加速。高通使用集成驍龍8cx
Gen
3的聯(lián)想ThinkPad
X13s進(jìn)行了相關(guān)展示。?
10月25日,高通在2023驍龍峰會上正式發(fā)布了首款基于自研CPU架構(gòu)“Oryon”的PC平臺方案——驍龍X
Elite,可運(yùn)行包括大語言模型(LLM)在內(nèi)的130億參數(shù)大模型,進(jìn)一步優(yōu)化自研AI芯片業(yè)態(tài)。根據(jù)高通公布數(shù)據(jù),驍龍X
Elite單核性能強(qiáng)于蘋果M2
Max、英特爾i9-13980HX,能耗還更低,分別降低30%、65%。圖表:在搭載高通芯片的PC上運(yùn)行StableDiffusion圖表:在搭載高通芯片的PC上加速圖像處理資料:高通,中信建投AI+PC/Phone能大幅提升手機(jī)/電腦性能體驗(yàn)?
AI
Phone方面,小米14/14
Pro搭載相關(guān)大模型,無需聯(lián)網(wǎng),可本地端實(shí)現(xiàn)AI畫圖、智能問答、AI寫作等功能,例如根據(jù)語音、文字指示生成對應(yīng)文本甚至程序代碼,可細(xì)化到APP定制文案;另外,也可根據(jù)用戶瀏覽記錄、工作內(nèi)容生成配套的總結(jié)和推送;在美圖方面,配備了AI摳圖和修圖技術(shù),可自動替換背景、美化人像,并進(jìn)行多APP互動;在用戶進(jìn)行休閑游戲體驗(yàn)時,可自動修改為性能模式,實(shí)時配套幀率;最后,小米14系列手機(jī)也是HyperOS系統(tǒng)產(chǎn)品,可實(shí)現(xiàn)與小米旗下的家居互聯(lián),自動調(diào)控小米音箱、洗衣機(jī)等。?
AI
PC方面,在2023
聯(lián)想Tech
World創(chuàng)新科技大會中,進(jìn)行了端側(cè)大模型與云端大模型的比較。兩個模型同時進(jìn)行斯德哥爾摩音樂節(jié)的規(guī)劃,生成速度差異不大。值得注意的是,端側(cè)AI的規(guī)劃內(nèi)容更加個性化,可以將家庭地址、酒店偏好等考慮進(jìn)去。圖表:小米HyperOS及14系列支持大模型框架應(yīng)用圖表:聯(lián)想PC大模型與云端大模型并列演示資料:小米,聯(lián)想,中信建投AI+Phone/PC&需求回暖有望逆轉(zhuǎn)行業(yè)頹勢?
疫情以來,由于消費(fèi)需求疲軟和庫存調(diào)整,全球智能手機(jī)出貨量下滑,2023年前三季度為8.4億部,僅為2022年同期的85%,但可以看出,22年年底以來,全球智能手機(jī)銷量下降幅度開始縮窄,今年三季度,全球智能手機(jī)銷量重回正增長;另一方面,從微軟財報可以看到,其個人電腦業(yè)務(wù),也在24財年1季度(23Q3)實(shí)現(xiàn)同比正增長,這也是從23財年2季度以來微軟個人電腦業(yè)務(wù)重新回歸正增長。?
可以看到全球手機(jī)與電腦業(yè)務(wù)有復(fù)蘇跡象,預(yù)計AI+Phone/PC能進(jìn)一步推動行業(yè)頹勢逆轉(zhuǎn)的同時也有助于帶動其自身起量。圖表:全球智能手機(jī)銷量從21年Q3以來重回同比正增長圖表:微軟個人電腦業(yè)務(wù)時隔四個季度重回正增長生產(chǎn)力及業(yè)務(wù)流程智能云個人電腦4504003503002502001501005050%40%30%20%10%0%生產(chǎn)力及業(yè)務(wù)流程YoY智能云YoY個人電腦YoY3002502001501005040%30%20%10%0%15%12%11%3%2%0.3%0%-4%-9%-10%-20%-30%-10%-20%-30%-19%00資料:Wind,微軟,中信建投大模型輕量化帶動端側(cè)AI發(fā)展?
模型壓縮主要包括模型量化(Model
Quantization)、知識蒸餾(knowledge
distillation)、模型剪枝(Model
Pruning)、低秩適應(yīng)(Low-Rank
Adaptation)、權(quán)值共享(weight
sharing)、結(jié)構(gòu)搜索(architecture
search)等方式。目前,多個大模型均已推出“小型化”和“場景化”版本,其輕量化提供了端側(cè)運(yùn)行基礎(chǔ)。例如,Google
PaLM2中包含4個大模型,按照參數(shù)規(guī)模,從小到大排列為:獨(dú)角獸(Unicorn)、野牛(Bison)、水獺(Otter)和壁虎(Gecko)。其中,最輕量的“壁虎”可實(shí)現(xiàn)手機(jī)端運(yùn)行,且速度足夠快,不聯(lián)網(wǎng)也能正常工作。?
另一方面,“小型化”大模型加速生成式AI垂直方向發(fā)展,加速大模型商業(yè)化場景落地。“小型化”大模型的優(yōu)勢包括:(1)可降低訓(xùn)練門檻,降低高算力高投入,吸引更多公司參與;(2)聚焦專業(yè)領(lǐng)域,利于提高數(shù)據(jù)集質(zhì)量,加速生成式AI訓(xùn)練品質(zhì);(3)更容易將大模型與垂直行業(yè)需求結(jié)合,發(fā)揮出行業(yè)應(yīng)用價值。圖表:百度文心
ERNIE3.0Tinyv2壓縮模式及得分比較圖表:大模型小型化模型名字PaLM2小型化版本GeckoLLaMA-7BAlpaca-LORAAlbertBertTinyBertHFL/RBT3文心一言ChatGLM文心
ERNIE3.0Tinyv2ChatGLM-6BBioMedGPTBioMedGPT-1.6B資料:百度,中信建投支持INT4、INT8精度推理,端側(cè)AI能力進(jìn)一步提升?
定點(diǎn)表示和浮點(diǎn)表示是計算機(jī)中常用的數(shù)據(jù)格式。其中,定點(diǎn)表示中小數(shù)點(diǎn)位置固定不變,常用的定點(diǎn)表示有INT4和INT8;浮點(diǎn)表示中包括符號位、階碼部分、尾數(shù)部分。符號位決定數(shù)值正負(fù),階碼部分決定數(shù)值表示范圍,尾數(shù)部分決定數(shù)值表示精FP64(雙精度)、FP32
(單精度)、FP16(半精度)的數(shù)值表示范圍和表示精度依次下降,運(yùn)算效率依次提升。?
端側(cè)AI使用INT整數(shù)精度進(jìn)行推理,能夠有效提升能效和AI推理速度。高通產(chǎn)品管理副總裁Asghar曾表示如果將32位浮點(diǎn)模型轉(zhuǎn)化為INT4整數(shù)模型,端側(cè)AI能效將提升64倍。為滿足端側(cè)AI的計算需求,業(yè)內(nèi)已有產(chǎn)品支持AI模型以INT精度推理,例如高通人工智能引擎AI
Engine支持INT8的數(shù)據(jù)格式。圖表:
不同應(yīng)用場景的常見數(shù)據(jù)格式圖表:不同數(shù)據(jù)格式的構(gòu)成和用途數(shù)據(jù)格式構(gòu)成用途FP641位符號、11位指
常用于對精度要求高的科學(xué)計算科學(xué)計算:FP64、FP32數(shù)、52位尾數(shù)FP32TF32FP16BF16INT81位符號、8位指數(shù)、23位尾數(shù)深度學(xué)習(xí)模型訓(xùn)練的常見格式運(yùn)算效率逐漸提升數(shù)值精度逐漸提升1位符號、8位指數(shù)、10位尾數(shù)替代FP32數(shù)據(jù)格式實(shí)現(xiàn)深度學(xué)習(xí)和HPC計算加速AI推理:AI訓(xùn)練:FP321位符號、5位指數(shù)、10位尾數(shù)深度學(xué)習(xí)越來越偏向使用FP16FP16FP8INT8TF32FP161位符號、8位指數(shù)、7位尾數(shù)提升AI模型的推理速度和部署靈活性8個bit表示一個
INT8精度相對較低,常用于數(shù)字
AI模型的端側(cè)推理資料:英偉達(dá),量子位,中信建投PyTorch開源ExecuTorch,相關(guān)AI框架已支持端側(cè)運(yùn)行?
在2023年P(guān)yTorch大會上,Meta
AI與PyTorch基金會合作的ExecuTorch模型被宣布可在邊緣和移動設(shè)備上實(shí)現(xiàn)AI推理。隨著ExecuTorch的開源,AI應(yīng)用程序?qū)⒖蓪?shí)現(xiàn)本地運(yùn)行,無需連接到服務(wù)器或云。ExecuTorch可被理解成PyTorch平臺,提供基礎(chǔ)設(shè)施來運(yùn)行PyTorch程序,實(shí)現(xiàn)從AR/VR可穿戴設(shè)備到標(biāo)準(zhǔn)的iOS和Android設(shè)備的移動部署。?
ExecuTorch有三大優(yōu)勢:(1)可移植性,能夠在移動和嵌入式設(shè)備上運(yùn)行;(2)提高開發(fā)人員的工作效率。開發(fā)人員能夠使用相同的工具鏈和SDK,從而提高生產(chǎn)力;(3)高性能體驗(yàn)。輕量級運(yùn)行配合充分利用CPU、NPU和DSP等硬件功能,為最終用戶提供了無縫和高性能的體驗(yàn)。?
目前,Meta已將其用于最新一代的雷朋智能眼鏡,成為Quest
3VR頭顯的組成部分。這一變化也預(yù)示將PyTorch引入了手機(jī)和可穿戴設(shè)備等邊緣計算平臺,進(jìn)一步邁入設(shè)備AI推理新時代。圖表:ExecuTorch開源AI推理解決方案圖表:Meta將ExecuTorch模型應(yīng)用于Quest3頭顯資料:PyTorch,venturebeat,中信建投ARM全球/中國生態(tài)未來展望?
PC端Arm生態(tài)構(gòu)建、性能滿足要求:1)軟件生態(tài)構(gòu)建:解決了之前應(yīng)用程序稀缺的問題,最新windows11
Arm支持64位版本;2)滿足性能要求:蘋果筆記本已經(jīng)證明Arm
芯片在PC上的實(shí)力;3)高通與windows
Arm版本深度合作。?
Arm
PC優(yōu)勢:更低的功耗、跨終端協(xié)同,微軟Arm轉(zhuǎn)型旨在使Windows可以跨平臺;圖表:PC芯片關(guān)鍵因素PC芯片關(guān)鍵因素能不能用好不好用AI計算能力
性能及軟件生態(tài)
性價比、時延、功耗圖表:蘋果歷史上的三次電腦架構(gòu)遷移1994年2005年2020年摩托羅拉68000架構(gòu)PowerPCIntelX86ArmIntel處理器的能耗顯著低于IBM的PowerPC對Intel產(chǎn)品研發(fā)進(jìn)度和質(zhì)量不滿,1983年,采用摩托羅拉的Macintosh1990年代,采用Power
PC的蘋果Mac
G52005年,采用Intel的蘋果Macbook2020年,采用AppleSilicon的蘋果電腦資料:蘋果,中信建投AIPC/Phone主要在于AI芯片升級?
AI
PC/Phone相對于原有PC/Phone來說,主要是其搭載了相關(guān)的AI芯片。云端在深度學(xué)習(xí)的訓(xùn)練階段需要極大的數(shù)據(jù)量和大運(yùn)算量,為滿足運(yùn)算需求,云端AI芯片采用“CPU+加速芯片”的異構(gòu)計算模式。不同于數(shù)據(jù)中心GPU,手機(jī)/電腦端芯片主要要求其體積小、功耗低等特點(diǎn),往往是采用ASIC技術(shù)路線的芯片,這種芯片為專用目的設(shè)計,面向特定用戶需求定制,在大規(guī)模量產(chǎn)的情況下具備體積更小、功耗更低等優(yōu)點(diǎn)。?
手機(jī)AI芯片主要由“CPU+GPU+NPU”構(gòu)成,通過集成多個模塊,做到提升芯片性能的同時能支持相關(guān)AI應(yīng)用算法。例如,以高通AI芯片為例,硬件方面HEXAGON向量處理器可以運(yùn)行涉及向量數(shù)學(xué)的應(yīng)用;ADRENO
GPU運(yùn)行對浮點(diǎn)精度有要求的應(yīng)用;KRYO
CPU支持相對較少向量處理、非規(guī)則性數(shù)據(jù)結(jié)構(gòu)和/或復(fù)雜流程控制的應(yīng)用。圖表:云端AI芯片和端側(cè)AI芯片技術(shù)路線對比圖表:高通Hexagon處理器及其功能示意圖靈活性成本編程語言/架構(gòu)功耗主要應(yīng)用場景定制化程度通用性主要優(yōu)點(diǎn)主要缺點(diǎn)CUDA、OpenCL等峰值計算能
效率不高,不力強(qiáng),產(chǎn)品
可編輯,功耗云端訓(xùn)練,云端推理GPU好高低大小成熟高前期投入成本高,不可編輯,
終端推平均性能很強(qiáng),功耗很低,體積小ASIC定制化不好/研發(fā)時間長,技術(shù)風(fēng)險大理資料:高通,量子位,中信建投整合NPU的AIPC芯片正持續(xù)發(fā)布?
近年來,多家芯片制造商積極整合NPU到其處理器中,以加速AI任務(wù)的執(zhí)行。最早發(fā)力的蘋果在其M1和M2芯片中成功整合了NPU,其中M2
Ultra處理器可提供高達(dá)31.6
TOPS的算力。同使用OpenAI
Whisper語音轉(zhuǎn)錄small模型,M2
MacBook可在數(shù)分鐘內(nèi)完成工作,而搭載Intel
Core
i5的MacBook則需2小時。在處理生成式AI工作負(fù)載的性能方面,蘋果Arm處理器比一般x86處理器表現(xiàn)更好。?
當(dāng)前AMD和Intel兩大x86處理器制造商也陸續(xù)推出內(nèi)建NPU的處理器。今年上半年AMD發(fā)布Ryzen
7040系列處理器,采用XDNA技術(shù),整合NPU,提供10
TOPS的AI算力,適用于語音辨識和影像處理等AI任務(wù);今年9月,英特爾發(fā)布Meteor
Lake的移動PC處理器Core
Ultra,具備低功耗和高性能特性,同時是首款內(nèi)建NPU可加速AI推理的AI應(yīng)用處理器,也是英特爾首款專注于AI
PC體驗(yàn)的處理器產(chǎn)品。圖表:蘋果M3系列芯片架構(gòu)和能效雙重提升圖表:Intel首款集成式NPU芯片示意圖資料:Intel,蘋果,中信建投DRAM存儲也是升級要素之一?
生成式AI模型植入到端側(cè)設(shè)備中運(yùn)行一個很重要指標(biāo)是平均數(shù)據(jù)速率,這需要消耗大量內(nèi)存計算,對于終端設(shè)備的DRAM等內(nèi)存硬件設(shè)備要求較高。例如,70億參數(shù)規(guī)模的LLaMA模型,其FP16版本大小為14GB,而移動設(shè)備僅有不到10GB內(nèi)存,因此通過訓(xùn)練時間優(yōu)化(如稀疏化、量化或權(quán)重聚類)來壓縮相關(guān)模型才能使其運(yùn)行在移動設(shè)備中,而衡量其性能指標(biāo)的平均數(shù)據(jù)速率提升,涉及到DRAM到SRAM等一系列讀取的過程。?
Snorkel與斯坦福大學(xué)曾提出FlashAttention,通過優(yōu)化DRAM等內(nèi)存使用策略,相較于傳統(tǒng)的Pytorch而言,模型效果有明顯提升。因此,未來若要在手機(jī)、PC端運(yùn)行成百上千億參數(shù)量的大模型,DRAM等存儲升級必不可少。圖表:手機(jī)與PC合計占DRAM終端產(chǎn)品份額近一半圖表:通過對DRAM/HBM等內(nèi)存使用策略改進(jìn)能很好提升模型性能YoY各產(chǎn)品的份額占比PC3.7%17.2%6.2%12.4%37.0%36.9%5.2%ServerMobileGraphicsConsumer202320227.7%16.1%8.5%PC19.1%22.7%15.3%18.7%18.6%13.2%34.9%38.5%5.3%ServerMobileGraphicsConsumer8.1%資料:Snorkel,Trendforce,中信建投模組廠商積極與芯片廠商合作推出相關(guān)AI模組?
端側(cè)AI的發(fā)展本質(zhì)上是終端設(shè)備的AI化,終端智能化水平的同時,對其相關(guān)算力模組要求有更進(jìn)一步要求。國內(nèi)主流物聯(lián)網(wǎng)模組廠商均開始大力布局AI、算力模組領(lǐng)域,在安防、機(jī)器人、工業(yè)質(zhì)檢等領(lǐng)域,結(jié)合高通相應(yīng)芯片,開發(fā)適配智能模組;在筆電領(lǐng)域,中科創(chuàng)達(dá)基于驍龍7c+Gen
3芯片開發(fā)用于筆電的智能模組,目前已被廣泛用于筆電、PC、工業(yè)電腦等領(lǐng)域。?
在未來,預(yù)計模組將更多以算力模組的形態(tài)呈現(xiàn)。模組將不僅僅是硬件設(shè)備的一部分,更是提供強(qiáng)大計算能力的關(guān)鍵組件。算力模組將進(jìn)一步提升模組的價值量,使得模組在終端設(shè)備中的地位更加重要。圖表:中科創(chuàng)達(dá)基于驍龍7c+Gen3芯片開發(fā)的用于筆電的智能模組圖表:部分物聯(lián)網(wǎng)模組廠商布局AI、算力模組領(lǐng)域廠商邊緣AI布局公司帶算力的模組主要產(chǎn)品形態(tài)是SoC智能模組,已經(jīng)推出基于高通QCS8250芯片平臺的高算力AI模組SCA825-W,可全面提供高達(dá)15TOPS的算力支持;FM1605G模組與廣和通
安提國際AI邊緣計算平臺AN810-XNX成功聯(lián)調(diào)。公司算力模組目前在支付和車載領(lǐng)域應(yīng)用比較多,在其他的行業(yè)拓展包括各類帶邊緣算力終端設(shè)備、機(jī)器人、IPC安防、工業(yè)檢測和控制等行業(yè)。公司在高算力模組領(lǐng)域建立了完善的產(chǎn)品線,可為不同類型邊緣計算場景提供相匹美格智能
配的算力。公司的智能模組和算力模組產(chǎn)品中集成了AI處理器芯片,相關(guān)產(chǎn)品對應(yīng)的AI算力覆蓋從1.4TOPS到近30TOPS范圍,可為各類智能化場景提供AI算力支撐。公司在智能模組、AI算力模組等領(lǐng)域均在做持續(xù)性投入。5G、AI等領(lǐng)域的智能化方向不可阻擋,未來公司的這些產(chǎn)品線的前期投入都將帶來持續(xù)性的業(yè)績貢獻(xiàn)。移遠(yuǎn)通信資料:中科創(chuàng)達(dá),廣和通,美格智能,移遠(yuǎn)通信,中信建投AI
PC的本質(zhì)是本地端和云端混合協(xié)作?
AI
PC本質(zhì)是云端與本地端協(xié)作,利用云端的大數(shù)據(jù)處理能力豐富本地端的PC使用場景,依托云端算力來提升本地性能平衡。聯(lián)想CEO認(rèn)為AI
PC是能夠創(chuàng)建本地知識庫,運(yùn)行個人大模型,支持人工智能計算,運(yùn)用自然交互的更強(qiáng)大、更具備創(chuàng)造能力的智能生產(chǎn)力工具。AI
PC最重要特點(diǎn)使用本地知識庫,保護(hù)用戶隱私的同時滿足用戶個性化需求。?
AIPC預(yù)計在提升PC性能的同時,帶動PC相關(guān)銷量。
AI
PC將成為終端、邊緣計算和云技術(shù)的顛覆性混合體。圖表:AIPC本質(zhì)是混合協(xié)作圖表:AIPC演進(jìn)趨勢傳統(tǒng)PC基礎(chǔ)SmartPC優(yōu)化AIPC智能學(xué)習(xí)功能優(yōu)化特地場景優(yōu)化功能豐富NLP/CV等基礎(chǔ)計算數(shù)據(jù)處理和計算功能效率低下需要多軟硬件配合中本地特定場景優(yōu)化高云端協(xié)同操作復(fù)雜需一定基礎(chǔ)特定場景操作簡化,要求較低簡易化操作界面門檻低易用性應(yīng)用場景基礎(chǔ)辦公/數(shù)據(jù)處理特定場景預(yù)測分析學(xué)習(xí)式智能分析預(yù)測成本低高中資料:群智咨詢,中信建投2024或成AIPC元年:AIPC將逐步替代傳統(tǒng)PC?
伴隨AIPC逐漸出貨且PC換機(jī)周期已至,2024或成AI
PC元年。圖表:相關(guān)廠商AIPC展望品牌AIPC展望預(yù)測到2027年,AIPC出貨量將達(dá)到1.5億套,市場滲透率達(dá)到未來AIPC將顯著提高生產(chǎn)力。下半年推出帶有Copilot的新版Windows,將加速構(gòu)建支持AI的PC。AIPC需要搭載更強(qiáng)的CPU,更大的內(nèi)存和更好的顯示器等AI是重塑
PC的巨大機(jī)遇,并將成為2024年及以后PC發(fā)展的重要驅(qū)動力。本地運(yùn)行AI應(yīng)用能實(shí)現(xiàn)更低的延遲和更強(qiáng)的隱私保護(hù)戴爾惠普79%,并逐步取代傳統(tǒng)PC。?
當(dāng)前,各大主要PC廠商都對AIPC業(yè)態(tài)進(jìn)行展望,AI
PC將成PC行業(yè)拐點(diǎn)成為共識。戴爾將推出帶有Copilot的新版Windows,聯(lián)想首批搭載英特爾Meteor
Lake芯片的AI
PC也已推出。業(yè)界將逐步追加AI
PC領(lǐng)域投資,重塑PC生產(chǎn)力。聯(lián)想首批搭載英特爾MeteorLake芯片的AI
PC于2023年秋季推出,AIPC將成為PC行業(yè)的拐點(diǎn)。
聯(lián)想
PC端還需解決算力和儲存等問題,真正意義上無需聯(lián)網(wǎng)即可實(shí)現(xiàn)推理的AIPC將在2024年推出。未來3年將向AI領(lǐng)域追加約70億元投資,其中很大一部分將會放在AIPC領(lǐng)域中聯(lián)想正與英偉達(dá),AMD和英特爾緊密合作,積極推動AIPC發(fā)展。AIPC在硬件層面與華碩
傳統(tǒng)PC的最大不同是集成了
IPU和VPU等AI加速單元。預(yù)計2024年三季度AIPC相關(guān)產(chǎn)品將趨于成熟,將給用戶帶來生產(chǎn)力和娛樂的全新體驗(yàn)圖表:AIPC出貨量及市場滲透率預(yù)測圖表:AIPC占PC市場比重預(yù)測AI
PC出貨量(百萬套)AI
PC市場滲透率16014012010080150200%180%160%140%120%100%80%1105379%6060%56%4040%1328%2020%07%2024F00%2023F2025F2026F2027F資料:群智咨詢,Canalys,中信建投2024或成AIPC元年:AIPC將逐步替代傳統(tǒng)PC?
10月19日,英特爾宣布啟動AIPC加速計劃,該加速計劃旨在為相關(guān)軟硬件供應(yīng)商提供英特爾的資源,共同推動AIPC產(chǎn)品、方案落地,具體而言,通過利用Intel
Core
Ultra處理器的技術(shù)和兼容硬件,圍繞相關(guān)資源,實(shí)現(xiàn)AI和機(jī)器學(xué)習(xí)(ML)應(yīng)用性能最大化,進(jìn)而催生全新的使用案例,推動AIPC解決方案連接到更廣泛的PC產(chǎn)業(yè)。?
英特爾預(yù)計其將于包括Adobe在內(nèi)的100家獨(dú)立軟件供應(yīng)商進(jìn)行合作,發(fā)展300多項(xiàng)AI加速功能,計劃將在音頻效果、內(nèi)容創(chuàng)建、游戲、安全、直播、視頻協(xié)作等方面繼續(xù)強(qiáng)化PC體驗(yàn)。據(jù)計劃目標(biāo),其將在2025年前為超過100萬臺PC帶來人工智能(AI)特性。圖表:英特爾發(fā)布AIPC加速計劃圖表:英特爾AIPC啟動計劃以酷睿Ultra為起點(diǎn)資料:Intel,中信建投ARM架構(gòu)PC芯片成為AIPC芯片爭奪制高點(diǎn)?
在AI大模型時代,ARM架構(gòu)有望替代X86架構(gòu)芯片成為PC芯片主流。AI大模型對計算能力的需求不斷增長。ARM架構(gòu)PC芯片以其高效能、低功耗的特點(diǎn),相對適合AI計算任務(wù)。蘋果基于ARM研發(fā)的M系列PC芯片,因其出色的性能而廣受消費(fèi)者好評;高通厚積薄發(fā)XElite芯片,有望帶來Windows
ARM時代;據(jù)報道,英偉達(dá)和AMD也在研發(fā)基于Arm架構(gòu)的PC芯片,預(yù)計最早將于2025年發(fā)售。?
以往ARM
PC芯片在windows領(lǐng)域并未引起變革的主要原因在于生態(tài)未完善,但隨著高通發(fā)布驍龍7c、8c和8cx三代PC芯片,相關(guān)生態(tài)已逐漸完善,高通發(fā)布的X
Elite芯片,直接基于ARM指令集進(jìn)行設(shè)計,性能取得大幅提升,ARM架構(gòu)PC芯片有望實(shí)現(xiàn)突破。圖表:全球筆記本電腦芯片出貨量市場份額圖表:全球Arm筆記本出貨量增速英特爾
AMD
arm30%100%2.710.71912.817.61524%1890%80%70%60%50%40%30%20%10%0%21.415.125%20%15%10%5%23%23.21619.325.314.416.715.510%9%787%707068676361602%0%20222023202420252026202720202021202220232024202520262027資料:Counterpoint,中信建投英特爾、AMD、蘋果、高通混戰(zhàn),AI
PC芯片市場格局有望重塑?
AMD繼于今年第二季推出Phoenixe平臺的Ryzen
7040系列處理器后,也預(yù)告將于下一代8050系列進(jìn)一步增強(qiáng)AI功能;英特爾則在將Movidius
VPU導(dǎo)入其Meteor
Lake平臺的處理器,接續(xù)推出的Arrow
Lake和Lunar
Lake平臺,都宣示了英特爾加大對AI處理器投入的決心;高通也于10月25日的2023驍龍峰會上正式發(fā)布了首款基于自研CPU架構(gòu)“Oryon”的PC平臺方案——驍龍X
Elite,可運(yùn)行包括大語言模型(LLM)在內(nèi)的130億參數(shù)大模型,進(jìn)一步優(yōu)化自研AI芯片業(yè)態(tài)。蘋果也于10月30日發(fā)布
M3、M3Pro
和
M3Max
系列芯片,為首批采用業(yè)界領(lǐng)先
3
納米工藝打造的個人電腦芯片,可將更多晶體管封裝于更小的芯片空間中,實(shí)現(xiàn)速度和能效的雙重提升。圖表:AIPC芯片處于混戰(zhàn)局面圖表:半導(dǎo)體芯片廠商對AIPC布局公司產(chǎn)品發(fā)布時間說明英特爾MeteorLake9月19日輕薄筆電,可執(zhí)行邊緣AI運(yùn)算強(qiáng)化AI能力,可總結(jié)電子郵件、撰寫簡易文稿、協(xié)助生成圖像等高通蘋果AMDSnapdragonXElite10月25日10月30日最快Q4最高階系列Ultra設(shè)置32核心,具備獨(dú)立執(zhí)行小模型運(yùn)算能力M3Phoenix1&2面向AIPC資料:高通,微軟,Intel,蘋果,AMD,中信建投高通發(fā)布XElite,于PC芯片市場意義重大?
10月25日,高通在驍龍峰會上發(fā)布驍龍X
Elite,其為Oryon
CPU和Adreno
GPU等組成的4nm
ARM架構(gòu)的PC
SoC。?
與其競爭對手相比,該芯片能提供高達(dá)兩倍的CPU和GPU性能,且功耗更低,單線程能力強(qiáng)于英特爾的X86芯片i9-13980HX和蘋果的ARM芯片M2
Max,AI引擎能提供高達(dá)75TOPS的AI算力。驍龍XElite專為AI打造。XElite能夠支持在終端運(yùn)行130億參數(shù)大模型,面向70億參數(shù)大語言模型每秒生成30個token,能夠很好處理郵件總結(jié)、文本編寫、圖像生成、圖像生成等任務(wù),變革用戶與PC交互。OEM廠商預(yù)計將于2024年中推出搭載驍龍X
Elite的PC。圖表:高通驍龍XElite平臺詳細(xì)參數(shù)圖表:高通驍龍XElite性能有明顯提升資料:高通,中信建投高通XElite芯片自研CPU架構(gòu)?
高通大部分芯片直接從ARM購買IP,以此為基礎(chǔ)進(jìn)行相應(yīng)修改,例如Kryo芯片以及驍龍芯片。為了進(jìn)一步提升芯片性能并搶占市場份額,高通開始轉(zhuǎn)向直接基于ARM指令集設(shè)計芯片,開發(fā)定制內(nèi)核。?
NUVIA核心人員具有豐富的芯片設(shè)計經(jīng)驗(yàn),致力于提供行業(yè)領(lǐng)先的高性能、低功耗SoC產(chǎn)品。NUVIA創(chuàng)始人Gerard
Williams
III、Manu
Gulati、John
Bruno均在AMD和蘋果公司從事多年芯片設(shè)計工作,具有豐富的芯片設(shè)計經(jīng)驗(yàn)。NUVIA基于ARM
v9構(gòu)建的CPUPhoenix,相對于其他x86、ARM架構(gòu)產(chǎn)品具備性能、功耗優(yōu)勢。在功耗與其他ARM架構(gòu)功耗相同或?yàn)槠渌鹸86架構(gòu)功耗的1/3時,Phoenix架構(gòu)的峰值性能提升在50%至100%左右。?
高通收購NUVIA后,將開發(fā)基于ARM指令集的新一代CPU。下一代CPU最初將適配于Windows
PC,之后會拓展至旗艦智能手機(jī)、汽車、數(shù)據(jù)中心、元宇宙等多個領(lǐng)域,在高性能和低功耗SoC領(lǐng)域處于領(lǐng)先地位。圖表:Phoenix
Geekbench
5測試結(jié)果圖表:NUVIA創(chuàng)始人情況曾就職于TI、ARM。2010-2019年任蘋果首席CPU架構(gòu)師,主持研
發(fā)
蘋
果
A7-A13處
理
器
及
MacM1
Pro、M1Max。曾
就
職
于
AMD、
博
通
。
2009-2017任蘋果首席SoC架構(gòu)師,指曾就職于ATI、AMD。2012-2017年任蘋果系統(tǒng)架構(gòu)師,打造基于ARM的移動芯導(dǎo)多款iPhone及iPad
SoC設(shè)計。
片。2017-2019年任谷歌系統(tǒng)架構(gòu)師。2017-2019任谷歌首席SoC架構(gòu)師。資料:高通,中信建投谷歌、小米等廠商持續(xù)推出AI手機(jī)?
10月4日,谷歌發(fā)布Pixel8
/
Pro系列,搭載了Tensor
G3和Titan
M2安全芯片。Tensor
G3
AI芯片可運(yùn)行更復(fù)雜的機(jī)器學(xué)習(xí)模型,強(qiáng)化了Pixel8
/
Pro系列的AI增強(qiáng)功能,使虛擬助理說話更自然,并有攔截騷擾電話、轉(zhuǎn)錄語音和緊急服務(wù)功能。Pixel8Pro號稱是第一款直接在設(shè)備上運(yùn)行谷歌AI模型的手機(jī),其計算量是Pixel
7上最大ML模型的150倍。?
10月26日,小米14系列發(fā)布,其首發(fā)搭載高通最新一代移動芯片驍龍8
Gen3,能效比提升顯著,AI性能提升98%。通過本地端運(yùn)行大模型,提升了隱私性,并實(shí)現(xiàn)AI妙畫、AI搜圖、AI寫真和
AI擴(kuò)圖等一系列功能。其中,AI寫真功能可通過對多張照片的學(xué)習(xí),創(chuàng)作出全新的照片作品;在14系列的WPS上,也支持輸入主題一鍵生成PPT演示文稿,也能進(jìn)一步細(xì)化調(diào)節(jié),例如更改主題風(fēng)格、單頁美化、更改字體、更改配色、生成演講稿等等,解決了用戶使用PPT制作難度大、耗時長的辦公難題。圖表:谷歌Pixel8Pro圖表:小米14系列資料:谷歌,小米,中信建投AIPhone芯片主要由高通主導(dǎo)?
高通是全球移動設(shè)備及其他無線產(chǎn)品基礎(chǔ)技術(shù)、產(chǎn)品開發(fā)的領(lǐng)導(dǎo)者,2021年后,高通向AIoT領(lǐng)域布局,公司將以智能手機(jī)中積累的連接、終端側(cè)智能和高性能低功耗計算等技術(shù)領(lǐng)先優(yōu)勢,圍繞手機(jī)、汽車、IoT三大“智能網(wǎng)聯(lián)邊緣”場景持續(xù)擴(kuò)展“統(tǒng)一的技術(shù)路線圖”,發(fā)展混合AI。在手機(jī)方面,高通公司以近半的市場份額保持AI智能手機(jī)處理器出貨量領(lǐng)導(dǎo)地位,遠(yuǎn)超蘋果和聯(lián)發(fā)科等其他公司。?
高通驍龍8
gen3在手機(jī)芯片性能比較方面超越了蘋果A17
Pro,其是高通首款專為生成式人工智能而精心設(shè)計的移動平臺。該處理器最大的升級在AI引擎,可以在設(shè)備上運(yùn)行生成式AI模型,上市初期即支持20多種AI模型;主打各種
AI相機(jī)功能,例如從圖像和視頻中刪除對象、創(chuàng)建假背景、增強(qiáng)照片的某些部分、實(shí)時拍攝
HDR
照片、創(chuàng)建同時使用前攝和后攝拍攝的Vlogger視圖模式。圖表:以驍龍865為基準(zhǔn)的手機(jī)/平板性能綜合對比圖表:高通驍龍8Gen3綜合參數(shù)A16驍龍8Gen28Gen2領(lǐng)先版A17Pro驍龍8Gen3M1iPadProM2iPadPro050100150200250300350資料:高通,IT之家,中信建投除了AI手機(jī)外,手機(jī)廠商也在持續(xù)發(fā)力AI大模型?
國內(nèi)AI廠商也持續(xù)發(fā)力AI大模型。小米自研圖文大模型預(yù)訓(xùn)練語言模型MiLM-6B,參數(shù)規(guī)模為64億,并在C-Eval和CMMLU基準(zhǔn)評測中都取得了出色的成績;vivo自研vivoLM,分成十億(1B/7B)、百億(66B)和千億(130B/175B)三個級別。其中,7B的版本是vivoLM
將對外開放的版本,目前在C-Eval總榜單位列第一,在SuperCLUE榜單位列國內(nèi)第一;Oppo大模型AndesGPT位列榜單第四;在8月的開發(fā)者大會上,宣布將盤古大模型引入鴻蒙,智慧助手小藝將接入AI大模型能力,為HarmonyOS帶來更智慧的體驗(yàn);在10月24-26日的高通驍龍峰會上,榮耀也宣布其
Magic6
將搭載全新驍龍
8
Gen3移動平臺,并應(yīng)用自研70億參數(shù)端側(cè)AI大模型,未來還將進(jìn)一步發(fā)力。圖表:Vivo、OPPO研發(fā)大模型登上C-Eval總榜單圖表:Vivo登上SuperCLUE總榜單SubmissionDateSocialScienceOPEN多輪開放問題OPT三大能力客觀題#01ModelvivoLMQwenCreatorvivoAccessPrivatePrivateAvg86.185.7Avg(Hard)
STEMHumanities
Others排名模型機(jī)構(gòu)總分使用---GPT4OpenAIAnthropicOpenAI87.0872.4671.1288.0775.1173.1285.668.4868.13APIAPIAPI2023/10/3065.271.980.481.689.792.890.68788.885.2Claude2GPT3.5AlibabaCloud2023/10/29
23CW-MLMCloudWalk
Private2023/10/202023/9/288358.659.374.873.391.586.785.77987.586.9vivoLMvivo70.7466.7876.67申請AndesGPT-7BOPPOPrivate79.9
Moonshot月之暗面百度70.4269.2666.0261.8177.0380.44網(wǎng)頁文心一言4.0API深圳云天算云天書
法技術(shù)有限
Private公司42023/8/3177.155.270.48878.677.9
SenseChat
3.0商湯科技科大訊飛69.2563.9963.1659.2678.3971.08APIAPI7訊飛星火V3.0567GalaxyZuoyebang
Private快手
Private小i機(jī)器人
Private2023/8/232023/9/152023/10/2773.773.773.260.54671.462.968.78671.679.47568.879.668.8KwaiYii-66B云雀大模型(豆包)82.784.9658字節(jié)跳動清華&智譜百川智能64.3965.9362.759.1158.5357.7772.377.0270.09網(wǎng)頁APIHZ6056.7ChatGLM2-ProUniGPT2.0
Unisound((山海)
云知聲)89WebWebWeb2023/10/132023/9/42023/9/472.971.871.655.260.357.967.670.668.582.281.372.37175.965.8
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 二零二五年度石油化工設(shè)備采購合同補(bǔ)充協(xié)議范本3篇
- 二零二五年度vi設(shè)計創(chuàng)意制作合同范本2篇
- 二零二五版環(huán)境安全風(fēng)險評估與治理合同3篇
- 合同管理在2025年度招投標(biāo)中的合規(guī)性分析3篇
- 二零二五版企業(yè)內(nèi)部技術(shù)人員掛靠合作合同范本3篇
- 二零二五年度高壓電氣設(shè)備采購及安裝合同2篇
- 二零二五版寶鋼集團(tuán)勞動合同員工加班費(fèi)及休息日工作安排3篇
- 二零二五年度車輛質(zhì)押擔(dān)保合同樣本2篇
- 二零二五版公路貨運(yùn)合同道路運(yùn)輸許可證管理與審查規(guī)范3篇
- 二零二五年度綠色環(huán)保房地產(chǎn)商品房買賣合同書3篇
- 10日益重要的國際組織第三課時中國與國際組織(教學(xué)設(shè)計)2023-2024學(xué)年統(tǒng)編版道德與法治六年級下冊
- Unit 1 同步練習(xí)人教版2024七年級英語上冊
- 工程管理重大風(fēng)險應(yīng)對方案
- 直播帶貨助農(nóng)現(xiàn)狀及發(fā)展對策研究-以抖音直播為例(開題)
- 腰椎間盤突出疑難病例討論
- 《光伏發(fā)電工程工程量清單計價規(guī)范》
- 2023-2024學(xué)年度人教版四年級語文上冊寒假作業(yè)
- (完整版)保證藥品信息來源合法、真實(shí)、安全的管理措施、情況說明及相關(guān)證明
- 營銷專員績效考核指標(biāo)
- 陜西麟游風(fēng)電吊裝方案專家論證版
- 供應(yīng)商審核培訓(xùn)教程
評論
0/150
提交評論