版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進行舉報或認領(lǐng)
文檔簡介
證券研究報告海外2024年01月09日AI
PC&AI手機專題報告:AIGC向端側(cè)下沉成趨勢,有望引領(lǐng)新一輪硬件創(chuàng)新評級:推薦(維持)相關(guān)報告最近一年走勢《海外行業(yè)動態(tài)研究:大模型端側(cè)落地成趨勢,聯(lián)想集團率先協(xié)同合作伙伴構(gòu)建AI生態(tài)(推薦)*海外*陳夢竹》——2023-12-2815%10%滬深300恒生指數(shù)《海外行業(yè)動態(tài)研究:谷歌發(fā)布原生多模態(tài)大模型Gemini及新一代TPU系統(tǒng)CloudTPUv5p(推薦)*海外*陳夢竹》——2023-12-085%《游戲行業(yè)政策事件點評:監(jiān)管處于征求意見稿階段,關(guān)注后續(xù)落實力度(推薦)*海外*陳夢竹,尹芮》——2023-12-250%-5%-10%-15%-20%《AIGC專題報告:站在當(dāng)前時點,怎么看AIGC板塊投資邏輯(推薦)*海外*陳夢竹》——2023-12-20《2024年海外科技策略前瞻——底部向上,三大關(guān)鍵詞:AI、出海、空間計算(推薦)*海外*陳夢竹,張娟娟,尹芮》——2023-12-192022/12/282023/04/272023/08/252023/12/23相對滬深300表現(xiàn)表現(xiàn)1M3M12M恒生指數(shù)10.9%8.5%-0.6%3.3%-14.3%-11.8%滬深3002核心提要p
從手機和PC的發(fā)展史來看,AIGC的賦能可能會將二者帶入全新的發(fā)展階段。就手機而言,我們總結(jié)其發(fā)展路徑是:強調(diào)通信功能→智能手機→個人助理。手機相較于PC是更加貼近用戶生活的終端設(shè)備,因而用戶天然會產(chǎn)生這種需求,但現(xiàn)階段的手機智能化程度不足,因而搭載大模型并發(fā)展出更多功能或成為一種趨勢;PC早期能夠普及正是因為其生產(chǎn)力工具的定位,AIGC作為生成式AI自然會與生產(chǎn)力工具相匹配以幫助用戶提高生產(chǎn)效率,因而AIPC也順勢興起。p
從硬件角度來看,AIPC/Phone需要解決三個問題:其一,用什么加速推理?其二,高規(guī)格大模型如何裝載到設(shè)備里去?其三,推理作為高功耗任務(wù),設(shè)備的散熱系統(tǒng)應(yīng)當(dāng)如何配合?由此衍生出我們對PC及手機處理器、內(nèi)存和散熱系統(tǒng)的探討。?
對于問題一,目前的AIPC/Phone廠商均已給出答案,過去在端側(cè)做深度學(xué)習(xí)或者機器學(xué)習(xí)通常會使用GPU作為計算單元,但隨著AIGC在端側(cè)落地,人工智能任務(wù)專用處理器也順勢而生。GPU雖然相較于CPU擁有更強的并行計算能力,但其處理神經(jīng)網(wǎng)絡(luò)仍然效率偏低,且功耗較高。NPU相較于GPU的優(yōu)化主要集中在與CPU的交互方面,NPU做的是張量計算,如果說GPU是把矩陣看做一個“計算單位”,那么NPU就是把神經(jīng)網(wǎng)絡(luò)看做一個“計算單位”,由此,NPU擁有了更優(yōu)的能耗比。我們認為未來可能是CPU、GPU、NPU三U并存的時代,以GPU發(fā)展史作為參考,未來NPU可能也會同GPU一樣,逐漸成為PC和手機必備的硬件之一,目前NPU仍然與CPU集成在一起,未來可能也會發(fā)展出擁有獨立內(nèi)存的類似于獨顯的形態(tài),并成為PC產(chǎn)品定位的重要標(biāo)準(zhǔn)(如現(xiàn)在的高性能本、游戲本通常是獨顯,而輕薄本、商務(wù)本則一般為核顯)。目前NPU的發(fā)展仍處于早期階段,我們認為其重點主要是走量,即在PC上普及這一硬件;未來隨著NPU逐漸為用戶所接受并對性能提出更高要求,參考GPU,則可能會帶來更多的溢價空間,這一收入我們認為主要是在上游硬件廠商(NPU供應(yīng)商)、大模型供應(yīng)商和終端設(shè)備生產(chǎn)商之間分配。?
對于問題二,目前PC和手機的內(nèi)存相對較小,對大模型的承載能力有限,而大模型又是達到一定參數(shù)量級才會有智能的涌現(xiàn),因而為了使大模型給用戶帶來更好的體驗,一方面需要對模型進行裁剪和量化,另一方面也需要拔高設(shè)備的內(nèi)存配置,使其在存儲、傳輸和計算方面更加平衡。目前在終端設(shè)備落地的大模型仍然是以數(shù)十億參數(shù)量級的為主,就性能方面尚有提升空間,未來高規(guī)格大模型產(chǎn)品化勢必會對終端設(shè)備的內(nèi)存提出更高要求。?
對于問題三,作為電子設(shè)備領(lǐng)域的重要一環(huán),PC和手機的散熱問題一直備受關(guān)注,作為高算力AI芯片的NPU會對設(shè)備的散熱系統(tǒng)提出更高要求,因而隨著搭載在AIPC和AIPhone上的模型規(guī)格不斷提升,NPU性能釋放可能會更加激進,我們認為這將帶來電子產(chǎn)品散熱方案的更新?lián)Q代以及相關(guān)上下游的投資機會。p
大模型在端側(cè)落地,主要受益方包括硬件(如NPU等)設(shè)計制造廠商、大模型提供商和終端設(shè)備生產(chǎn)商。盡管目前AIPC及AIPhone仍處于商業(yè)化早期階段,但論及其商業(yè)模式,我們認為終端設(shè)備生產(chǎn)商可能是核心,原因如下:終端設(shè)備生產(chǎn)商是唯一直接對客的角色;此外,其亦須基于軟硬件廠商協(xié)同構(gòu)筑的底層生態(tài)(如Intel和微軟的合作)將大模型預(yù)先裝載進終端設(shè)備產(chǎn)品,這一生產(chǎn)過程的差異化競爭主要集中在散熱模組設(shè)計、硬件組裝能力和模型蒸餾水平等方面。從收入來看,終端設(shè)備生產(chǎn)商一方面可基于NPU這一新硬件對產(chǎn)品進行提價,另一方面向用戶收取大模型及相關(guān)應(yīng)用的服務(wù)費;從成本來看,終端設(shè)備生產(chǎn)商一方面須向硬件設(shè)計制造商采購基礎(chǔ)部件,另一方面須向大模型提供商支付模型調(diào)用費。總結(jié)來說,終端設(shè)備生產(chǎn)商作為中間人,將模型、硬件和C端用戶串聯(lián)起來,賺取差價的同時也賺取服務(wù)費(如對于企業(yè)用戶,賣設(shè)備的同時還提供模型部署服務(wù)),由此,終端設(shè)備生產(chǎn)商可能會終結(jié)此先大模型在云端通過API接口或類ChatGPT應(yīng)用提供服務(wù)時以大模型廠商為核心的單一商業(yè)模式時代,并成為爭搶流量入口的新生力量。3行業(yè)評級&投資建議&風(fēng)險提示p
行業(yè)評級&投資建議:AI技術(shù)不斷演進,大模型持續(xù)迭代并表現(xiàn)出向端側(cè)下沉的趨勢,我們看好AIPC和AI手機的投資機會,維持行業(yè)“推薦”評級。硬件方面,建議關(guān)注芯片和內(nèi)存廠商,如英特爾、AMD、高通、海光信息、聯(lián)發(fā)科、通富微電、聚辰股份和兆易創(chuàng)新等;模型方面,建議關(guān)注微軟、谷歌、Meta等;終端設(shè)備方面,建議關(guān)注市場份額占比較高的PC/手機提供商及代工廠,如聯(lián)想集團、華碩、戴爾科技、惠普、小米集團-W、三星電子、仁寶電腦、廣達、緯創(chuàng)、英業(yè)達和光大同創(chuàng)等。p
風(fēng)險提示:AIPC/手機商業(yè)化拓展不及預(yù)期;技術(shù)跨越替代,顛覆現(xiàn)有技術(shù)路徑;行業(yè)競爭加劇風(fēng)險;行業(yè)估值回調(diào)風(fēng)險;各公司并不具備完全可比性,對標(biāo)的相關(guān)資料和數(shù)據(jù)僅供參考。4目錄一、PC/手機發(fā)展史及AIPC/手機必要性的探討.....................................................................................................................................................7PC發(fā)展史:圖形用戶界面與鼠標(biāo)驅(qū)動開啟生產(chǎn)工具可能,迅馳時刻突破移動限制手機發(fā)展史梳理:無線手機誕生,歷經(jīng)1G到2G,模擬信號到數(shù)字信號的發(fā)展手機發(fā)展史梳理:iPhone開啟智能手機新時代,移動互聯(lián)網(wǎng)方興未艾AIPC/手機作為端側(cè)相較于云端能夠解決數(shù)據(jù)安全、延遲等問題AIPC/手機作為去中心化的服務(wù)模式能夠幫助云端分擔(dān)算力成本各大廠商相繼布局,AI終端浪潮蓄勢待發(fā),多款產(chǎn)品有望2024年上線AIPC或成為更高效的生產(chǎn)力工具,AI手機或進化為用戶人格化的智能助理基于滲透率對AIPC出貨量及增量收入空間的測算二、從硬件角度看AIPC/手機潛在的投資機會.......................................................................................................................................................16CPU架構(gòu):ARM與X86之爭GPU發(fā)展史:誕生于專用性需求,作為輔助處理器執(zhí)行并行計算任務(wù)2023年NVIDIA桌面專業(yè)級GPU一覽NPU:誕生于神經(jīng)網(wǎng)絡(luò)計算的需求,相較于GPU同時兼顧專用性和能耗比不同于GPU與CPU的頻繁交互,NPU加速神經(jīng)網(wǎng)絡(luò)計算效率更高手機端:處理器高度集成,在現(xiàn)有制程工藝下加入NPU或須在性能釋放上做出讓步手機端:處理器高度集成,在現(xiàn)有制程工藝下加入NPU或須在性能釋放上做出讓步(續(xù))驍龍8Gen3讓手機運行大模型提速,驍龍XElite助力高通切入AIPC賽道Intel發(fā)布首款集成式NPU,MeteorLake架構(gòu)或帶領(lǐng)數(shù)億臺PC進入AI時代NPU處理人工智能任務(wù)具有低功耗高效率優(yōu)勢,三顆U協(xié)同助力優(yōu)化PCAI加速PC搭載NPU成為AIPC時代開啟的重要標(biāo)志,疊加Windows系統(tǒng)迭代或?qū)頁Q機潮目前端側(cè)芯片算力對推理任務(wù)支持度的測算:文本類型任務(wù)目前端側(cè)芯片算力對推理任務(wù)支持度的測算:圖像類型任務(wù)相較于算力,未來PC和手機端搭載高規(guī)格模型最大的挑戰(zhàn)或來自于內(nèi)存為支持端側(cè)運行高規(guī)格大模型,AIPC的散熱模組可能會迎來重構(gòu)5目錄大模型在端側(cè)落地或使AIPC/手機廠商成為這一服務(wù)模式下的流量入口三、AIPC/手機產(chǎn)業(yè)鏈相關(guān)標(biāo)的........................................................................................................................................................................33聯(lián)想集團:率先推出首款A(yù)IPC概念機,預(yù)計將于2024年下半年推出聯(lián)想集團:發(fā)布AIPhone和功能性產(chǎn)品AITwin,后者同時賦能個人與企業(yè)用戶vivo:藍科技+6nm自研影像芯片V3+聯(lián)發(fā)科天璣9300助力打造AI手機X100系列小米:計劃在終端接入輕量化本地大模型,與WPSAI達成深度合作谷歌:正式發(fā)布Pixel8及Pixel8Pro手機,在Android14上推出AI功能Humane:推出專為與大語言模型交互而生的新式可穿戴設(shè)備AIPinAIPC/手機產(chǎn)業(yè)鏈相關(guān)標(biāo)的..............................................................................................................................................................................40行業(yè)評級&投資建議&風(fēng)險提示6一、PC/手機發(fā)展史及AI
PC/手機必要性的探討7PC發(fā)展史:圖形用戶界面與鼠標(biāo)驅(qū)動開啟生產(chǎn)工具可能,迅馳時刻突破移動限制1971~19821983~20022003~20232024年及以后隨著計算機性能的提升、體積的減小、成本的下降,個人PC產(chǎn)品出現(xiàn)。圖形用戶界面被引入PC,鼠標(biāo)驅(qū)動引發(fā)交互形式的革命,PC開始大規(guī)模商業(yè)化落地并成為生產(chǎn)力工具。芯片組技術(shù)使PC具備移動性以及無線上網(wǎng)等功能。此外,GPU開始廣泛用于個人PC,GPU計算時代由此開啟。AIPC時代,NPU通過廣泛應(yīng)用于人工智能任務(wù)或幫助作為生產(chǎn)力工具的PC加速變革。2003年,Intel推出迅馳平臺,將PentiumM處理器、Intel芯片組和802.11無線網(wǎng)絡(luò)模塊三者集成在一起,普及了筆記本無線網(wǎng)絡(luò)的應(yīng)用,也加速了筆記本向輕薄化的發(fā)展。19831971第一臺個人PC:Datapoint22002023年9月19日,Intel正式發(fā)布基于Intel4制程工藝的首個處理器平臺——MeteorLake,該架構(gòu)首次將人工智能加速引擎(NPU)集成到PC處理器,由此,GPU、NPU、CPU等核心之間相互協(xié)同以承載對應(yīng)的AI算力。據(jù)Intel的AIPC加速計劃,其將在2025年前為超過100萬臺PC帶來AI特性,并由計劃于12月14日發(fā)布的Intel酷睿Ultra處理器率先推動。第一臺使用GUI的電腦:AppleLisa2006年,NVIDIA發(fā)布首個通用GPU計算架構(gòu)Tesla,其采用全新的CUDA架構(gòu),支持使用C語言進行GPU編程,可以用于通用數(shù)據(jù)并行計算。代表產(chǎn)品為G80。硬件方面:Lisa是一臺一體機,12英寸單色屏幕,分辨率為720×365像素。其使用的CPU是摩托羅拉68000,運行頻率為5MHz,內(nèi)存為1MB,擁有2個軟盤和1個5MB的硬盤。此外,蘋果自行設(shè)計出MMU以進行內(nèi)存管理(操作系統(tǒng)因此得以支持多任務(wù)處理,即可以同時運行多個程序)。軟件方面:Lisa首創(chuàng)“雙擊鼠標(biāo)”的交互形式,如雙擊圖標(biāo)會打開一個新窗口,通過標(biāo)題欄可以拖動窗口直至用戶釋放按鈕等;此外,Lisa捆綁了操作系統(tǒng)LisaOS和一個包含7個應(yīng)用程序的辦公套件,后者包含文字GPU:負責(zé)高性能、高吞吐場景,適用于融合了AI的媒體/3D/渲染通道。NPU:在低功耗的狀態(tài)下,實現(xiàn)高效的AI終端化應(yīng)用,適用于持續(xù)的AI。CPU:響應(yīng)速度快,適用于輕量級、1981IBM5150搭載Intel8088處理器與微軟的DOS1.0操作系統(tǒng)
處理、電子表格等應(yīng)用。筆記本代表:Thinkpad系列
基于G80的獨顯:GeForce8800
單次推理的低延遲AI任務(wù)。資料:砍柴網(wǎng),oldcomputers官網(wǎng),《新媒體前沿》,IBM官網(wǎng),聯(lián)想集團官方公眾號,36氪,cnBeta,熱點科技,騰訊云開8發(fā)者社區(qū),創(chuàng)業(yè)邦,倍優(yōu)產(chǎn)業(yè)觀察公眾號,雷科技,IT之家,驅(qū)動之家,聯(lián)想官網(wǎng),國海證券研究所手機發(fā)展史梳理:無線手機誕生,歷經(jīng)1G到2G,模擬信號到數(shù)字信號的發(fā)展世代年代第一代(1G)1980s~1990s無線、模擬信號第二代(2G)1990s~2006關(guān)鍵詞數(shù)字信號、內(nèi)置游戲所謂移動,即無線。第一代移動通訊的特征是手機與基站之間通過模擬信號進行傳輸,僅能進行通話。缺陷是安全性和抗干擾能力差,且由于沒有國際的通用標(biāo)準(zhǔn),國際漫游成為問題。使用數(shù)字信號的2G移動通信擁有安全性更高、頻譜利用率高、功能不僅限于通話、標(biāo)準(zhǔn)相對統(tǒng)一的優(yōu)勢。但其功能仍然相對單一,且網(wǎng)絡(luò)容量仍然較為有限。特性代表廠商摩托羅拉摩托羅拉、愛立信、諾基亞代表產(chǎn)品2000.011983.06摩托羅拉19871995.01愛立信GH33719951999.10諾基亞3210諾基亞7110摩托羅拉3200(“大哥大”)第一臺進入中國市場的手機摩托羅拉8900、9900第一款揭蓋式手機第一款WAP的手機,首次把手機和互聯(lián)網(wǎng)連接在一起DynaTAC8000X中國大陸出現(xiàn)的第一款GSM手機第一款內(nèi)置天線機型9資料:中關(guān)村在線,北京通信業(yè)公眾號,國海證券研究所手機發(fā)展史梳理:iPhone開啟智能手機新時代,移動互聯(lián)網(wǎng)方興未艾世代年代第三代(3G)2007~2010s第四代(4G)2010s~2020s第五代(5G)2020s~關(guān)鍵詞智能手機、操作系統(tǒng)、移動互聯(lián)網(wǎng)更快更穩(wěn)定、流媒體萬物互聯(lián)、AIGCiOS和Android先后問世,第三代移動通信3G網(wǎng)絡(luò)與2G相比,能夠提供更先進的服務(wù)功能并擁有更高的網(wǎng)絡(luò)容量。在數(shù)據(jù)傳輸上,3G手機能夠?qū)崿F(xiàn)無線寬帶接第四代移動通信4G相較于3G擁有更高的數(shù)據(jù)傳輸速率,
高網(wǎng)速、低時延、高容量的特性通過全面和安全的IP解決方案,4G能使手機用戶實現(xiàn)在任何時間、任何地點接收語音、數(shù)據(jù)和流媒體,手游、使5G網(wǎng)絡(luò)相較于4G擁有萬物互聯(lián)的能力,端側(cè)大模型的發(fā)展或助力智能手機發(fā)展出更多功能。特性入或接近無線帶寬接入,類似一個范圍更大的WiFi網(wǎng)絡(luò)。
長短視頻、社媒直播、移動支付等得以迅速普及。代表廠商蘋果、三星等蘋果、、OPPO、vivo、小米、三星、、榮耀等代表產(chǎn)品20082008.102023.08HUAWEIMate602023.10小米14第二代iPhone3GG1(HTCDream)2007上市僅三天,iPhone
第一款采用Android操作系3G就售出100萬部
統(tǒng)的手機2015.092018.10HUAWEIMate202019.04搭載麒麟芯片+鴻蒙
首款搭載小米澎湃OS
OS的手機第一代iPhoneiPhone6sOPPOReno資料:中關(guān)村在線,北京通信業(yè)公眾號,中國新聞網(wǎng),環(huán)球網(wǎng),新浪手機,雷科技,ZAKER,每日經(jīng)濟新聞,蘋果官網(wǎng),官10網(wǎng),OPPO官網(wǎng),小米官網(wǎng),國海證券研究所AI
PC/手機作為端側(cè)相較于云端能夠解決數(shù)據(jù)安全、延遲等問題p
AIPC/手機作為端側(cè)大模型解決方案,能夠幫助解決數(shù)據(jù)安全及隱私泄露等問題。對個人用戶而言,可通過訪問本地數(shù)據(jù)形成其數(shù)字孿生,大模型成為用戶的個性化助理;對企業(yè)用戶而言,可通過公司內(nèi)網(wǎng)訪問企業(yè)數(shù)據(jù)庫以實現(xiàn)智能化協(xié)同辦公。云端通用模型不具備服務(wù)某一領(lǐng)域的能力,需要接入數(shù)據(jù)后才具有專業(yè)能力,這意味著企業(yè)為獲得行業(yè)模型,須將關(guān)鍵性資產(chǎn)——數(shù)據(jù)上傳至云端,而一旦訓(xùn)練完成的模型被全行業(yè)共享,則意味著一定程度上企業(yè)競爭壁壘的消弭,由此催生出各企業(yè)在數(shù)據(jù)墻內(nèi)訓(xùn)練專用模型的需求,AIPC/手機應(yīng)運而生。p
絕大多數(shù)應(yīng)用場景下用戶對推理的時效性要求較高,在云端進行推理再將結(jié)果傳回端和邊緣因物理距離而不可避免存在延遲,AIPC/手機直接面向終端用戶,因此能很大程度上緩解這一問題,為用戶帶來更好的使用體驗。AIPC/Phone本地知識庫壓縮大模型核心是從本地提取信息,從而構(gòu)建個性化的知識庫。以聯(lián)想集團的AITwin為例,個人AITwin能夠在支持人工智能的設(shè)備和邊緣設(shè)備上構(gòu)建本地知識庫,設(shè)備就好像是用戶的數(shù)字延伸;企業(yè)級AITwin是一系列企業(yè)級人工智能應(yīng)用的總和,它能夠從企業(yè)或組織內(nèi)部的智能設(shè)備、智能邊緣和私有云上提取相關(guān)信息,歸納整合為判斷和結(jié)論,并提出建議。AIPC發(fā)展初期NPU的算力有限,僅支持?jǐn)?shù)十億參數(shù)量的大模型,難以帶動云端動則千億參數(shù)量級的大模型,為使模型能夠被搭載在端側(cè)且盡可能不犧牲用戶體驗,大模型壓縮技術(shù)至關(guān)重要,其實質(zhì)是通過裁剪和量化的方法兼顧模型大小和性能。聯(lián)想集團與合作伙伴協(xié)同打造的Hybrid
AI解決方案,該方案中存在三種性質(zhì)不同的模型,即PublicFM、PrivateFM和PersonalFM,三種模型分別運行在不同的場景下,如PublicFM運行在云端服務(wù)器上,PrivateFM運行在企業(yè)私有或家庭服務(wù)器上,PersonalFM運行在PC或手機等終端智能設(shè)備上。11資料:極客公園,聯(lián)想集團官方,聯(lián)想集團官方公眾號,熱點科技,IT之家,國海證券研究所AI
PC/手機作為去中心化的服務(wù)模式能夠幫助云端分擔(dān)算力成本p
將大模型部署在端側(cè)和邊緣可能會帶來公有云、私有云和本地數(shù)據(jù)中心市場需求,以及云、端和邊緣算力的平衡。生成式AI在誕生之初主要通過云端以付費API接口的形式向用戶提供服務(wù),過去市場對算力的關(guān)注多集中于云服務(wù)提供商以及大模型訓(xùn)練階段,但云端算力相對有限,在高峰期難以滿足所有用戶的推理需求,因而提高端側(cè)和邊緣算力,為推理加速成為市場新的焦點。通過智能終端(如AIPC/手機)和邊緣設(shè)備為云端分擔(dān)算力成本或使云、端、邊緣算力需求走向平衡。落地方式服務(wù)模式對應(yīng)模型主要通過API付費接口和類ChatGPT應(yīng)用提供服務(wù),前者面向B端用戶,后者面向C端用戶云端中心化服務(wù)模式公共大模型私有大模型&個人大模型主要通過各種智能終端,如AIPC/Phone提供服務(wù),直接面向C端用戶非中心化服務(wù)模式非中心化服務(wù)模式協(xié)同助力生成式AI落地邊緣主要通過邊緣服務(wù)器提供服務(wù),面向B端用戶私有大模型12資料:和訊網(wǎng),國海證券研究所各大廠商相繼布局,AI終端浪潮蓄勢待發(fā),多款產(chǎn)品有望2024年上線時間公司惠普百度宏碁相關(guān)布局2023年5月2023年5月2023年6月正在開發(fā)支持AI的PC,新型號產(chǎn)品最早可能在2024年投放市場。百度旗下小度科技宣布將進軍手機市場,并發(fā)布旗下首款智能手機,整合小度AI技術(shù)能力。預(yù)計將把AIGC或其他AI應(yīng)用導(dǎo)入到終端設(shè)備上,相關(guān)AI筆記本方案會在2024、2025年陸續(xù)推出。榮耀與AMD共同召開媒體溝通會,宣布將在2023年發(fā)布首款搭載AI引擎的筆記本電腦榮耀MagicXPro系列銳龍版;榮耀CEO趙明宣稱,榮耀將在智能手機端推動部署端側(cè)大模型,以此作為新一輪產(chǎn)品技術(shù)攻堅的起點。2023年7月2023年7月榮耀蘋果建立了自己的大型語言模型Ajax,并推出代號為“蘋果GPT”的內(nèi)部聊天機器人,用于測試Ajax的功能;蘋果每年將在人工智能的研究上投入10億美元,目前正在對Siri進行改造,更智能的新版本Siri有望于2024年問世。2023年8月2023年8月2023年8月戴爾小米宣布將與英偉達合作推出生成式人工智能解決方案,幫助客戶在本地快速安全地構(gòu)建生成式人工智能(GenAI)模型。小愛同學(xué)正式升級生成式大模型,已經(jīng)開始測試,小米很快會推出端側(cè)AI大模型應(yīng)用。將大模型深度整合進手機系統(tǒng),實現(xiàn)更高層次的融合,智慧助手小藝接入AI大模型能力,可以進行自然對話、會議紀(jì)要和輔助文案生成、圖片二次創(chuàng)作等。OPPO安第斯智能云團隊打造了基于混合云架構(gòu)的生成式大語言模型OAndesGPT。10月11日,OPPO宣布基于AndesGPT大模型打造的新版AI助手——新小布1.0開啟了第一輪公測。2023年10月OPPO2023年10月2023年10月谷歌三星發(fā)布新一代智能手機Pixel8系列,Pixel8Pro是第一款可以直接在設(shè)備上運行谷歌AI模型的手機。計劃將GalaxyS24,GalaxyS24+和GalaxyS24Ultra打造成“有史以來最智能的AI手機”,超越老對手谷歌和蘋果,預(yù)計將于2024年年初發(fā)布。發(fā)布自研AI大模型矩陣,其中包括十億、百億、千億三個不同參數(shù)量級的5款自研大模型,同時位列C-Eval、CMMLU雙榜的全球中文榜單榜首,其中,70億模型是面向手機打造的端云兩用模型,vivo自研AI大模型將會首次應(yīng)用在即將發(fā)布的OriginOS4系統(tǒng)中。2023年10月vivo資料券研究所:格隆匯,電商報,和訊網(wǎng),華爾街見聞,IT之家,前瞻網(wǎng),快科技,澎湃新聞,鈦媒體APP,環(huán)球網(wǎng)科技,新京報,國海證13AI
PC或成為更高效的生產(chǎn)力工具,AI
手機或進化為用戶人格化的智能助理AI
PCAI
手機會議助手/同聲傳譯菜譜推薦設(shè)計/制圖P圖照片精修文檔/電子郵件整理及撰寫自動調(diào)節(jié)智能家居服務(wù)模式應(yīng)用開發(fā)輔助日程差旅安排/報銷旅游助手來電/短信處報表規(guī)整/數(shù)理據(jù)分析購物助手/商品推薦以對性能要求較高的高強度辦公場景為主以輕生活場景為主,功能上更加精細化14資料:國海證券研究所基于滲透率對AI
PC出貨量及增量收入空間的測算p
我們基于滲透率對AIPC的出貨量進行測算,據(jù)Canalys,2024年全年P(guān)C出貨量預(yù)計將達到2.67億臺,我們參考這一數(shù)據(jù)對PC出貨量進行情景假設(shè),在四種不同情景下分別為2.4/2.6/2.8/3.0億臺;同樣對AIPC滲透率進行情景假設(shè),在七種不同情景下分別為5%/10%/20%/30%/40%/50%/60%。通過測算可知,AIPC出貨量區(qū)間為0.12~1.80億臺。對AIPC的提價水平進行假設(shè),在AIPC提價1000元/臺和1500元/臺兩種不同情景下的增量市場空間分別為120~1800億元及180~2700億元。AIPC滲透率假設(shè)IDC預(yù)測的AIPC在中國PC市場未來幾年的滲透率AIPC出貨量預(yù)期(單位:億臺)情景一5%情景二10%0.240.260.280.30情景三20%0.480.520.560.60情景四30%0.720.780.840.90情景五40%0.961.041.12情景六50%1.201.301.401.50情景七60%1.441.561.681.8085%100%80%60%40%20%0%80%75%55%情景一情景二2.42.62.83.00.120.130.140.15PC出貨量假設(shè)(單位:億臺)8%情景三情景四2023E2024E2025E2026E2027E1.20AIPC滲透率假設(shè)若AIPC提價1000元/臺帶來的增量市場空間(單位:億元)情景一情景一情景二情景三情景四30%720情景五40%960情景六50%1200130014001500情景七5%12013014015010%24026028030020%48052056060060%14401560168018002.42.62.83.0情景二780104011201200PC出貨量(單位:億臺)情景三840情景四900AIPC滲透率假設(shè)情景四30%若AIPC提價1500元/臺帶來的增量市場空間(單位:億元)情景一情景一5%情景二10%360情景三20%720情景五40%1440156016801800情景六50%1800195021002250情景七60%2.42.62.83.018010802160234025202700情景二1953907801170PC出貨量(單位:億臺)情景三2104208401260情景四225450900135015資料:IT之家,Canalys,《AIPC產(chǎn)業(yè)(中國)白皮書》,國海證券研究所二、從硬件角度看AI
PC/手機潛在的投資機會16CPU架構(gòu):ARM與X86之爭架構(gòu)ARMX86專利權(quán)歸屬ARMIntel、AMD精簡指令集(Reduced
Instruction
Set
Computers,RISC):基礎(chǔ)指令集較少,衍生指令由基礎(chǔ)指令組合而來。以乘法計算指令為例,精簡指令集在執(zhí)行計算時,會將其分作4個單周期
復(fù)雜指令集(Complex
Instruction
Set
Computers,CISC):經(jīng)過長指令,即:①將內(nèi)存A數(shù)據(jù)加載到寄存器,②將內(nèi)存B數(shù)據(jù)加載到寄存器,③調(diào)用兩個寄存器中的數(shù)據(jù)進行乘法計算,④將最終計算結(jié)果存入內(nèi)存A期發(fā)展,各種為特定應(yīng)用而生的擴展指令集層出不窮,指令集非常豐富。以乘法計算指令為例,復(fù)雜指令集在執(zhí)行計算時,會將其視作1個指令,該指令需要多個處理器的時鐘周期才能完成,相較于精簡指令集的每一個單周期指令,這是一個長指令,一旦開始就必須執(zhí)行完畢而無法在中途叫停,而精簡指令集各單周期指令之間可以不是連續(xù)執(zhí)行的復(fù)雜度目前除ARM外,應(yīng)用于路由器的MIPS架構(gòu)和應(yīng)用于移動設(shè)備的RISC-V架構(gòu)(開源)均屬于精簡指令集指令長度固定可變相對較低,由于“硬件軟件化”,因此對編譯器等軟件的設(shè)計要求較高,
高,由于“軟件硬件化”,因此對軟件開發(fā)者友好,但對硬件開發(fā)者而硬件設(shè)計難度編譯后的程序體積也較大→成本相對低廉言要求較高→成本相對高昂性能相對更強,功耗大,對散熱要求高PC及服務(wù)器端特性低功耗高能效適用領(lǐng)域智能手機、平板電腦及可穿戴設(shè)備等移動端處理制程工藝為配合其應(yīng)用場景,ARM架構(gòu)處理器目前普遍采用5nm~7nm的制程工藝
X86架構(gòu)處理器目前普遍采用7nm~10nm的制程工藝最早見于ARM架構(gòu),性能核與功效核并存的設(shè)計很好地兼顧了耗電與性異構(gòu)計算大小核設(shè)計處理器代表廠商X86架構(gòu)也逐漸開始采用這種設(shè)計思路以應(yīng)對不同使用場景能之間的平衡高通、三星、聯(lián)發(fā)科、海思、蘋果等Intel、AMD、海光信息、兆芯等17資料:智趣東西,51CTO,量子位,芯智訊,只談科技,環(huán)球時報,國海證券研究所GPU發(fā)展史:誕生于專用性需求,作為輔助處理器執(zhí)行并行計算任務(wù)p
圖像處理催生出專用處理器需求,GPU的設(shè)計初衷正是為了應(yīng)對批量同類任務(wù)的高并行執(zhí)行,隨著工藝的發(fā)展,GPU開始不斷在個人PC以及移動設(shè)備上普及,甚至于隨著其性能呈指數(shù)級增長,獨顯勢頭漸起。處理器特性CPUGPU實時響應(yīng),對緩存要求高,
對任務(wù)進行批處理,對緩計算效率相對較低整型運算存要求低,計算效率高浮點運算運算方式計算模式
串行計算(任務(wù)類型多樣)
并行計算(任務(wù)類型單一)擅長領(lǐng)域
資源調(diào)配、系統(tǒng)控制等
數(shù)值計算、圖像處理等CPUGPUControl:控制器ALU:運算器Cache:緩存DRAM:存儲器p
消費級GPU的發(fā)展歷程:集顯核顯獨顯其與核顯的區(qū)別是擁有獨立的顯存,不會占用系統(tǒng)內(nèi)存,一般是單獨插在主板相應(yīng)的接口上,其相較于核顯擁有更好的性能和散熱表現(xiàn),常見于游戲本和工作站。集成在主板北橋上,由于集成在主板上,因此與CPU之間的協(xié)調(diào)效率不高,在性能方面有一定的局限性。將GPU集成在CPU內(nèi)部,這種設(shè)計使兩者的協(xié)調(diào)效率得到了明顯的提升,是目前市面上常見的消費級GPU存在形式之一。注:CPU進入“后摩爾時代”,使其在性能升級和優(yōu)化層面面臨較大限制;與此同時,GPU仍然遵循摩爾定律預(yù)言的性能呈指數(shù)級增長。18資料:51CTO,科Way,智通財經(jīng),電腦裝配網(wǎng),太平洋消費網(wǎng),國海證券研究所2023年NVIDIA桌面專業(yè)級GPU一覽GPU規(guī)格性能GPU光追核心(RT
Core)
(Tensor
Core)AI核心單精度性能(TFLOPS)AI運算性能(TFLOPS)CUDA核心18,17610,75210,2408,1927,1686,1443,328896顯存容量
顯存帶寬NVLink雙精度加速ECCNVIDIA
RTX
6000NVIDIA
RTX
A6000NVIDIA
RTX
A5500NVIDIA
RTX
A5000NVIDIA
RTX
A4500NVIDIA
RTX
A4000NVIDIA
RTX
A2000NVIDIA
T1000142(3rd
Gen)
568(4th
Gen)48GB48GB24GB24GB20GB16GB960GB/s768GB/s768GB/s768GB/s640GB/s448GB/s288GB/s160GB/s80GB/s91.138.734.127.823.719.27.91457309.7272.8222.2189.2153.463.9√√√√√√√84(2nd
Gen)80(2nd
Gen)64(2nd
Gen)56(2nd
Gen)48(2nd
Gen)26(2nd
Gen)336(3rd
Gen)320(3rd
Gen)256(3rd
Gen)224(3rd
Gen)192(3rd
Gen)104(3rd
Gen)√√√√6GB/12GB4GB/8GB2.5NVIDIA
T4003844GB1Quadro
GV1005,12064032GB870GB/s√14.8√118.5√19資料:螢火蟲測評薈,國海證券研究所NPU:誕生于神經(jīng)網(wǎng)絡(luò)計算的需求,相較于GPU同時兼顧專用性和能耗比p
NPU(NeuralnetworkProcessingUnit),即神經(jīng)網(wǎng)絡(luò)處理單元,可在電路層模擬人類神經(jīng)元和突觸,并用深度學(xué)習(xí)指令集直接處理大規(guī)模的神經(jīng)元和突觸,一條指令完成一組神經(jīng)元的處理。相較于CPU和GPU的馮諾依曼結(jié)構(gòu),NPU通過突觸權(quán)重實現(xiàn)存儲和計算一體化,從而提高運行效率。NPU是ASIC芯片的一種,目前主要應(yīng)用于深度學(xué)習(xí)和機器學(xué)習(xí)等人工智能任務(wù)。AI芯片類型GPUASICFPGAApplicationSpecificIntegratedCircuit,即專用集成電路,有全定制和半定制兩種設(shè)計方式。ASIC芯片可根據(jù)終端功能的不同分為TPU、DPU、VPU和NPU等。其中,TPU為張量處理器,專用于機器學(xué)習(xí),如Field-ProgrammableGate
Array,即現(xiàn)場可編程門陣列,其是作為專用集成電路領(lǐng)域中的一種半定制電路而出現(xiàn)的,既解決了定制電路的不足,又克服了原有可編程器件門電路數(shù)有限的缺點簡介圖形處理單元Google于2016年5月研發(fā)針對Tensorflow平臺的可編程AI;DPU即DataProcessingUnit,可作為數(shù)據(jù)中心等計算場景的加速引擎;VPU即VideoProcessingUnit,是智能視頻處理ASIC芯片非常適合人工智能相關(guān)的應(yīng)用場景。整體而言,①現(xiàn)場可編程性(靈活性):可使FPGA通過編程實現(xiàn)任意芯片的邏輯功能,這也是其被稱為“萬能芯片”的原因。邏輯芯片如ASIC類似于一張出廠時就寫有數(shù)據(jù)且不可擦除的CD,用戶只需要放在CD播放器里就可以聽到音樂;而FPGA類似于一張空白的CD,需要用戶自己使用刻錄機燒寫數(shù)據(jù)內(nèi)容到盤里,且用戶可以擦除上面的數(shù)據(jù),反復(fù)刻錄;②開發(fā)周期短:邏輯芯片如ASIC制造流程包括邏輯實現(xiàn)、布線處理和流片等多個步驟,而FPGA無需布線、掩膜和定制流片等,因而可以簡化開發(fā)流程,縮短開發(fā)周期①性能相對較強:例如NVIDIA首款專門為深度學(xué)習(xí)設(shè)計的芯片TeslaP100數(shù)據(jù)處理速度是其2014年推出GPU系列的12倍;Google為機器學(xué)習(xí)定制的芯片TPU將硬件性能提升至相當(dāng)于當(dāng)前芯片按照摩爾定律發(fā)展特性通用性相對較好
7年后的水平;②體積小重量輕:ASIC芯片作為集成電路技術(shù)與特定用戶的整機或系統(tǒng)技術(shù)緊密結(jié)合的產(chǎn)物,與通用集成電路相比具有體積更小、重量更輕等優(yōu)點能耗成本高低低高較高高中較高高算力代表廠商NVIDIA、AMDGoogle、Intel、NVIDIA、寒武紀(jì)、瀾起科技、海思、地平線等Intel、AMD、百度等20資料:電子工程專輯,半導(dǎo)體圈,電子工程世界,浪潮企業(yè)級解決方案,格隆匯,十大品牌網(wǎng),芯智訊,國海證券研究所不同于GPU與CPU的頻繁交互,NPU加速神經(jīng)網(wǎng)絡(luò)計算效率更高GPU的加速NPU的加速FPGA內(nèi)部架構(gòu)圖p
GPU僅執(zhí)行矩陣乘法和加法的并行計算,神經(jīng)網(wǎng)絡(luò)p
NPU與GPU的區(qū)別在于每層神經(jīng)元的計算結(jié)果不用輸出到主內(nèi)存,而是按照神經(jīng)網(wǎng)絡(luò)的連接直接傳遞到下層神經(jīng)元繼續(xù)計算,因此其在運算性能和功耗上都得到很大提升。p
FPGA與CPU、GPU以及以NPU為代表的ASIC芯片等的核心區(qū)別是:其底層邏輯運算單元的連線和邏輯布局未固化,因而能夠滿足用戶自行設(shè)計、研制和生產(chǎn)集成電路的需求。模型的構(gòu)建和數(shù)據(jù)流的傳輸仍然在CPU上進行。p
流程:?
CPU加載權(quán)重數(shù)據(jù),按照代碼構(gòu)建神經(jīng)網(wǎng)絡(luò)模型,將每層的矩陣運算通過CUDA或OpenCL等類庫接口傳送到GPU上實現(xiàn)并行計算,輸出結(jié)果;?
CPU調(diào)度下層神經(jīng)元組矩陣數(shù)據(jù)計算,直至神經(jīng)網(wǎng)絡(luò)輸出層計算完成,得到最終結(jié)果。p
流程:p
FPGA的構(gòu)成:CPU在整個運行過程中主要是負責(zé)數(shù)據(jù)的加載和業(yè)務(wù)流程的控制,其將編譯好的神經(jīng)網(wǎng)絡(luò)模型文件和權(quán)重文件交由NPU后即等待最終結(jié)果的輸出。?
可編程邏輯塊(CLB):可編程電路,是實現(xiàn)邏輯功能的基本單元,通常規(guī)則排列成一個陣列,散布于整個芯片中。?
輸入/輸出模塊(IOB):可編程電路,主要完成芯片上的邏輯與外部引腳的接口。p
CPU與GPU如何交互:?
獲取GPU信息,配置GPUid;?
加載神經(jīng)元參數(shù)到GPU;?
GPU加速神經(jīng)網(wǎng)絡(luò)計算;?
接收GPU計算結(jié)果。p
NPU與GPU如何交互:?
向NPU傳入模型文件,得到模型task;?
獲取task的輸入輸出信息;?
拷貝輸入數(shù)據(jù)到模型內(nèi)存中;?
運行模型,得到輸出數(shù)據(jù)。?
可編程互連資源(PIR):可編程電路。?
靜態(tài)存儲器(SRAM):用于存放編程數(shù)據(jù)。p
主要應(yīng)用于智能手機、便攜式移動設(shè)備及汽車等。21資料:51CTO,半導(dǎo)體圈,國海證券研究所手機端:處理器高度集成,在現(xiàn)有制程工藝下加入NPU或須在性能釋放上做出讓步CPUAI相關(guān)(TPU/NPU
etc.)廠商產(chǎn)品線最新型號制程GPU代表機型核心數(shù)量核心頻率(GHz)驍龍400系列(適用于入門級和低端手機,性能較低,適合日常使用)Adreno613955MHz驍龍4Gen24nm雙核A78+六核A552.2+2.0-Redmi12、RedmiNote12R驍龍600系列(適用于中端手機,性能較強,能夠滿足大部分用戶的需求)驍龍6Gen14nm4nm四核A78+四核A552.2+1.8Adreno710AI性能增加3倍AI性能提升2倍榮耀X50、iQOOZ8X高通驍龍700系列(適用于高端手機,性能更強,適合游戲和多媒體應(yīng)用)單核X2+單核A710+四核A510Adreno725580MHzrealmeGTNeo5SE、RedmiNote12Turbo、小米POCOF5驍龍7+Gen22.91+2.49+1.8Hexagon芯片:新增對于INT4精度AI計算的支持,與INT8相比,INT4將帶來60%的能效提升和90%的AI推理性能提升小米13/小米13Pro/小米13Ultra、vivoX90Pro+/XFold2、榮耀Magic5/5Pro/5至臻版、三星GalaxyS23/S23+/S23Ultra驍龍800系列(適用于旗艦手機,性能最強,能夠處理高負荷的任務(wù))單核X3+雙核A715+雙核A710+三核A510Adreno740680MHz驍龍8Gen24nm3.2+2.8+2.8+2.06核,峰值性能提升20%,光線追蹤性能達到4倍NPU性能提升2倍,具有16核(35TOPS)的神經(jīng)網(wǎng)絡(luò)引擎,可加速機器學(xué)習(xí)A17ProA163nm4nm6核(2性能核4能效核)
3.78+2.11iPhone15Pro/15ProMax蘋果系列Apple
A具有16核(17TOPS)的神經(jīng)引擎,可加速機器學(xué)習(xí)iPhone14Pro/14ProMax、iPhone15、iPhone15Plus6核(2大核4小核)3.46+2.025核HUAWEIMate60/Mate60Pro/Mate60Pro+、HUAWEIMateX58核(1超大核3大核4小核)Maleoon910308~750MHz麒麟9000S麒麟9000E-2.62+2.15+1.533.13+2.54+2.05-海思麒麟系列8核(1超大核3大核4能效核)Mali-G78MP22,8核NPU采用雙核設(shè)計(一大核一小核)5nmHUAWEIMate40注:表格內(nèi)容為根據(jù)公開資料信息匯總整合而成,或與實際參數(shù)存在出入,僅供參考。22資料:驅(qū)動之家,快科技,高通官方,天極網(wǎng),九鋒網(wǎng),AI奇點,新智元,IT之家,國海證券研究所手機端:處理器高度集成,在現(xiàn)有制程工藝下加入NPU或須在性能釋放上做出讓步(續(xù))CPUAI相關(guān)(TPU/NPU
etc.)廠商產(chǎn)品線最新型號制程GPU代表機型核心數(shù)量核心頻率(GHz)Mali-G57MC2天璣6000系列天璣6100+6nm雙核A76+六核A552.2+2.0--realme11x天璣7000系列(入門級)Mali-G610MC4天璣7200Ultra天璣82004nm4nm雙核A715+六核A510四核A78+四核A55--聯(lián)發(fā)科RedmiK60E、vivoS16Pro、vivoV27Pro、RedmiNote12TPro(Ultra)、vivoS17Pro、OPPOReno10Pro、小米Civi3(Ultra)天璣8000系列(中高端)Mali-G610MC6950MHz3.1+2.0MediaTekAPU580MediaTekAPU690賦能AI超級分辨率(AI-SR)和AI降噪(AI-NR)等應(yīng)用的省電技術(shù)天璣9000系列(旗艦級)單核X3+三核A715+四核A510Immortalis-G715iQOONeo8Pro、vivoX90s、RedmiK60至尊版、小米13TPro天璣9200+Exynos1380Exynos22004nm3.35+3.0+2.02.4+2.0Mali-G68MP5608MHz內(nèi)置AI引擎,其增強型NPU的算力為4.9TOPS5nmLPE四核A78+四核A55GalaxyA54、GalaxyM54三星谷歌系列Exynos其NPU具有乘法累加運算(MAC)操作功能,相較于上一代AI性能提升一倍以上,且支持FP16、INT8、INT16等數(shù)據(jù)格式Xclipse9201.3GHz(AMD單核X2+三核A710+四核A510GalaxyS22、GalaxyS22+、GalaxyS22Ultra4nm4LPE5nm2.8+2.52+1.822.85+2.35+1.8RDNA2)搭載神經(jīng)網(wǎng)絡(luò)處理器Next-genTensorProcessingUnit(TPU)雙核X1+雙核A78+四核A55Mali-G710MP7,8核Tensor
G2Pixel7/7Pro注:表格內(nèi)容為根據(jù)公開資料信息匯總整合而成,或與實際參數(shù)存在出入,僅供參考。23資料:驅(qū)動之家,聯(lián)發(fā)科官網(wǎng),三星官網(wǎng),新品問問,IT之家,國海證券研究所驍龍8Gen3讓手機運行大模型提速,驍龍
X
Elite助力高通切入AI
PC賽道p
高通在2023驍龍技術(shù)峰會上發(fā)布用于AI手機的驍龍8Gen3和用于AIPC的驍龍X
Elite,率先成為同時搶占生成式AI應(yīng)用落地的兩個端側(cè)賽道的芯片廠商。就手機端而言,搭載了驍龍8Gen3的手機運行StableDiffusion模型,只用0.6秒即在本地生成了一張圖像,其相較于驍龍8Gen2的15秒很大程度上優(yōu)化了移動終端生成式AI的推理速度;就PC端而言,高通開創(chuàng)性地推出驍龍XElite平臺,該處理器不僅拓展了生成式AI應(yīng)用的廣度,也是高通強勢切入PC市場的重要舉措。HexagonNPU——雙平臺并進AI手機AIPC驍龍8Gen3采用的高通AI引擎擁有面向移動終端的強大HexagonNPU,集成了升級后的硬件加速單元、微切片推理單元、加強張量、標(biāo)量和矢量單元,所有單元共享2倍帶寬的大容量共享內(nèi)存。同時支持INT8+INT16的混合精度以及INT4、INT8、INT16和FP16的所有精度。據(jù)機器之心報道,其性能較前代提升98%,能效提升40%。驍龍8Gen3首次支持運行100億參數(shù)的模型,規(guī)模邁入百億量級。同時將StableDiffusion生成圖像的時間降到了1秒之內(nèi),創(chuàng)下最快速度。在跑Meta大語言模型Llama2-7B時,驍龍8Gen3每秒可以生成20個token,同樣是手機終端側(cè)最快之一。驍龍XElite處理器采用4nm制程工藝,集成定制的高通OryonCPU,據(jù)機器之心報道,其運行速度是Intel12核處理器的2倍,功耗比Intel競品低68%,高峰時段的運行速度比蘋果M2快了50%。驍龍XElite專為AI打造,其采用業(yè)界領(lǐng)先的、集成HexagonNPU的高通AI引擎,異構(gòu)算力高達75TOPS,支持在終端側(cè)運行超過130億參數(shù)的生成式AI模型,面向70億參數(shù)大模型每秒生成30個token,AI處理速度是競品的4.5倍。據(jù)高通官方,搭載驍龍XElite的PC預(yù)計將于2024年中面市。24資料:機器之心,高通官網(wǎng),國海證券研究所Intel發(fā)布首款集成式NPU,Meteor
Lake架構(gòu)或帶領(lǐng)數(shù)億臺PC進入AI時代p
MeteorLake是Intel首款集成了NPU的處理器產(chǎn)品,能在PC上實現(xiàn)高能效本地推理。在CPU和GPU之外,NPU能以更好的能效比實現(xiàn)對人工智能任務(wù)不同維度的加速,如視頻會議時的背景虛化、眼睛角度矯正以及對人的追蹤等。通過低功耗的人工智能加速模塊,可以一定程度降低CPU和GPU的使用,以換取筆記本更好的電池續(xù)航。MeteorLake被分為四個部分:SoC、IO、CPU和GPU,NPUAI加速引擎內(nèi)置于SoC模塊。GPU、NPU、CPU如何分工協(xié)作適合高性能、高吞吐需求的AI工作,如融合了AI的媒體/3D/渲染通道等。GPUNPU低功耗的AI引擎,適用于持續(xù)的AI工作。CPU響應(yīng)快,適用于輕量級、低延遲需求的AI工作。NPU支持的神經(jīng)網(wǎng)絡(luò)生成式AI+NLP計算機視覺圖像分類圖像增強協(xié)作轉(zhuǎn)換器編碼器風(fēng)格轉(zhuǎn)移超分辨率背景分割大型語言模型(LLaMAV2)生成對抗網(wǎng)絡(luò)物體檢測圖像分割深度提取自動重新構(gòu)圖眼睛注視矯正音頻降噪圖像生成(StableDiffusion)音頻生成語音轉(zhuǎn)文本25資料:機核,熱點科技,盒六網(wǎng),國海證券研究所NPU處理人工智能任務(wù)具有低功耗高效率優(yōu)勢,三顆U協(xié)同助力優(yōu)化PCAI加速Stable目前,Intel已經(jīng)開始與軟件開發(fā)商接觸以推動終端AI的生態(tài)應(yīng)用,例如,通過Diffusion中Unet+、Unet-構(gòu)成的圖像生成在NPU上具備最低的功耗和最高的效率,而如果讓NPU和GPU配合承擔(dān)一部分工作,則能在最短的時間內(nèi)完成任務(wù)。WindowsStudioEffects調(diào)用NPU,以使Teams通過OpenVINO引擎實現(xiàn)人物背景虛化;AdobePhotoshop調(diào)用DirectML進行AI加速等。p
OpenVINO是Intel研發(fā)的專門用于優(yōu)化和部署人工智能推理的工具包,能夠通過CPU、GPU和NPU資源的動態(tài)調(diào)整以實現(xiàn)AI加速。應(yīng)用ONNXRT(開源)AIAPIDirectMLOpenVINO(Intel)NPUUMD驅(qū)動程序軟件堆棧庫、編譯器驅(qū)動程序MLAS庫MKLDNN庫GPUUMD驅(qū)動程序WDDMKMD驅(qū)動程序MCDMKMD驅(qū)動程序NPU固件顯卡固件硬件CPUGPUNPU26資料:盒六網(wǎng),國海證券研究所PC搭載NPU成為AI
PC時代開啟的重要標(biāo)志,疊加Windows系統(tǒng)迭代或?qū)頁Q機潮p
NPU作為人工智能相關(guān)任務(wù)專用引擎成為PC的核心零部件之一為AIGC在端側(cè)落地打開可能性,是AI時代PC產(chǎn)品的重要革新。NPU相較于GPU擁有更優(yōu)的能耗比,這意味著隨著NPU在PC上普及,其與GPU的分工或?qū)⒏用鞔_。此先作為圖像處理專用芯片的GPU亦常用于深度學(xué)習(xí)相關(guān)領(lǐng)域,對矩陣加乘的并行計算能力使GPU在NPU之前一直是AI模型訓(xùn)練和推理倚賴的重要硬件單元。隨著Transformer成為LLM的主流架構(gòu),并將CV和NLP這兩個研究分支統(tǒng)一起來,神經(jīng)網(wǎng)絡(luò)成為構(gòu)建AI模型的基本單元,NPU作為張量處理器能夠在更短的時間內(nèi)完成大規(guī)模神經(jīng)網(wǎng)絡(luò)計算任務(wù),因而其相較于GPU是更適合人工智能相關(guān)任務(wù)的加速引擎。NPU將作為端側(cè)重要的基礎(chǔ)設(shè)施之一為PC端搭載大模型提供前提條件,其普及標(biāo)志著AIPC時代的來臨。p
PC出貨量高企往往與Windows操作系統(tǒng)的重要版本更新相伴相生,考慮到WindowsCopilot和內(nèi)置于PC的本地大模型在功能上互為補充,微軟預(yù)計于2024年發(fā)布的Windows12操作系統(tǒng)有望成為推動換機潮的另一個重要因素。內(nèi)置于PC的大模型主要是從本地如硬盤中提取用戶信息進行推理,而WindowsCopilot更多的還是從云端如OneDrive中獲得數(shù)據(jù),在某些對數(shù)據(jù)私密性要求較高的場景下前者相對適用,但內(nèi)置于PC的大模型和WindowsCopilot并不完全是競對關(guān)系,而是相互補充,從而為終端用戶提供更好的AIPC使用體驗。2009~2023
PC季度出貨量(in
million
units)100
Windows
7Windows
8Windows
8.1Windows
10Windows
1190807060504027資料:微軟官網(wǎng),PChome電腦之家,稀土掘金,快科技,國海證券研究所目前端側(cè)芯片算力對推理任務(wù)支持度的測算:文本類型任務(wù)p
根據(jù)經(jīng)驗公式,大模型在推理過程中每個token需要進行約2N次計算,其中N為模型參數(shù)量。我們假設(shè)推理時的硬件利用率為50%,模型參數(shù)量分別為5B/50B/150B。?
AI芯片算力為10TOPS時完成各種任務(wù)所需時長的測算(單位:秒):長生短(如提取摘要)情景二短生長(如內(nèi)容創(chuàng)作)情景二情景(英文)文本模型參數(shù)量情景一情景三10000情景一情景三10000輸入輸出2000100500050075075075050505010001000100010050002502502505B5.656.0168.014.7146.7440.028.7286.7860.02.813.6136.0408.027.3273.3820.050B28.084.0150B?
AI芯片算力為30TOPS時完成各種任務(wù)所需時長的測算(單位:秒):長生短(如提取摘要)情景二短生長(如內(nèi)容創(chuàng)作)情景二情景(英文)文本模型參數(shù)量情景一情景三情景一情景三輸入輸出20001005000500100001005000100005B1.94.99.695.6286.70.99.34.545.3136.09.191.150B18.756.048.9146.7150B28.0273.3?
AI芯片算力為100TOPS時完成各種任務(wù)所需時長的測算(單位:秒):長生短(如提取摘要)情景二短生長(如內(nèi)容創(chuàng)作)情景二情景(英文)文本情景一情景三情景一情景三輸入輸出20001005000500100001005000100005B0.65.61.52.90.32.88.41.42.7模型參數(shù)量50B14.744.028.786.013.640.827.382.0150B16.828資料:OneFlow,國海證券研究所目前端側(cè)芯片算力對推理任務(wù)支持度的測算:圖像類型任務(wù)p
基本思路和假設(shè)同上,模型參數(shù)量分別為7B/15B/50B。根據(jù)OpenAI,1張高分辨率圖像=85+170*(圖像分辨率/512×512)tokens。?
AI芯片算力為10TOPS時完成各種任務(wù)所需時長的測算(單位:秒):圖像分辨率情景(高分辨率)圖像模型參數(shù)量情景一512×5120.7情景二1024×10242.1情景三分辨率7B512×1024/1024×5121.22.68.515B50B1.54.65.115.3?
AI芯片算力為30TOPS時完成各種任務(wù)所需時長的測算(單位:秒):圖像分辨率情景二1024×10240.7情景(高分辨率)圖像情景一512×5120.2情景三分辨率7B512×1024/1024×5120.40.92.8模型參數(shù)量15B50B0.51.51.75.1?
AI芯片算力為100TOPS時完成各種任務(wù)所需時長的測算(單位:秒):圖像分辨率情景二1024×10240.2情景(高分辨率)圖像情景一512×5120.1情景三分辨率7B512×1024/1024×5120.10.30.9模型參數(shù)量15B50B0.20.50.51.529資料:OpenAI官網(wǎng),國海證券研究所相較于算力,未來PC和手機端搭載高規(guī)格模型最大的挑戰(zhàn)或來自于內(nèi)存p
大模型的落地不僅需要算力的配合,更需要足夠的內(nèi)存空間用于部署。目前在端側(cè)落地的大模型以數(shù)十億量級參數(shù)為主,更高規(guī)格的模型由于需要更多的內(nèi)存占用,因而從短期來看難以實現(xiàn)產(chǎn)品化。解決路徑方面,在NPU高度集成的情況下,需要拔高終端本身的內(nèi)存配置;若未來NPU同GPU一樣獨立出來,則需要進一步發(fā)展其顯存以使芯片的存儲、傳輸和計算能力達到平衡,從而為終端模型運行在理想狀態(tài)下提供全方位支持。?
以vivo為例,探討不同規(guī)格模型的運行內(nèi)存占用情況(目前手機主流的運行內(nèi)存檔位是8G~12G):參數(shù)量1B(經(jīng)優(yōu)化后的)內(nèi)存占用對手機內(nèi)存配置的最低要求目前市面上的手機基本都能運行這一規(guī)格的模型8G落地情況1G4G-已實現(xiàn)產(chǎn)品化,但性能較差,難以滿足用戶需求已實現(xiàn)產(chǎn)品化,是vivo目前的最優(yōu)解決方案未實現(xiàn)產(chǎn)品化7B13B12G內(nèi)存的手機也難以保證使用體驗?
以LLama2(有7B、13B和70B三個版本,是搭載在端側(cè)的主力模型之一)為例,探討模型參數(shù)量、數(shù)據(jù)精度和內(nèi)存占用情況的關(guān)系:數(shù)據(jù)精度內(nèi)存占用情況(G)INT4INT8FP16FP327B3.36.513.026.1參數(shù)量13B70B6.112.165.224.248.432.6130.4260.830資料:騰訊科技,新智元,高通中國,菜鳥筆記,國海證券研究所為支持端側(cè)運行高規(guī)格大模型,AI
PC的散熱模組可能會迎來重構(gòu)p
散熱能力是高算力芯片的一個主要瓶頸,隨著搭載在AIPC和AI手機上的模型規(guī)格不斷提升,NPU性能釋放可能會更加激進,為配合硬件升級,相較于傳統(tǒng)PC/手機,AIPC/手機可能會給出全新的散熱解決方案。從數(shù)據(jù)中心來看,關(guān)鍵痛點是耗電和散熱,在芯片的有限體積內(nèi),如何將高集成、高能量密度產(chǎn)生的熱值和熱效應(yīng)準(zhǔn)確計算并順利排出,已經(jīng)成為多源異構(gòu)芯片3D封裝中最具挑戰(zhàn)性的問題。目前的消費電子終端,手機方面,不銹鋼VC均熱板開始逐漸取代銅VC均熱板成為散熱主力;PC的散熱方案一般以組合的形式呈現(xiàn),而散熱模組(ThermalModule)從結(jié)構(gòu)上看主要包括散熱底座、熱管、散熱鰭片、散熱風(fēng)扇等物件。現(xiàn)階段PC的散熱技術(shù)簡介這種技術(shù)利用熱量對流擴散的特性,以空氣為導(dǎo)體順應(yīng)風(fēng)速的流動,帶走PC硬件所產(chǎn)生的熱量。這種技術(shù)的優(yōu)勢在于實用性風(fēng)冷散熱技術(shù)液冷散熱技術(shù)強,任何硬件都可以運用風(fēng)冷散熱進行降溫,同時安裝也較為簡單,僅需將風(fēng)扇安置在相應(yīng)的硬件上方即可。并且它還具備安全性高、易維護、不易損壞三大特點。水冷散熱一般由熱交換器、循環(huán)系統(tǒng)、水箱、水泵以及關(guān)鍵的水來構(gòu)成。常規(guī)來說,水本身的導(dǎo)熱性不如風(fēng)冷散熱,但水的流動特性所帶來的熱量傳導(dǎo)效率超越風(fēng)冷的速度,進而創(chuàng)造出更快的散熱效果,再配合制冷液和高功率制冷系統(tǒng),就使得具備更大熱容量的水,帶來了更高的散熱效率。同時水冷系統(tǒng)的散熱特性更加穩(wěn)定,不會因為長時間運行而產(chǎn)生散熱瓶頸期。?
散熱鰭片:簡稱散熱片,是直接與芯片接觸的介質(zhì),直接吸收熱量。散熱鰭片的材質(zhì)對于散熱效果有不同影響,如,鋁制鰭片的成本低,散熱效果較好,而銅制鰭片導(dǎo)熱更快??紤]到鋁制鰭片需要達到一定規(guī)模體積且需要一定數(shù)量熱管才能完全發(fā)揮作用,因此在筆記本電腦中,銅制鰭片會更為合適。此外,散熱鰭片的表面積大小也會影響最終的散熱效果,表面積越大,散熱效果越好。?
熱管:其散熱效率主要與直徑、數(shù)量、長度、彎曲程度以及扁平程度有關(guān)。通常而言銅管越扁,熱對流越慢,導(dǎo)熱性能越差。2根熱管足以應(yīng)對大部分不超頻家用以及辦公電腦CPU滿負載的發(fā)熱量,高端CPU則需要配置4~8根導(dǎo)熱銅管。綜合而言,熱管從芯片到鰭片的距離越短、直徑越粗、彎折次數(shù)越少、彎折角度越小、數(shù)量越多,散熱性能越好。這種技術(shù)一般是作為風(fēng)冷和水冷的補充。VC真空腔均熱板通常被置于芯片和銅質(zhì)熱管之間,相較于固態(tài)金屬或者傳統(tǒng)銅質(zhì)熱管所帶來的金屬傳導(dǎo)散熱,它將散熱面積覆蓋得更大,讓熱量得以更均勻地導(dǎo)出(真空腔均熱板通過腔內(nèi)導(dǎo)熱紋理擴大了熱交換面積,讓高溫區(qū)域的熱量以蒸汽的形式迅速均勻地導(dǎo)出)VC均溫板散熱技術(shù)31資料:集微網(wǎng),中國財富網(wǎng),鴻富瀚科技官網(wǎng),國海證券研究所大模型在端側(cè)落地或使AI
PC/手機廠商成為這一服務(wù)模式下的流量入口p
大模型在端側(cè)落地的主要受益方包括硬件(以NPU為主)設(shè)計制造商、大模型提供商以及終端設(shè)備(AIPC/手機)廠商,其中終端設(shè)備廠商作為唯一直接面向C端用戶的角色,可能會成為這一服務(wù)模式下的流量入口。大模型的兩種商業(yè)模式產(chǎn)業(yè)鏈邏輯在云端通過付費API接口或類ChatGPT應(yīng)用提供服務(wù)在端側(cè)通過AIPC/手機提供服務(wù)企業(yè)用戶大模型提供商企業(yè)用戶個人用戶算力提供商大模型提供商核心終端設(shè)備廠商核心個人用戶硬件設(shè)計制造商預(yù)先搭載大模型/大模型商店等(可能也會上線自研模型),重點是打通從硬件到操作系統(tǒng)再到大模型的整個鏈條,并通過獨家組裝、設(shè)計、優(yōu)化以及模型蒸餾等能力使模型發(fā)揮出最佳性能生態(tài)構(gòu)建插件商店/GPTs應(yīng)用商店等,重點是深挖開發(fā)者社區(qū)對終端設(shè)備廠商而言,一方面可就NPU對產(chǎn)品進行提價;另一方面可能會向用戶收取大模型及相關(guān)應(yīng)用的服務(wù)費。成本主要由硬件采購成本以及向大模型提供商支付的費用構(gòu)成。綜合看來,終端設(shè)備廠商主要扮演中間人角色,負責(zé)將整個產(chǎn)業(yè)鏈條串聯(lián)起來,并基于其組裝、設(shè)計、優(yōu)化以及服務(wù)能力賺取“差價”利潤對大模型提供商而言,就API接口,采取按量計費模式;就類ChatGPT應(yīng)用,采取訂閱制;就插件商店和GPTs應(yīng)用商店,采取收入抽成模式。成本主要由GPU采購成本、模型訓(xùn)練成本(如電費等)、數(shù)據(jù)成本(或有)以及人力成本構(gòu)成變現(xiàn)與收入分配32資料:機器之能,ChatGPT官網(wǎng),國海證券研究所三、AI
PC/手機產(chǎn)業(yè)鏈相關(guān)標(biāo)的33聯(lián)想集團:率先推出首款A(yù)I
PC概念機,預(yù)計將于2024年下半年推出p
2023年10月,聯(lián)想集團在第九屆聯(lián)想創(chuàng)新科技大會上展示了其人工智能個人電腦(AIPC)產(chǎn)品,該產(chǎn)品預(yù)計將于2024年下半年推出。據(jù)聯(lián)想官方,其AIPC能夠創(chuàng)建個性化的本地知識庫,并通過模型壓縮技術(shù)運行個人大模型,實現(xiàn)用戶與人工智能的自然交互。AIPC的兩層內(nèi)涵AIPoweredComputing,AI驅(qū)動的計算,指包括PC、平板、手機、汽車、服務(wù)AIPersonalComputer,即AI個人電腦,是新一代智能終端產(chǎn)品器等各類端和邊緣側(cè)全方位地搭載AI相關(guān)的能力,是更廣泛的一個概念內(nèi)嵌AI功能,通過大模型壓縮技術(shù),可以創(chuàng)建個性化本地知識庫,能運行個人模型,和用戶實現(xiàn)自然交互作為工作助手,安排會議、寫文檔或者提煉總結(jié)要點基于電腦上的照片和視頻,直接剪輯生成內(nèi)容34資料:財聯(lián)社,36Kr,聯(lián)想TechWorld2023大會,砍柴網(wǎng),國海證券研究所聯(lián)想集團:發(fā)布AI
Phone和功能性產(chǎn)品AI
Twin,后者同時賦能個人與企業(yè)用戶p
就個人用戶而言,AITwin被定義為用戶在數(shù)字世界的延伸,其本質(zhì)上是基于本地知識庫生成的屬于個人的專有大模型,其能夠在最大范圍內(nèi)了解用戶的思維方式并給出解決方案。由于AITwin只會被存儲在本地化的設(shè)備或家庭服務(wù)器上,個人數(shù)據(jù)不會被共享或上傳至公有云平臺,因此用戶的個人隱私和數(shù)據(jù)安全能夠得到有效保護;企業(yè)級AITwin涵蓋一系列企業(yè)級人工智能應(yīng)用,其能夠打通企業(yè)內(nèi)部各類智能設(shè)備、邊緣和私有云,聯(lián)動各種企業(yè)級軟件,綜合和分析各類信息并給出最優(yōu)建議。例如,企業(yè)級AITwin可以綜合考慮企業(yè)的差旅政策、審批流程與員工的個人信息和偏好,為用戶指定一個合理的計劃。AITwin類型個人企業(yè)級定位個人助理企業(yè)級智能應(yīng)用的組合PC、私有服務(wù)器等運行終端PC、手機、汽車等智能終端AIPhone手語翻譯解決方案35資料:36Kr,聯(lián)想TechWorld2023大會,極客網(wǎng),國海證券研究所vivo:藍科技+6nm自研影像芯片V3+聯(lián)發(fā)科天璣9300助力打造AI手機X100系列p
2023年11月13日,vivo發(fā)布新品X100系列,該系列作為vivo旗下全新的AI手機,落地終端側(cè)70億參數(shù)大語言模型,跑通端側(cè)130億參數(shù)模型。?
藍晶芯片技術(shù)棧:結(jié)合vivo自研影像芯片的能力,以軟硬一體化設(shè)計為用戶帶來更?
CPU:全大核架構(gòu),4×Cortex-X4超大核+4×Cortex-A720大核強大的性能體驗?
GPU:Immortalis-G720,性能大幅提升46%,功耗降低40%?
藍海續(xù)航系統(tǒng):打造更大容量、更快閃充、更輕薄體積的電池技術(shù),同時開創(chuàng)了開源、降耗、提效的全新模式,滿足用戶對手機續(xù)航的新需求?
藍心大模型:由5款vivo自研大模型組成的矩陣,分別覆蓋十億、百億、千億三個參數(shù)量級?
AI處理器:APU790,基于聯(lián)發(fā)科開發(fā)的混合精度INT4量化技術(shù)和內(nèi)存硬件壓縮技術(shù)NeuroPilotCompression,天璣9300可支持端側(cè)運行10億、70億、130億AI大語言模型,并且率先實現(xiàn)在移動芯片上運行330億
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 辦公室綠植布置租賃合同
- 交通樞紐租賃合同
- 鋁單板安裝合同超市室內(nèi)裝飾工程
- 苗木種植聯(lián)盟合同
- 招投標(biāo)環(huán)境保護措施與合同管理
- 銀行系統(tǒng)防雷施工合同
- 保健品總助崗位招聘合同
- 電力電纜敷設(shè)工程合同
- 銷售崗位聘用合同模板
- 企業(yè)間還款協(xié)議
- 保險案件風(fēng)險排查工作報告總結(jié)
- 三創(chuàng)賽獲獎-非遺文化創(chuàng)新創(chuàng)業(yè)計劃書
- 崗位競聘課件(完美版)
- 《學(xué)校章程》制訂工作會議紀(jì)要(六)
- 應(yīng)急管理部宣傳教育中心次招聘筆試真題2023
- (2024年)高一家長會課件
- 初中語文名著閱讀項目化學(xué)習(xí)教學(xué)設(shè)計
- 2024湖南旅游集團總部部分崗位招聘筆試參考題庫附帶答案詳解
- 視網(wǎng)膜病變護理
- 變壓器維護培訓(xùn)課件
- 腸梗阻保守治療
評論
0/150
提交評論