通信行業(yè)出海專題報(bào)告：技術(shù)+成本優(yōu)勢(shì)驅(qū)動(dòng)市占率持續(xù)提升 -頭豹

算力優(yōu)化與效率革命如何重塑行業(yè)生態(tài)報(bào)告提供的任何內(nèi)容（包括但不限于數(shù)據(jù)、文字、圖表、圖像等）均系頭豹研究院獨(dú)有的高度機(jī)密性文件（在報(bào)告編、匯編本報(bào)告內(nèi)容，若有違反上述約定的行為發(fā)生，頭豹研究院保留采取法律研究院開(kāi)展的所有商業(yè)活動(dòng)均使用“頭豹研究院”頭豹是國(guó)內(nèi)領(lǐng)先的行企研究原創(chuàng)內(nèi)容平臺(tái)和創(chuàng)新的數(shù)字化研究服務(wù)提供商。頭豹在中國(guó)已布局3大研究院，擁有近+注冊(cè)用戶，6,000+行業(yè)賽道覆蓋及相關(guān)研究報(bào)oliver.yuan@Leadleo.c頭豹研究院端側(cè)大模型定義為運(yùn)行在設(shè)備端的大規(guī)模人工端側(cè)大模型定義為運(yùn)行在設(shè)備端的大規(guī)模人工以低能耗提供高效且安全的AI處理，減少延遲并保護(hù)用戶隱私，適合個(gè)性化的AI應(yīng)用。取決身智能設(shè)備的普及程度以及AI大模型技術(shù)的成頭豹LeadLeon2023年中國(guó)端側(cè)大模型市場(chǎng)規(guī)模達(dá)8億元，持樂(lè)觀態(tài)度估計(jì)，預(yù)計(jì)2024年中國(guó)端側(cè)大模型市場(chǎng)將達(dá)到21億元生成式AI市場(chǎng)的蓬勃興起，正驅(qū)使大模型廠商積極探索端側(cè)應(yīng)用新藍(lán)海，以此作為增長(zhǎng)的新引擎。端側(cè)大模型通過(guò)在設(shè)備本地運(yùn)行，有效降低了數(shù)據(jù)傳輸延遲，增強(qiáng)了隱私保護(hù)，拓寬了AI應(yīng)用場(chǎng)景的廣度與深度。與此同時(shí)，下游市場(chǎng)需求的強(qiáng)勁增長(zhǎng)，特別是手機(jī)與自動(dòng)駕駛行業(yè)的蓬勃發(fā)展，正強(qiáng)力拉動(dòng)端側(cè)大模型市場(chǎng)的擴(kuò)張，2023年中國(guó)端側(cè)大模型市場(chǎng)規(guī)模達(dá)8億元，預(yù)計(jì)2024年中國(guó)端側(cè)大模型市場(chǎng)將達(dá)到21億元。依托技術(shù)實(shí)力和生態(tài)建設(shè)，頭部大模型廠商紛紛投入端側(cè)大模型市場(chǎng)，利用在云端大模型領(lǐng)域的技術(shù)優(yōu)勢(shì)，商湯商量、阿里通義以及面壁智能率先在端側(cè)大模型領(lǐng)域取得領(lǐng)先突破。3研究框架u中國(guó)端側(cè)大模型行業(yè)概述研究框架u中國(guó)端側(cè)大模型行業(yè)概述?定義與分類?發(fā)展歷程?驅(qū)動(dòng)力?市場(chǎng)規(guī)模u中國(guó)端側(cè)大模型行業(yè)產(chǎn)業(yè)鏈分析?產(chǎn)業(yè)鏈?模型壓縮技術(shù)?成本構(gòu)成?廠商類型?行業(yè)場(chǎng)景?業(yè)務(wù)場(chǎng)景u中國(guó)端側(cè)大模型行業(yè)分析?政策分析?行業(yè)壁壘?競(jìng)爭(zhēng)格局?發(fā)展趨勢(shì)u中國(guó)端側(cè)大模型行業(yè)典型廠商分析?阿里云?商湯科技?面壁智能u方法論及法律聲明u業(yè)務(wù)合作頭豹LeadLeo6789202122232425262728294uAI大模型：指的是大型人工智能模型，通常由數(shù)十億至數(shù)百億個(gè)參數(shù)組成，用于各種自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)等任務(wù)。u模型壓縮技術(shù)：是一系列用于減少大型神經(jīng)網(wǎng)絡(luò)模型尺寸和計(jì)算復(fù)雜度的技術(shù)，包括剪枝、量化、蒸餾等方法，旨在減少模型大小的同時(shí)保持其性能。uIoT設(shè)備：指的是物聯(lián)網(wǎng)設(shè)備，通常具有較小的計(jì)算能力和存儲(chǔ)空間，但能夠通過(guò)互聯(lián)網(wǎng)進(jìn)行通信和數(shù)據(jù)交換。uPC設(shè)備：個(gè)人計(jì)算機(jī)，如臺(tái)式機(jī)、筆記本電腦等，通常具有較高的計(jì)算和存儲(chǔ)能力，適合運(yùn)行復(fù)雜的應(yīng)用程序和任務(wù)。u數(shù)據(jù)中心：指的是大規(guī)模的服務(wù)器集群，用于存儲(chǔ)和處理大量數(shù)據(jù)，支持云計(jì)算服務(wù)和網(wǎng)絡(luò)應(yīng)用。u服務(wù)器：通常指的是提供網(wǎng)絡(luò)服務(wù)、存儲(chǔ)和計(jì)算資源的計(jì)算機(jī)系統(tǒng)，可用于托管網(wǎng)站、應(yīng)用程序等。uBERT：是一種預(yù)訓(xùn)練的自然語(yǔ)言處理模型，采用Transformer架構(gòu)，能夠理解文本語(yǔ)境并在各種NLP任務(wù)中取得良好性能。uDistilBERT：是對(duì)BERT模型進(jìn)行了蒸餾（Distillation）的輕量化版本，通過(guò)減少參數(shù)和計(jì)算復(fù)雜度來(lái)提高模型的運(yùn)行效率。uTinyBERT：是進(jìn)一步輕量化的BERT模型，通過(guò)更深入的模型壓縮和優(yōu)化來(lái)適應(yīng)資源受限的環(huán)境，如移動(dòng)設(shè)備或物聯(lián)網(wǎng)設(shè)備。uJetsonAGXXavier：高性能嵌入式系統(tǒng)，具有GPU和AI計(jì)算能力，適用于邊緣計(jì)算和深度學(xué)習(xí)應(yīng)用。uTPU：谷歌推出的張量處理單元，是一種專門(mén)用于加速人工智能工作負(fù)載的定制硬件加速器。uPyTorchMobile：是PyTorch框架的移動(dòng)端部署版本，支持在移動(dòng)設(shè)備上運(yùn)行訓(xùn)練好的深度學(xué)習(xí)模型。uTensorFlowLite：是谷歌推出的用于在移動(dòng)設(shè)備和嵌入式系統(tǒng)上部署深度學(xué)習(xí)模型的輕量級(jí)框架。uONNX：開(kāi)放神經(jīng)網(wǎng)絡(luò)交換，是一種開(kāi)放的跨平臺(tái)深度學(xué)習(xí)模型表示格式，支持模型在不同框架之間的轉(zhuǎn)換和部署。u預(yù)訓(xùn)練模型：指的是在大規(guī)模文本數(shù)據(jù)上進(jìn)行預(yù)訓(xùn)練的神經(jīng)網(wǎng)絡(luò)模型，通常包含通用的語(yǔ)言或視覺(jué)理解能力，并可通過(guò)微調(diào)適應(yīng)特定任務(wù)。u中心云：指的是傳統(tǒng)的云計(jì)算架構(gòu)，數(shù)據(jù)和計(jì)算資源集中在大型數(shù)據(jù)中心進(jìn)行管理和運(yùn)行。u邊緣云：是一種分布式的云計(jì)算架構(gòu)，將計(jì)算和存儲(chǔ)資源放置在接近終端用戶的邊緣節(jié)點(diǎn)上，以提高服務(wù)響應(yīng)速度和降低網(wǎng)絡(luò)延遲。uAI芯片：專門(mén)用于加速人工智能計(jì)算任務(wù)的硬件芯片，能夠在高效率和低能耗的條件下進(jìn)行大規(guī)模并行計(jì)算。u知識(shí)蒸餾：是一種通過(guò)讓一個(gè)較大且性能較好的模型（教師模型）指導(dǎo)一個(gè)小型模型（學(xué)生模型）來(lái)提高學(xué)生模型性能的技術(shù)，通常用于模型壓縮和輕量化。頭豹LeadL5Chapter1行業(yè)概述o定義與分類o發(fā)展歷程o驅(qū)動(dòng)力o市場(chǎng)規(guī)模頭豹頭豹eadeeade6??端側(cè)大模型定義為運(yùn)行在設(shè)備端的大規(guī)模人工智能模型，與傳統(tǒng)的云端側(cè)大模型的定義安全計(jì)算存儲(chǔ)安全..用戶移動(dòng)設(shè)備IoT設(shè)備PC設(shè)備機(jī)器人AI大模型AI大模型模型壓縮技術(shù)端側(cè)大模型n端側(cè)大模型定義為運(yùn)行在設(shè)備端的大規(guī)模人工智能模型，這些模型通常部署在本地設(shè)備上，如智能手機(jī)、IoT、PC、機(jī)器人等設(shè)備。與傳統(tǒng)的云端大模型相比，端側(cè)大模型的參數(shù)量更小，因此可以在設(shè)備端直接使用算力進(jìn)行運(yùn)行，無(wú)需依賴云端算力。端側(cè)大模型端側(cè)大模型AIAI大模型VSVS模型訓(xùn)練方式：云端模型訓(xùn)練方式：數(shù)據(jù)中心或云端模型訓(xùn)練方式：云端模型訓(xùn)練方式：數(shù)據(jù)中心或云端模型推理方式：端側(cè)模型推理方式：服務(wù)器或云端模型推理方式：端側(cè)模型推理方式：服務(wù)器或云端參數(shù)量：參數(shù)量：多為十億級(jí)別參數(shù)量：多為百億級(jí)別nAI大模型通常在數(shù)據(jù)中心或云端進(jìn)行訓(xùn)練，使用大規(guī)模的計(jì)算資源和海量數(shù)據(jù)。相比之下，端側(cè)大模型由于資源限制，往往需要在設(shè)計(jì)和訓(xùn)練階段進(jìn)行模型壓縮和優(yōu)化。在推理方式上，AI大模型通常運(yùn)行在服務(wù)器或云端，通過(guò)強(qiáng)大的計(jì)算能力處理復(fù)雜的任務(wù)。然而，這種云端推理方式依賴于網(wǎng)絡(luò)連接，會(huì)帶來(lái)延遲和隱私問(wèn)題。端側(cè)大模型則是在本地設(shè)備上進(jìn)行推理。n參數(shù)量是AI大模型和端側(cè)大模型的一個(gè)顯著區(qū)別。AI大模型通常具有數(shù)十億甚至上百億的參數(shù)，如GPT-3的1,750億參數(shù)。這種巨大的參數(shù)量使得大模型能夠捕捉復(fù)雜的數(shù)據(jù)模式并在多種任務(wù)中表現(xiàn)出色。然而，端側(cè)設(shè)備的計(jì)算能力和存儲(chǔ)資源有限，因此端側(cè)大模型的參數(shù)量通常較小。通過(guò)模型壓縮技術(shù)，如知識(shí)蒸餾、剪枝和量化，端側(cè)大模型的參數(shù)量可以減少到幾百萬(wàn)或更少。例如，MobileBERT的參數(shù)量?jī)H為BERT的1/4左右，但依然能夠在移動(dòng)設(shè)備上高效運(yùn)行。來(lái)源：企業(yè)官網(wǎng)，頭豹研究院頭豹LeadL7?端側(cè)大模型在成本、能耗、可靠性、隱私和個(gè)性化方面相比云端推理具有顯著優(yōu)勢(shì)，并能夠以低能耗提供高效且安全的AI處理，減少延遲端側(cè)大模型市場(chǎng)驅(qū)動(dòng)力分析中心云邊緣云端側(cè)中心云邊緣云端側(cè)5G5G為實(shí)現(xiàn)規(guī)?；瘮U(kuò)展，為實(shí)現(xiàn)規(guī)?；瘮U(kuò)展，AI處理的重心，正在向邊緣轉(zhuǎn)移可靠性、性能和時(shí)延可靠性、性能和時(shí)延030304端側(cè)大模型02能耗隱私和安全能耗隱私和安全搜索《2024年中國(guó)端側(cè)大模型行業(yè)研究》0501成本優(yōu)勢(shì)個(gè)性化0501n從成本優(yōu)勢(shì)來(lái)看，AI推理的規(guī)模遠(yuǎn)高于AI訓(xùn)練。盡管訓(xùn)練單個(gè)模型會(huì)消耗大量資源，但大型生成式AI模型預(yù)計(jì)每年僅需訓(xùn)練幾次。然而，這些模型的推理成本將隨著日活用戶數(shù)量及其使用頻率的增加而增加。在云端進(jìn)行推理的成本極高，這將導(dǎo)致規(guī)模化擴(kuò)展難以持續(xù)。n從能耗來(lái)看，支持高效AI處理的邊緣終端能夠提供領(lǐng)先的能效，尤其是與云端相比。邊緣終端能夠以很低的能耗運(yùn)行生成式AI模型，尤其是將處理和數(shù)據(jù)傳輸相結(jié)合時(shí)。這一能耗成本差異非常明顯。n從可靠性、性能和時(shí)延來(lái)看，終端側(cè)AI處理能夠在云服務(wù)器和網(wǎng)絡(luò)連接擁堵時(shí)，提供媲美云端甚至更佳的性能。當(dāng)生成式AI查詢對(duì)于云的需求達(dá)到高峰期時(shí)，會(huì)產(chǎn)生大量排隊(duì)等待和高時(shí)延，甚至出現(xiàn)拒絕服務(wù)的情況。向邊緣終端轉(zhuǎn)移計(jì)算負(fù)載可防止這一現(xiàn)象發(fā)生。n從隱私和安全來(lái)看，端側(cè)大模型從本質(zhì)上有助于保護(hù)用戶隱私，因?yàn)椴樵兒蛡€(gè)人信息完全保留在終端上。對(duì)于企業(yè)和工作場(chǎng)所等場(chǎng)景中使用的生成式AI，這有助于解決保護(hù)公司保密信息的難題。n從個(gè)性化來(lái)看，數(shù)字助手將能夠在不犧牲隱私的情況下，根據(jù)用戶的表情、喜好和個(gè)性進(jìn)行定制。所形成的用戶畫(huà)像能夠從實(shí)際行為、價(jià)值觀、痛點(diǎn)、需求、顧慮和問(wèn)題等方面來(lái)體現(xiàn)一個(gè)用戶，并且可以隨著時(shí)間推移進(jìn)行學(xué)習(xí)和演進(jìn)。來(lái)源：中國(guó)統(tǒng)計(jì)局，CNNIC，頭豹研究院頭豹LeadL8行業(yè)研讀|2024/5?下游市場(chǎng)需求的強(qiáng)勁增長(zhǎng)，特別是手機(jī)與自動(dòng)駕駛行業(yè)的蓬勃發(fā)展，中國(guó)端側(cè)大模型市場(chǎng)規(guī)模CAGRCAGR：58%8搜索《2024年中國(guó)端側(cè)大模型行業(yè)研究》n受實(shí)際落地情況的影響長(zhǎng)的新引擎。端側(cè)大模型通過(guò)在設(shè)備本地運(yùn)行，有效降低了數(shù)據(jù)傳輸延遲，增強(qiáng)了隱私保護(hù)，拓寬了AI應(yīng)用場(chǎng)景的廣度與深度。例如，智能手機(jī)集成的AI攝影功能，能實(shí)時(shí)識(shí)別場(chǎng)景并優(yōu)化圖像質(zhì)量；可穿戴設(shè)備利用端側(cè)模型監(jiān)測(cè)健康指標(biāo)，提供即時(shí)反饋。與此同時(shí)，隨著AI芯片等算力市場(chǎng)帶動(dòng)，為端側(cè)大模型打開(kāi)新的市場(chǎng)空間。高性能、低功耗的AI芯片設(shè)計(jì)使得復(fù)雜模型能夠在手機(jī)、物聯(lián)網(wǎng)設(shè)備等終端高效運(yùn)行，無(wú)需依賴云服務(wù)，顯著提升響應(yīng)速度與用戶體驗(yàn)。2021年全球AI芯片市場(chǎng)規(guī)模達(dá)到200億美元，預(yù)計(jì)到2025年將超過(guò)700億美元，其中端側(cè)AI芯片占比快速提升，成為增長(zhǎng)的重要?jiǎng)恿?。n下游市場(chǎng)需求的強(qiáng)勁增長(zhǎng)，特別是手機(jī)與自動(dòng)駕駛行業(yè)的蓬勃發(fā)展，正強(qiáng)力拉動(dòng)端側(cè)大模型市場(chǎng)的擴(kuò)張手機(jī)作為個(gè)人智能終端的核心，正集成更先進(jìn)的AI功能以提供個(gè)性化服務(wù)與優(yōu)化用戶體驗(yàn)，如榮耀Magic系列利用端側(cè)AI大模型實(shí)現(xiàn)偏好理解與多模態(tài)交互。同時(shí)，自動(dòng)駕駛領(lǐng)域?qū)?shí)時(shí)性與安全性要求極高，推動(dòng)了BEV+Transformer等技術(shù)與端側(cè)大模型的融合，百度ApolloADFM等L4級(jí)自動(dòng)駕駛大模型的推出，標(biāo)志著該領(lǐng)域邁向商用新階段。頭豹LeadL9Chapter2產(chǎn)業(yè)鏈分析頭豹頭豹eadLeoeadLeo行業(yè)研讀|2024/5??中國(guó)端側(cè)大模型上游主要包括上游中游下上游中游下游端側(cè)科技企業(yè)搜索《2024年中國(guó)端側(cè)大模型行業(yè)研究》AI芯片供應(yīng)商AI芯片供應(yīng)商nn服務(wù)商服務(wù)商端側(cè)大模型科技廠商端側(cè)大模型科技廠商C-阿里云文本場(chǎng)景多模態(tài)場(chǎng)景圖像場(chǎng)景文本場(chǎng)景多模態(tài)場(chǎng)景圖像場(chǎng)景視頻場(chǎng)景視頻場(chǎng)景音頻場(chǎng)景音頻場(chǎng)景來(lái)源：專家訪談，頭豹研究院頭豹LeadL?通過(guò)知識(shí)蒸餾，端側(cè)大模型能夠在保持較高性能的同時(shí)，大幅減少模型參數(shù)量和計(jì)算復(fù)雜度。這種技術(shù)使得復(fù)雜的AI模型可在資源受限的12mSoftlabels12mSoftlabelsSoftmax(T=t)…inputXSoftpredictionsdistillationinputXSoftpredictionsSoftmax(T=t)hard predictionSoftmax(T=1)studentlossSoftmax(T=t)hard predictionSoftmax(T=1)studentloss112…nhardlabelhardlabely(groundtruth)n知識(shí)蒸餾的基本原理首先，在強(qiáng)大的計(jì)算資源和海量數(shù)據(jù)集上訓(xùn)練一個(gè)高性能的大模型，稱為教師模型。教師模型在輸入訓(xùn)練數(shù)據(jù)時(shí)，不僅輸出最終的分類結(jié)果（硬標(biāo)簽還輸出每個(gè)類別的概率分布（軟標(biāo)簽這些軟標(biāo)簽包含了更多關(guān)于輸入數(shù)據(jù)的細(xì)微信息和模式。在訓(xùn)練較小的學(xué)生模型時(shí)，不僅使用原始數(shù)據(jù)的硬標(biāo)簽，還使用教師模型生成的軟標(biāo)簽。學(xué)生模型通過(guò)學(xué)習(xí)這些軟標(biāo)簽，能夠捕捉到教師模型中包含的豐富知識(shí)。n知識(shí)蒸餾在端側(cè)大模型中的應(yīng)用知識(shí)蒸餾使得學(xué)生模型能夠在保持較高準(zhǔn)確度的同時(shí)，顯著減少參數(shù)量。例如，TinyBERT通過(guò)知識(shí)蒸餾技術(shù)將BERT的參數(shù)量減少到原來(lái)的1/7左右，但在許多自然語(yǔ)言處理任務(wù)中仍能保持較好的性能。這使得學(xué)生模型能夠適應(yīng)端側(cè)設(shè)備的計(jì)算和存儲(chǔ)限制。較小的學(xué)生模型在推理階段需要的計(jì)算資源更少，推理速度更快。這對(duì)于資源受限的端側(cè)設(shè)備尤為重要。端側(cè)設(shè)備通常對(duì)能耗有嚴(yán)格限制。知識(shí)蒸餾生成的學(xué)生模型由于計(jì)算復(fù)雜度低，能夠以較低的能耗完成推理任務(wù)。例如，在物聯(lián)網(wǎng)設(shè)備和移動(dòng)設(shè)備中，學(xué)生模型的低能耗運(yùn)行方式使其能夠長(zhǎng)時(shí)間持續(xù)工作，而不會(huì)顯著消耗電池電量。知識(shí)蒸餾生成的學(xué)生模型可以針對(duì)不同的端側(cè)設(shè)備進(jìn)行優(yōu)化。例如，針對(duì)特定硬件架構(gòu)進(jìn)行剪枝和量化，使模型在特定設(shè)備上達(dá)到最佳性能。此外，學(xué)生模型還可以通過(guò)在線學(xué)習(xí)機(jī)制，在端側(cè)設(shè)備上不斷適應(yīng)和優(yōu)化，以滿足動(dòng)態(tài)變化的應(yīng)用需求。頭豹LeadL行業(yè)研讀|2024/5硬件成本研發(fā)成本其他成本硬件成本包括端側(cè)大模型部署所必需的硬件設(shè)備，如AI芯片。AI硬件成本研發(fā)成本其他成本硬件成本包括端側(cè)大模型部署所必需的硬件設(shè)備，如AI芯片。AI芯片專門(mén)設(shè)計(jì)用于加速深度學(xué)習(xí)任務(wù)，相比通用處理器，AI芯片可提供更高的計(jì)算效率，降低模型執(zhí)行的能耗和延遲。研發(fā)成本是開(kāi)發(fā)和優(yōu)化端側(cè)大模型所需的成本，主要為研發(fā)人員的人力成本以及設(shè)備成本。人力成本涉及到研究人員、工程師和數(shù)據(jù)科學(xué)家等的工資、培訓(xùn)和福利待遇。設(shè)備成本包括用于開(kāi)發(fā)和測(cè)試的顯卡、服務(wù)器和云服務(wù)等。10%30%60%搜索《2024年中國(guó)端側(cè)大模型行業(yè)研究》其他成本包括除了硬件和研發(fā)成本之外，還包括各種間接成本，例如管理成本、運(yùn)營(yíng)成本和市場(chǎng)推廣成本等。nAI芯片成為加速端側(cè)大模型應(yīng)用的關(guān)鍵技術(shù)成本AI芯片作為專門(mén)設(shè)計(jì)用于加速深度學(xué)習(xí)任務(wù)的硬件，具有較高的能效比和計(jì)算性能，成為了實(shí)現(xiàn)端側(cè)大模型高效部署的關(guān)鍵。一方面，AI芯片能夠提供更高的計(jì)算性能和能效比，從而加速端側(cè)大模型的推理和執(zhí)行速度。例如，Google的TPU能夠在相同的功耗下實(shí)現(xiàn)比傳統(tǒng)GPU更高的性能，這使得在端側(cè)設(shè)備上運(yùn)行大規(guī)模的神經(jīng)網(wǎng)絡(luò)模型成為可能。另一方面，AI芯片也能夠提供更低的功耗和更小的尺寸，適合嵌入到各種端側(cè)設(shè)備中，為端側(cè)大模型的應(yīng)用提供了更廣泛的可能性和更好的用戶體驗(yàn)。n在端側(cè)大模型的開(kāi)發(fā)過(guò)程中，需要綜合考慮研發(fā)人員的成本和顯卡的成本，以確保項(xiàng)目的順利進(jìn)行和成功實(shí)施深度學(xué)習(xí)模型的研發(fā)需要具有深度學(xué)習(xí)和機(jī)器學(xué)習(xí)背景的專業(yè)人員，他們負(fù)責(zé)模型的設(shè)計(jì)、算法優(yōu)化、超參數(shù)調(diào)整等工作。美國(guó)的機(jī)器學(xué)習(xí)工程師的平均年薪約為12萬(wàn)美元，而深度學(xué)習(xí)工程師的平均年薪則更高，約為14萬(wàn)美元。因此，合理控制研發(fā)人員的成本，并保證其具備高水平的技能和專業(yè)知識(shí)，對(duì)于端側(cè)大模型的研發(fā)和應(yīng)用至關(guān)重要。其次，顯卡的性能和規(guī)模直接影響著模型訓(xùn)練的速度和效率。一臺(tái)高端顯卡如NVIDIAGeForceRTX3,090的價(jià)格約為1,500美元。此外，顯卡可以通過(guò)云服務(wù)提供商租用，這也是許多企業(yè)在進(jìn)行端側(cè)大模型的研發(fā)和優(yōu)化時(shí)采取的一種常見(jiàn)方式。但在長(zhǎng)期使用過(guò)程中，租用成本也會(huì)成為企業(yè)的一項(xiàng)不小的支出。因此，企業(yè)需要綜合考慮研發(fā)人員的成本、顯卡租用成本以及其他相關(guān)成本，以確保研發(fā)過(guò)程的經(jīng)濟(jì)性和可持續(xù)性。頭豹LeadL行業(yè)研讀|2024/5程度以及AI大模型技術(shù)的成熟度，這些因素的相高高技術(shù)成熟度低金融汽車(chē)金融汽車(chē)\政務(wù)法律法律互聯(lián)網(wǎng)科技互聯(lián)網(wǎng)科技工業(yè)搜索《2024年中國(guó)端側(cè)大模型行業(yè)研究》教育教育其他傳統(tǒng)產(chǎn)業(yè)n行業(yè)對(duì)數(shù)據(jù)安全和隱私保護(hù)的需求將直接影響端側(cè)大模型的應(yīng)用隨著數(shù)據(jù)泄露和隱私問(wèn)題的日益突出，各行業(yè)對(duì)于數(shù)據(jù)的保護(hù)需求愈發(fā)迫切。因此，在端側(cè)大模型的應(yīng)用中，需要采取一系列的技術(shù)手段來(lái)確保數(shù)據(jù)的安全性和隱私性，如聯(lián)合學(xué)習(xí)、加密計(jì)算等。這將促使行業(yè)在應(yīng)用端側(cè)大模型時(shí)更加謹(jǐn)慎和審慎，但也為解決數(shù)據(jù)安全隱患提供了新的解決方案。因此，端側(cè)大模型在金融、醫(yī)療、政務(wù)等對(duì)數(shù)據(jù)安全要求較高的行業(yè)具有較大發(fā)展?jié)摿?。n行業(yè)本身智能設(shè)備的普及程度也將影響端側(cè)大模型的發(fā)展前景隨著智能設(shè)備的普及程度提高，對(duì)于端側(cè)AI應(yīng)用的需求也將相應(yīng)增加。這些智能設(shè)備不僅提供了豐富的數(shù)據(jù)來(lái)源，也為端側(cè)大模型的運(yùn)行提供了更多的計(jì)算資源和場(chǎng)景。例如，隨著智慧教堂的普及率加深，教育成為端側(cè)大模型未來(lái)發(fā)展的潛力場(chǎng)景之一。此外，在醫(yī)療領(lǐng)域，家用健康監(jiān)測(cè)設(shè)備能夠使數(shù)據(jù)存儲(chǔ)在設(shè)備端，更能滿足客戶的隱私性。nAI大模型技術(shù)的成熟度是端側(cè)大模型發(fā)展的重要因素之一端側(cè)大模型應(yīng)用依賴于AI大模型的技術(shù)基礎(chǔ)，隨著AI大模型在自然語(yǔ)言處理、計(jì)算機(jī)視覺(jué)、語(yǔ)音識(shí)別等領(lǐng)域的發(fā)展和成熟，端側(cè)大模型應(yīng)用也得到推動(dòng)；各行業(yè)對(duì)端側(cè)設(shè)備上運(yùn)行的大型AI模型的需求不斷增加，促使端側(cè)大模型應(yīng)用成熟度與AI大模型保持一致；同時(shí)，技術(shù)轉(zhuǎn)移和跨界應(yīng)用使得一些在特定行業(yè)中成熟的AI大模型技術(shù)可以被應(yīng)用到其他行業(yè)的端側(cè)設(shè)備中，推動(dòng)兩者的同步發(fā)展。來(lái)源：專家訪談，頭豹研究院頭豹LeadL??端側(cè)大模型能在保障數(shù)據(jù)隱私的同時(shí)，實(shí)現(xiàn)低延遲的實(shí)時(shí)計(jì)算，并提端側(cè)大模型業(yè)務(wù)場(chǎng)景分析——按不同的設(shè)備類型分類AI手機(jī)自動(dòng)駕駛機(jī)器人其他場(chǎng)景n基于對(duì)數(shù)據(jù)隱私性、計(jì)算實(shí)時(shí)性以及市場(chǎng)個(gè)性化需求等因素，AI手機(jī)、AI手機(jī)自動(dòng)駕駛機(jī)器人其他場(chǎng)景n基于對(duì)數(shù)據(jù)隱私性、計(jì)算實(shí)時(shí)性以及市場(chǎng)個(gè)性化需求等因素，AI手機(jī)、自動(dòng)駕駛以及機(jī)器人成為推動(dòng)端側(cè)大模型的三大核心應(yīng)用場(chǎng)景。 強(qiáng)需求場(chǎng)景nnAI手機(jī)：數(shù)據(jù)隱私性和計(jì)算實(shí)時(shí)性現(xiàn)代智能手機(jī)在語(yǔ)音助手、圖像識(shí)別、自然語(yǔ)言處理等方面廣泛應(yīng)用AI技術(shù)，這些功能需要處理大量的用戶數(shù)據(jù)。如果將這些數(shù)據(jù)傳輸?shù)皆贫诉M(jìn)行處理，不僅增加了隱私泄露的風(fēng)險(xiǎn)，還會(huì)由于網(wǎng)絡(luò)延遲導(dǎo)致用戶體驗(yàn)下降。端側(cè)大模型可以在本地設(shè)備上進(jìn)行數(shù)據(jù)處理，確保用戶的敏感信息不被泄露，同時(shí)大幅提升計(jì)算的實(shí)時(shí)性。搜索《2024年中國(guó)端側(cè)大模型行業(yè)研究》n自動(dòng)駕駛：實(shí)時(shí)決策和安全性自動(dòng)駕駛車(chē)輛需要在復(fù)雜的道路環(huán)境中實(shí)時(shí)做出決策，如避讓行人、識(shí)別交通信號(hào)和處理突發(fā)情況。這些決策需要極低的延遲，因?yàn)槿魏窝诱`都可能帶來(lái)安全隱患。端側(cè)大模型能夠在車(chē)輛本地進(jìn)行高效計(jì)算，確保實(shí)時(shí)響應(yīng)和高精度決策，從而提升自動(dòng)駕駛系統(tǒng)的安全性和可靠性。此外，端側(cè)計(jì)算減少了對(duì)網(wǎng)絡(luò)連接的依賴，在網(wǎng)絡(luò)條件不佳的情況下仍能保持車(chē)輛的正常運(yùn)行。n機(jī)器人：個(gè)性化服務(wù)和效率提升在機(jī)器人應(yīng)用中，特別是家庭服務(wù)機(jī)器人和醫(yī)療機(jī)器人，端側(cè)大模型的優(yōu)勢(shì)在于能夠提供個(gè)性化服務(wù)和提高效率。機(jī)器人需要根據(jù)用戶的具體需求和偏好調(diào)整其行為和功能，例如在家庭中提供特定的照護(hù)服務(wù)或在醫(yī)院中執(zhí)行特定的醫(yī)療任務(wù)。通過(guò)在本地處理數(shù)據(jù)，機(jī)器人可以更好地理解用戶的行為和習(xí)慣，從而提供更加個(gè)性化的服務(wù)。此外，端側(cè)計(jì)算能夠提升機(jī)器人的響應(yīng)速度和任務(wù)執(zhí)行效率，在面對(duì)復(fù)雜環(huán)境和任務(wù)時(shí)，機(jī)器人可以迅速做出決策和調(diào)整，確保任務(wù)的準(zhǔn)確性和高效性。這種能力不僅提高了用戶體驗(yàn)，還拓展了機(jī)器人的應(yīng)用范圍和市場(chǎng)潛力。頭豹LeadL?隨著技術(shù)的不斷進(jìn)步和應(yīng)用場(chǎng)景的拓展，端側(cè)大模型各業(yè)務(wù)場(chǎng)景中存端側(cè)大模型業(yè)務(wù)場(chǎng)景分析——按不同的技術(shù)場(chǎng)景分類端側(cè)端側(cè)文本生成圖片生成文本生成圖片生成音頻生成視頻生成多模態(tài)生成搜索《2024年中國(guó)端側(cè)大模型行業(yè)研究》0.1n文本生成與圖片生成的業(yè)務(wù)場(chǎng)景文本生成模型如GPT系列在端側(cè)的應(yīng)用逐漸成熟，尤其是在智能手機(jī)等移動(dòng)設(shè)備上的應(yīng)用。通過(guò)模型壓縮和優(yōu)化，現(xiàn)有的文本生成模型已經(jīng)可以在資源受限的環(huán)境下高效運(yùn)行。圖片生成模型的端側(cè)應(yīng)用也在逐步發(fā)展，尤其是一些輕量級(jí)的圖像生成模型。這些模型可以用于圖像風(fēng)格轉(zhuǎn)換、圖像修復(fù)、圖像增強(qiáng)等應(yīng)用，為用戶提供更豐富的圖像處理功能。隨著硬件技術(shù)的進(jìn)步和模型算法的改進(jìn)，圖片生成模型在端側(cè)的應(yīng)用將進(jìn)一步成熟。n音頻生成的業(yè)務(wù)場(chǎng)景音頻生成模型在端側(cè)的應(yīng)用相對(duì)較新，但也在不斷發(fā)展。目前一些語(yǔ)音合成模型已經(jīng)可以在端側(cè)設(shè)備上實(shí)現(xiàn)實(shí)時(shí)的語(yǔ)音合成功能，如智能語(yǔ)音助手、語(yǔ)音提示等。n視頻生成和多模態(tài)生成的業(yè)務(wù)場(chǎng)景相比于文本和圖片生成模型，視頻生成模型的端側(cè)應(yīng)用相對(duì)較少，主要原因是視頻數(shù)據(jù)的復(fù)雜性和處理量較大。而一些視頻壓縮和編解碼技術(shù)的進(jìn)步以及硬件加速器的應(yīng)用，為視頻生成模型在端側(cè)的應(yīng)用提供一定的可能性。多模態(tài)生成模型是指同時(shí)處理多種類型數(shù)據(jù)的生成模型，其在端側(cè)的應(yīng)用也在逐步探索和發(fā)展，如智能多模態(tài)搜索、多模態(tài)推薦系統(tǒng)等，但其成熟度相對(duì)較低，需要更多的研究和技術(shù)突破。頭豹LeadLChapter3行業(yè)分析頭豹頭豹eadeeade行業(yè)研讀|2024/5展現(xiàn)出積極的支持立場(chǎng)。在AI基礎(chǔ)設(shè)施以及生成式AI方面設(shè)立規(guī)范，政策名稱《針對(duì)生成式人工智能服務(wù)出臺(tái)管理辦法》頒布日期頒布主體主要內(nèi)容及影響2023-04網(wǎng)信部一方面，該辦法支持人工智能算法、框架等基礎(chǔ)技術(shù)的自主創(chuàng)新、推廣應(yīng)用、國(guó)際合作，為端側(cè)大模型發(fā)展提供了政策支持和技術(shù)保障；另一方面，該辦法要求端側(cè)大模型在數(shù)據(jù)來(lái)源、算法設(shè)計(jì)、內(nèi)容標(biāo)識(shí)等方面遵守法律法規(guī)的要求，尊重社會(huì)公德、公序良俗，防止生成虛假信息、侵犯他人權(quán)益、造成社會(huì)不良影響等問(wèn)題，為端側(cè)大模型發(fā)展提供了規(guī)范引導(dǎo)和監(jiān)督約束《數(shù)字中國(guó)建設(shè)整體布局規(guī)劃》2023-02國(guó)務(wù)院不僅在技術(shù)基礎(chǔ)、數(shù)據(jù)資源、應(yīng)用場(chǎng)景、技術(shù)創(chuàng)新和政策環(huán)境等多個(gè)層面提供了支持和指導(dǎo)，還明確了發(fā)展方向和合規(guī)要求，為端側(cè)大模型的健康、快速發(fā)展鋪平了道路。這促使相關(guān)企業(yè)需不斷提升技術(shù)創(chuàng)新能力，加強(qiáng)數(shù)據(jù)安全與隱私保護(hù)，深化與實(shí)體經(jīng)濟(jì)的融合，以適應(yīng)并推動(dòng)數(shù)字中國(guó)建設(shè)的總體布局《關(guān)于加快場(chǎng)景創(chuàng)新以人工智能高水平應(yīng)用促進(jìn)經(jīng)濟(jì)高質(zhì)量發(fā)展的指導(dǎo)意見(jiàn)》2022-07科技部一方面，該指導(dǎo)意見(jiàn)鼓勵(lì)在各行業(yè)領(lǐng)域深入挖掘人工智能技術(shù)應(yīng)用場(chǎng)景，為端側(cè)大模型提供了豐富多樣的應(yīng)用場(chǎng)景，如聊天和文本生成、機(jī)器翻譯、語(yǔ)音識(shí)別與合成、自然語(yǔ)言理解與推理等；另一方面，該指導(dǎo)意見(jiàn)強(qiáng)調(diào)以需求為牽引謀劃人工智能技術(shù)應(yīng)用場(chǎng)景，為端側(cè)大模型提供了需求驅(qū)動(dòng)的動(dòng)力，促進(jìn)端側(cè)大模型在解決實(shí)際問(wèn)題中優(yōu)化升級(jí)《關(guān)于促進(jìn)新一代人工智能產(chǎn)業(yè)高質(zhì)量發(fā)展的若干措施》2022-01教育部發(fā)揮科技支撐和引領(lǐng)作用，支持有條件的地區(qū)和高校、科研機(jī)構(gòu)、企業(yè)開(kāi)展語(yǔ)言智能技術(shù)研究，著力在自然語(yǔ)言處理、機(jī)器寫(xiě)作、機(jī)器翻譯、機(jī)器評(píng)測(cè)等領(lǐng)域取得實(shí)質(zhì)成果，為端側(cè)大模型奠定技術(shù)實(shí)力《工業(yè)和信息化部關(guān)于開(kāi)展信息通信服務(wù)感知提升行動(dòng)的通知》2021-11工信部從事互聯(lián)網(wǎng)信息服務(wù)的企業(yè)應(yīng)建立客服熱線電話，并在網(wǎng)站、APP等顯著位置公示客服熱線電話號(hào)碼。鼓勵(lì)具備條件的企業(yè)提供充足的人工客服坐席《國(guó)家新一代人工智能標(biāo)準(zhǔn)體系建設(shè)指南》2020-07網(wǎng)信辦指南規(guī)劃了新一代人工智能標(biāo)準(zhǔn)體系的總體框架和具體內(nèi)容，包括標(biāo)準(zhǔn)目錄、標(biāo)準(zhǔn)體系結(jié)構(gòu)、標(biāo)準(zhǔn)分類和標(biāo)準(zhǔn)制定程序等。通過(guò)建設(shè)完備、系統(tǒng)、規(guī)范的人工智能標(biāo)準(zhǔn)體系，促進(jìn)人工智能技術(shù)的創(chuàng)新和應(yīng)用，保障人工智能的安全和可持續(xù)發(fā)展頭豹LeadL行業(yè)研讀|2024/5商湯領(lǐng)導(dǎo)者商湯領(lǐng)導(dǎo)者阿里云強(qiáng)強(qiáng)技術(shù)力面壁智能面壁智能搜索《2024年中國(guó)端側(cè)大模型行業(yè)研究》百度智能云百度智能云騰訊云華為云騰訊云華為云n依托技術(shù)實(shí)力和生態(tài)建設(shè)，頭部大模型廠商紛紛投入端側(cè)大模型市場(chǎng)頭部大模型