AI半導(dǎo)體技術(shù)、市場(chǎng)與未來(lái)202412

過(guò)去兩年，英偉達(dá)崛起是科技領(lǐng)域的一個(gè)經(jīng)典案例。通過(guò)CUDA系統(tǒng)，他們創(chuàng)建了一個(gè)使用GPU進(jìn)行機(jī)器學(xué)習(xí)的開(kāi)發(fā)者生態(tài)系統(tǒng)；通過(guò)Mellanox，他們成為了數(shù)據(jù)中心網(wǎng)絡(luò)的領(lǐng)導(dǎo)者。然后，他們將所有硬件集成到服務(wù)器中，提供垂直集成的算力一體機(jī)。憑借這一系列組合性技術(shù)優(yōu)勢(shì)，英偉達(dá)在“AI淘金熱”中提供的鏟子占據(jù)行業(yè)核心地位，這導(dǎo)致它成為有史以來(lái)最成功的公司之一。隨之而來(lái)的是，不少挑戰(zhàn)者入局以求從英偉達(dá)主導(dǎo)的市場(chǎng)分一杯羹。半導(dǎo)體行業(yè)的競(jìng)爭(zhēng)愈加熱烈。在此背景下，AI半導(dǎo)體研究專家AustinLyons與EricFlaningam從AI與GPU行業(yè)的背景知識(shí)切入，結(jié)合當(dāng)前AI半導(dǎo)體生態(tài)系統(tǒng)，通過(guò)行業(yè)關(guān)鍵數(shù)據(jù)，對(duì)未來(lái)發(fā)展趨勢(shì)進(jìn)行了深入分析。（本文由OneFlow編譯發(fā)布，轉(zhuǎn)載請(qǐng)聯(lián)系授權(quán)。原文：/p/the-ai-semiconductor-landscape）1AI加速器的背景知識(shí)從一個(gè)非常宏觀的角度看，所有邏輯半導(dǎo)體都包含以下組成部分：1.計(jì)算核心——執(zhí)行實(shí)際的計(jì)算操作。2.存儲(chǔ)器——存儲(chǔ)要傳遞給計(jì)算核心的數(shù)據(jù)。3.緩存——臨時(shí)存儲(chǔ)可快速檢索的數(shù)據(jù)。4.控制單元——控制并管理其他組件的操作順序。的計(jì)算核心（即CPU中的算術(shù)邏輯單元，ALU）。另一方面，GPU專為處理大量小型計(jì)算任務(wù)或并行計(jì)算而設(shè)計(jì)。最初，GPU用于圖形處理，需要同時(shí)進(jìn)行大量的小型計(jì)算以生成顯示內(nèi)容。這種基礎(chǔ)架構(gòu)非常適合AI的工作負(fù)載。英偉達(dá)率先通過(guò)早期的GPU引入可編程著色器，并推出CUDA，使所有GPU都能成為可編程計(jì)算機(jī)。為何GPU如此適合AI？大多數(shù)AI模型的基本單元是神經(jīng)網(wǎng)絡(luò)，其結(jié)構(gòu)由多層節(jié)點(diǎn)組成。這些節(jié)點(diǎn)通過(guò)加權(quán)處理，盡可能準(zhǔn)確地表示訓(xùn)練數(shù)據(jù)的特性。當(dāng)模型完成訓(xùn)練后，可以輸入新的數(shù)據(jù)，模型則會(huì)預(yù)測(cè)輸出結(jié)果（即推理）。的節(jié)點(diǎn)與權(quán)重）×（另一層的節(jié)點(diǎn)與權(quán)重）。矩陣乘法是GPU的強(qiáng)項(xiàng)，因其具備出色的并行處理能力。（StephenWolfram撰寫了一篇詳細(xì)解析ChatGPT工作原理的文章：2當(dāng)今的GPU陣乘法等工作負(fù)載。以英偉達(dá)的H100為例。它由CUDA和Tensor核心（由多個(gè)核心組成）以及高帶寬內(nèi)存組成。H100的設(shè)計(jì)目標(biāo)是以盡可能高的數(shù)據(jù)流量處理盡可能多的計(jì)算。提升性能的目標(biāo)不僅限于芯片本身，而是聚焦于整個(gè)系統(tǒng)的優(yōu)化。在芯片之外，通過(guò)連接GPU構(gòu)建計(jì)算集群（/en-us/data-center/dgx-superpod/將服務(wù)器設(shè)計(jì)為一體化的計(jì)算設(shè)備(/en-gb/data-center/dgx-h100/)，甚至從系統(tǒng)層面優(yōu)化數(shù)據(jù)中心的設(shè)計(jì)(/p/the-data-center-is-the-new-compute)。訓(xùn)練與推理的背景知識(shí)要理解AI半導(dǎo)體的格局，需要先回顧一下AI架構(gòu)的基礎(chǔ)知識(shí)。訓(xùn)練指的是通過(guò)大規(guī)模數(shù)據(jù)集進(jìn)行迭代，創(chuàng)建能夠表示復(fù)雜場(chǎng)景的模型；而推理則是向該模型提供新的數(shù)據(jù)以生成預(yù)測(cè)。以下是推理的幾個(gè)關(guān)鍵特性：1.時(shí)延和位置至關(guān)重要——推理為終端用戶運(yùn)行工作負(fù)載，因此響應(yīng)速度至關(guān)重要。這使得在邊緣設(shè)備或邊緣云環(huán)境中進(jìn)行推理更具優(yōu)勢(shì)，而訓(xùn)練則可以在任何位置完成。2.可靠性稍顯次要——訓(xùn)練最前沿的模型可能需要數(shù)月時(shí)間，并需要龐大的訓(xùn)練集群。由于集群內(nèi)部高度依賴，一個(gè)環(huán)節(jié)出錯(cuò)可能拖慢整個(gè)訓(xùn)練進(jìn)程。而推理的工作負(fù)載更小且相互獨(dú)立，即使發(fā)生錯(cuò)誤，僅會(huì)影響單個(gè)請(qǐng)求，并能快速重新運(yùn)行。3.硬件擴(kuò)展性的重要性較低——英偉達(dá)的核心優(yōu)勢(shì)之一是其通過(guò)軟件和網(wǎng)絡(luò)實(shí)現(xiàn)大規(guī)模系統(tǒng)擴(kuò)展的能力。然而在推理中，這種擴(kuò)展性的重要性較低。以上原因解釋了為什么許多新興半導(dǎo)體公司將重心放在推理上。與訓(xùn)練相比，推理的進(jìn)入門檻更低。英偉達(dá)的網(wǎng)絡(luò)和軟件能夠支持其構(gòu)建更大、更高性能和更可靠的訓(xùn)練集群。英偉達(dá)在AI訓(xùn)練方面的競(jìng)爭(zhēng)壁壘非常牢固，其他競(jìng)爭(zhēng)者難以企及。接下來(lái)，我們來(lái)談?wù)劯?jìng)爭(zhēng)格局。3AI半導(dǎo)體行業(yè)概覽AI半導(dǎo)體行業(yè)可以大致分為三個(gè)主要領(lǐng)域：1.數(shù)據(jù)中心訓(xùn)練芯片2.數(shù)據(jù)中心推理芯片3.邊緣推理芯片下圖是相關(guān)公司展示：（AI半導(dǎo)體價(jià)值鏈的思維模型圖；該圖并未展示所有公司和細(xì)分領(lǐng)域）數(shù)據(jù)中心半導(dǎo)體市場(chǎng)簡(jiǎn)單來(lái)說(shuō)，英偉達(dá)主導(dǎo)了數(shù)據(jù)中心半導(dǎo)體市場(chǎng)，而AMD是唯一具有競(jìng)爭(zhēng)力的通用替代方案。超大規(guī)模云公司（Hyperscalers）傾向于開(kāi)發(fā)自研芯片，而大部分初創(chuàng)公司專注于推理或特定架構(gòu)的專用硬件。計(jì)實(shí)現(xiàn)50億美元的收入。以下是截至2023年底，數(shù)據(jù)中心處理器市場(chǎng)份額的分布：（數(shù)據(jù)來(lái)源：https://www.crn.com/news/components-peripherals/2024/google-was-third-biggest-data-center-processor-supplier-last-year-research）在超大規(guī)模云公司中，Google提供了最先進(jìn)的加速器，其TPU備受關(guān)注。據(jù)TechInsights估計(jì)，Google去年出貨了200萬(wàn)個(gè)TPU，僅次于英偉達(dá)的AI加速器。2023年向客戶“出租”了230萬(wàn)個(gè)此類芯片。無(wú)法評(píng)估其市場(chǎng)表現(xiàn)。最后值得一提的是，英特爾原本預(yù)計(jì)今年銷售約5億美元的Gaudi3芯片，但在最近的財(cái)報(bào)中表示這一目標(biāo)無(wú)法實(shí)現(xiàn)。盡管英偉達(dá)憑借其軟件和網(wǎng)絡(luò)功能在訓(xùn)練領(lǐng)域占據(jù)主導(dǎo)地位，但推理領(lǐng)域由于架構(gòu)差異，競(jìng)爭(zhēng)格局更加多樣化。推理領(lǐng)域：更具吸引力的市場(chǎng)！RunPod最近對(duì)NvidiaH100和AMDMI300X進(jìn)行了有趣的對(duì)比研究，結(jié)明，MI300X在超大批處理和極小批處理的推理任務(wù)中更具成本優(yōu)勢(shì)。（數(shù)據(jù)來(lái)源：https://blog.runpod.io/amd-mi300x-vs-nvidia-h100-sxm-performance-同時(shí)，許多硬件初創(chuàng)公司籌集了大量資金，試圖搶占這一市場(chǎng)的一席之地：（數(shù)據(jù)來(lái)源：https://www.chipstrat.com/p/etched-silicon-valleys-speedrun）Cerebras和SambaNova三家領(lǐng)先的初創(chuàng)公司都在提供推理軟件服務(wù)。理論上，這種垂直整合能夠?yàn)榻K端用戶提供成本和性能上的雙重優(yōu)勢(shì)。AI半導(dǎo)體市場(chǎng)的最后一塊拼圖是邊緣AI，這也是業(yè)內(nèi)廣泛關(guān)注的熱點(diǎn)話題。4邊緣AI？訓(xùn)練最龐大且功能最強(qiáng)的AI模型需要高昂的成本，甚至可能需要整個(gè)數(shù)據(jù)中心邊緣設(shè)備通常由SoC（系統(tǒng)級(jí)芯片）提供支持，這種芯片包含CPU、GPU、內(nèi)存，通常還集成了NPU（神經(jīng)網(wǎng)絡(luò)處理單元）。例如，一個(gè)運(yùn)行在智能手機(jī)上的AI模型必須足夠小，以適應(yīng)手機(jī)內(nèi)存的限制。因此，與大型云端模型相比，邊緣模型通常更小、更簡(jiǎn)單。然而，模型在本地運(yùn)行能夠安全地訪問(wèn)用戶特定數(shù)據(jù)（如位置、短信而無(wú)需將數(shù)據(jù)傳輸?shù)皆片F(xiàn)較慢，即使是處理小型模型也是如此。作為一種替代方案，AI模型可以運(yùn)行在手機(jī)的GPU上。游戲體驗(yàn)。因此，NPU成為邊緣設(shè)備AI推理的理想選擇。智能手機(jī)可以利用NPU來(lái)運(yùn)行AINPU經(jīng)過(guò)優(yōu)化以降低功耗。與GPU相比，NPU在執(zhí)行AI任務(wù)時(shí)的功耗可能低至其1/5到1/10，大大延長(zhǎng)了設(shè)備的電池續(xù)航時(shí)間。邊緣推理不僅應(yīng)用于消費(fèi)類設(shè)備，還廣泛用于工業(yè)和汽車領(lǐng)域。例如，自動(dòng)駕駛汽車依靠邊緣推理實(shí)時(shí)處理傳感器數(shù)據(jù)，從而做出快速?zèng)Q策以確保行車安全。而在工業(yè)物聯(lián)網(wǎng)中，傳感器和攝像頭數(shù)據(jù)的本地推理可以支持主動(dòng)維護(hù)等措施。工業(yè)和汽車領(lǐng)域的設(shè)備通常具備比消費(fèi)類設(shè)備更高的功率支持，因此可以部署高性能計(jì)算平臺(tái)。例如，Nvidia的Orin平臺(tái)就內(nèi)置了與數(shù)據(jù)中心GPU類似的功能（詳見(jiàn)/en-us/edge-computing/products/igx/）。需要遠(yuǎn)程硬件可編程性的場(chǎng)景，則可以使用例如Altera的FPGA（詳見(jiàn)：/content/www/us/en/content-details/765466/altera-fpgas-and-socs-with-fpga-ai-suite-and-openvino-toolkit-drive-embedded-edge-ai-machine-learning-applications-white-paper.html)。5對(duì)市場(chǎng)的一些思考最后，我想分享幾個(gè)我認(rèn)為在AI半導(dǎo)體領(lǐng)域中最有趣的問(wèn)題：1.英偉達(dá)的優(yōu)勢(shì)壁壘有多深厚？極具前瞻性的公司，其在過(guò)去二十年內(nèi)做出了正確的技術(shù)和戰(zhàn)略決策。在這個(gè)領(lǐng)域中，經(jīng)常有人問(wèn)我有關(guān)英偉達(dá)的壁壘的問(wèn)題。勢(shì)，從AI軟件、基礎(chǔ)設(shè)施到模型和云服務(wù)都在積極布局。他們還在投資網(wǎng)絡(luò)和垂直整合。這家公司持續(xù)高效執(zhí)行其戰(zhàn)略，令人驚嘆。其次，在收入上，每家公司都想與英偉達(dá)分一杯羹。如今，全球企業(yè)正投入數(shù)億美元減少對(duì)其依賴，同時(shí)投資者也向競(jìng)爭(zhēng)對(duì)手注入巨額資金，希望能瓜分英偉達(dá)的市場(chǎng)份額。者、客戶和投資者的數(shù)百億美元投入的挑戰(zhàn)。2.初創(chuàng)公司的機(jī)會(huì)在哪里？半導(dǎo)體初創(chuàng)公司面臨著極其艱難的挑戰(zhàn)，要建立可持續(xù)的商業(yè)模式難度很大。而當(dāng)競(jìng)爭(zhēng)對(duì)手是英偉達(dá)時(shí)，這種挑戰(zhàn)更顯艱巨。不過(guò)，市場(chǎng)總是在通用性與專業(yè)性之間進(jìn)行權(quán)衡。如果公司能夠有效地專注于足夠大的細(xì)分市場(chǎng)，就有機(jī)會(huì)成長(zhǎng)為一家規(guī)模龐大的企業(yè)。這包括專為推理設(shè)計(jì)的硬件和特定模型優(yōu)化的硬件。我尤其對(duì)能夠加速專用芯片開(kāi)發(fā)的方案感興趣。這類方法能夠降低芯片開(kāi)發(fā)的門檻，同時(shí)利用專業(yè)化帶來(lái)性能優(yōu)勢(shì)。然而，半導(dǎo)體行業(yè)極其復(fù)雜，這類產(chǎn)品需要經(jīng)過(guò)時(shí)間和多代技術(shù)的積累才能成熟。這些公司需要持續(xù)的資金支持，才能完成多個(gè)產(chǎn)品代際的研發(fā)。3.邊緣AI會(huì)成為現(xiàn)實(shí)嗎？從歷史來(lái)看，技術(shù)的顛覆往往發(fā)生在一種新產(chǎn)品以更低價(jià)格提供了較少的功能時(shí)，而現(xiàn)有企業(yè)難以與之競(jìng)爭(zhēng)。例如，大型主機(jī)讓位于小型計(jì)算機(jī)，小型計(jì)