2024AI算力研究框架

AI算力研究框架AI算力研究框架2024核心提要核心提要GPT4AI技術(shù)和工程的偉大創(chuàng)新，開啟科技“十年新周期”PT-4GI的先進(jìn)AIPTLHF、Transformer、PromptChatGPT將對科技產(chǎn)業(yè)產(chǎn)生深遠(yuǎn)的影響，類似于操作系統(tǒng)，hatGPT將接入現(xiàn)有的全部軟硬件系統(tǒng)。GPT-的誕生將加速GI時代的到來，開啟科技“十年新周期”。AI算力：科技企業(yè)大模型競賽的核心“裝備”，AIGC應(yīng)用的關(guān)鍵基建Transfomer架構(gòu)大模型訓(xùn)練對算力的消耗呈指數(shù)級增長。2023年1月，ChatGPT計劃再向微軟融資100億美金，該融資將是新一代大模型算力基建的主要資金來源。ChatGPT激發(fā)“鯰魚效應(yīng)”，全球科技巨頭將AI戰(zhàn)略提升到空前高度，算力作為新一輪科技競賽的核心“裝備”，迎來需求的脈沖式增長。未來，ChatGPT應(yīng)用的全面落地還將釋放更為廣闊的算力需求。計算是AI算力的核心引擎，存儲、網(wǎng)絡(luò)、軟件是AI算力的主要發(fā)展方向計算：GP是hatGPT訓(xùn)練和推理的核心支柱，其更新速度遠(yuǎn)超過“摩爾定律”，受益于AI和高性能市場需求增長，GPU行業(yè)景氣度顯著提升。AI服務(wù)器作為GPU的重要載體，預(yù)計其市場規(guī)模、滲透率將隨著GPU放量迎來同步高增。網(wǎng)絡(luò)：AIIfiniBan架構(gòu)下的Nink、NSwtichPU之間的通信能力上升到新高度。而800G、1.6T高端光模塊作為AI訓(xùn)練的上游核心器件，將受益于大模型訓(xùn)練需求的增長。NAND、DRAM等核心存儲器在制程方面臨近極限，不斷探索“3D”等多維解決方案。HBM基于其高寬帶特性，成為了高性能GPU的核心組件，市場前景廣闊。投資建議ChatGPT對算力的影響遠(yuǎn)不止當(dāng)前可見的基建投入，未來Transformer大模型的迭代推動模型訓(xùn)練相關(guān)需求的算力增長，以及AIGC大模型應(yīng)用的算力需求，將是算力市場不斷超預(yù)期的源泉。相關(guān)公司：1、計算服務(wù)器：神州數(shù)碼、拓維信息、四川長虹；GPU：英偉達(dá)、AMD、Intel、海光信息、寒武紀(jì)、龍芯中科、景嘉微；2、網(wǎng)絡(luò)網(wǎng)絡(luò)設(shè)備：紫光股份、中興通訊、星網(wǎng)銳捷、深信服、迪普科技、普天科技、映翰通；光模塊：中際旭創(chuàng)、新易盛、光迅科技、華工科技、聯(lián)特科技、劍橋科技、天孚通信；3、存儲存儲器：紫光國微、江波龍、北京君正、兆易創(chuàng)新、瀾起科技、東芯股份、聚辰股份、普冉股份、朗科科技。3風(fēng)險提示：宏觀經(jīng)濟(jì)影響下游需求，大模型迭代不及預(yù)期，大模型應(yīng)用不及預(yù)期，市場競爭加劇，中美博弈加劇，相關(guān)公司業(yè)績不及預(yù)期等。3目錄目錄44GPT4AI技術(shù)和工程的偉大創(chuàng)新，邁向AGI時代AI算力：GPT基座，率先受益于AI“十年新周期”算力計算：GPU為算力核心，服務(wù)器為重要載體算力網(wǎng)絡(luò)：數(shù)據(jù)中心算力瓶頸，光模塊需求放量算力存儲：AI訓(xùn)練“內(nèi)存墻”，3D工藝持續(xù)突破55.GPT4AI技術(shù)和工程的偉大創(chuàng)新，邁向AGI時代111GPT4：全球領(lǐng)先的“智能涌現(xiàn)”AI大模型Iines，6GPT-4是世界第一個最接近AGI的先進(jìn)AI系統(tǒng)。eeativePre-tdTr4(PT-4)OpenA2023314ChatGPTPlus和商業(yè)API形式對外提供服務(wù)。ChatGPT是OpenAI在2022年11GPT-3.5AI聊天機(jī)器人，只需向ChatGPT提出需求，即可實(shí)現(xiàn)文章創(chuàng)作、代碼創(chuàng)作、回答問題等功能。ChatGPT從推出到月用戶過億僅用了2個月時間，是世界上增速最快消費(fèi)級應(yīng)用。 用之一 IPT72018年以來，GPT系列模型的參數(shù)規(guī)模、訓(xùn)練數(shù)量規(guī)模曾指數(shù)級增長，算法和框架持續(xù)升級。預(yù)計GPT4的參數(shù)規(guī)模接近1萬億，數(shù)據(jù)量20Tokens。GPT-1BERT(開源)GPT-2(開源)GPT-3ChatGPT/GPT-3.5GPT4(多模態(tài))發(fā)布時間20182018201920202022年11月30日2023年3月14日模型技術(shù)結(jié)構(gòu)特點(diǎn)與安全性措施基于架構(gòu)-12層，768維詞嵌入向量有監(jiān)督微調(diào)基于架構(gòu)，12層雙向編碼器(全文本)768或1024使用掩碼語言模型(MLM)進(jìn)行預(yù)訓(xùn)練下游任務(wù)微調(diào)從基礎(chǔ)上增加到48層，使用1600向量進(jìn)行詞嵌入權(quán)重，縮放為原來的1/NN為殘差層的數(shù)量稀疏注意模式96到約1750(175B)上下文窗口寬度增加個tokens訓(xùn)練數(shù)據(jù)更大帶狀稀疏注意模式基于的架構(gòu)，和調(diào)整參數(shù)數(shù)量、層數(shù)和詞表與相近，不同RLHF訓(xùn)練于1750億視覺語言模型組件(VLM)測試RLHF訓(xùn)練型(RBRM)模型參數(shù)117M340M1.5B1758B大概175B-6B-1.3B未知上下文窗口512token512token1024token2048token4096token32,000token訓(xùn)練方法無監(jiān)督預(yù)訓(xùn)練和有監(jiān)督微調(diào)掩碼語言模型預(yù)訓(xùn)練無監(jiān)督預(yù)訓(xùn)練無監(jiān)督預(yù)訓(xùn)練有監(jiān)督微調(diào)RLHIF型PPO強(qiáng)化學(xué)習(xí)有監(jiān)督微調(diào)RLHF型構(gòu)造基于規(guī)則的獎勵模型(RBRM)PPO強(qiáng)化學(xué)習(xí)數(shù)據(jù)集BooksCorpusBooksCorpus與EnglishWikipediaWebTextCommonCrawl,WebText2,Books1,Books2和Wikipedia類似GPT-3,但可能有更新更大規(guī)模和多樣化數(shù)據(jù)量規(guī)模5G40GB45TB45T+X20萬億Tokens資料來源：資料來源：ASurveyofLargeLanguageModels》XinZhao等，8GPT4的顯著特征“涌現(xiàn)能力”，LLM的涌現(xiàn)能力被正式定義為“在小型模型中不存在，但在大型模型中出現(xiàn)的能力”。涌現(xiàn)能力出現(xiàn)時的一個顯著特點(diǎn)：當(dāng)模型規(guī)模達(dá)到一定程度時，性能顯著提升。這種涌現(xiàn)模式與物理學(xué)中的相變現(xiàn)象有著密切的聯(lián)系。原則上，涌現(xiàn)能力也可以根據(jù)一些復(fù)雜任務(wù)來定義。涌現(xiàn)是非線性深度網(wǎng)絡(luò)的基本特征，也是群體智能行為與復(fù)雜思維，感知與認(rèn)知的基本特質(zhì)。 智能涌現(xiàn)”特征描述 涌現(xiàn)特征特征描述In-contextlearning（情景學(xué)習(xí)）上下文學(xué)習(xí)能力由GPT-3正式引入：假設(shè)語言模型已經(jīng)提供了一個自然語言指令和/或幾個任務(wù)演示，它可以通過完成輸入文本的單詞序列為測試實(shí)例生成預(yù)期的輸出，而不需要額外的訓(xùn)練或梯度更新Instructionfollowing（指令跟隨）通過對經(jīng)自然語言描述(即指令)格式化的多任務(wù)數(shù)據(jù)集的混合進(jìn)行微調(diào)，LLM在同樣以指令形式描述的未見任務(wù)上表現(xiàn)良好。有了這種能力，指令調(diào)優(yōu)使LLM能夠通過理解任務(wù)指令來執(zhí)行新任務(wù)，而無需使用明確示例，這可以在很大程度上提高泛化能力Step-by-stepreasoning（邏輯推理）對于小型語言模型，通常很難解決涉及多個推理步驟的復(fù)雜任務(wù)，例如數(shù)學(xué)應(yīng)用題。而在思維鏈推理策略下，LLMs可以利用包含中間推理步驟以獲得最終答案的提示機(jī)制來解決此類任務(wù)。據(jù)推測，這種能力可能是通過對代碼的訓(xùn)練獲得。GPT-4在以下六個方面實(shí)現(xiàn)飛躍式提升。創(chuàng)造能力更強(qiáng)：GPT-4比以往任何時候都更具創(chuàng)造性和協(xié)作性。它可以生成、編輯并與用戶一起迭代創(chuàng)意和技術(shù)寫作任務(wù)，例如創(chuàng)作歌曲、編寫劇本或?qū)W習(xí)用戶的寫作風(fēng)格。GPT-4在高級推理能力方面超過ChatGPT能夠處理超過25,000個單詞的文本，允許使用諸如長表單內(nèi)容創(chuàng)建、擴(kuò)展對話、文檔搜索和分析等用例。圖片識別能力：GPT-4可以接受圖像作為輸入，并生成標(biāo)題、分類和分析。更安全、更一致：與GPT-3.5相比，GPT-4對禁用內(nèi)容的資料來源：OpenAI官網(wǎng)，資料來源：OpenAI官網(wǎng)，9

GPT4：專業(yè)考試、邏輯推理、多模態(tài)能力突出 1.2 1.2 OpenAIAGI的重要推手OpenAI，在美國成立的人工智能研究公司，核心宗旨在于“實(shí)現(xiàn)安全的通用人工智能(AGI)”，使其有益于人類。 OpenAI歷史沿革 2019年2月14日提升語言模型GPT-2模型20172019年2月14日提升語言模型GPT-2模型2017年7月20日發(fā)布ProximalOptimization算法2016年4月27日發(fā)布OpenAIBeta2019年3月創(chuàng)建OpenAILP公司2018年4月9日發(fā)布OpenAI憲章2016年12月5日發(fā)布Universe2015年12月11日OpenAI成立2020年9月授權(quán)微軟使用GPT-3模型2020年9月授權(quán)微軟使用GPT-3模型2020年4月30日發(fā)布神經(jīng)網(wǎng)絡(luò)Jukebox2019年7月22日微軟投資OpenAI并與其合作月5日神經(jīng)網(wǎng)絡(luò)CLIP2020年6月11日開放人工智能應(yīng)用程序接口2019年11月5日發(fā)布GPT-2：1.5B版本2019年4月25日MuseNet2022年11月30日2022年11月30日研究ChatGPT并發(fā)布：優(yōu)化對話的語言模型2021年3月4日研究人工神經(jīng)網(wǎng)絡(luò)中的多模式神經(jīng)元多名專家及高管簽署公開信，呼吁類似資料來源：維基百科，百度百科，10GPT-4的超強(qiáng)人工智能訓(xùn)練計劃暫停6資料來源：維基百科，百度百科，102021年12021年1月5日研究從文本創(chuàng)建圖像神經(jīng)網(wǎng)絡(luò)DALL·E2022年4月6日發(fā)布新的人工智能系統(tǒng)DALL·E22023年3月發(fā)布GPT--41998年創(chuàng)辦PayPal并擔(dān)任CEO1998年創(chuàng)辦PayPal并擔(dān)任CEO，2004年成為Facebook的首個外部投資者，同年成立軟件公司Palantir。彼得·蒂爾PeterThielOpenAI的聯(lián)合創(chuàng)始人兼董事長兼總裁，曾擔(dān)任OpenAI以及支付巨頭Stripe的CTO（Stripe4號員工）。格雷格·布羅克曼GregBrockman，OpenAI聯(lián)合創(chuàng)始人，人工智能研究員曾擔(dān)任OpenAI首席科學(xué)家。，OpenAI聯(lián)合創(chuàng)始人，人工智能研究員曾擔(dān)任OpenAI首席科學(xué)家。沃赫切赫·扎雷姆巴WojciechZaremba約翰·舒爾曼JohnSchulman創(chuàng)始人

OpenAI聯(lián)合創(chuàng)始人，人工智能研究員，現(xiàn)任OpenAI研究員。資料來源：搜狐網(wǎng)，新智元，創(chuàng)業(yè)邦傳媒，第一財經(jīng)，百度百科，資料來源：搜狐網(wǎng)，新智元，創(chuàng)業(yè)邦傳媒，第一財經(jīng)，百度百科，LinkedIn聯(lián)合創(chuàng)始人，曾經(jīng)擔(dān)任PayPal高級副總裁。是硅谷最有名的天使投資者之一，曾經(jīng)投資過60多家創(chuàng)業(yè)公司，包括FacebookLinkedIn聯(lián)合創(chuàng)始人，曾經(jīng)擔(dān)任PayPal高級副總裁。是硅谷最有名的天使投資者之一，曾經(jīng)投資過60多家創(chuàng)業(yè)公司，包括Facebook和Digg。里德·霍夫曼ReidHoffman埃隆·馬斯克ElonMusk現(xiàn)任YCombinator總裁、人工智能實(shí)驗(yàn)室OpenAI首席執(zhí)行官，Loopt的聯(lián)合創(chuàng)始人，被媒體稱為“ChatGPT之父”山姆·阿爾特曼SamAltman1995年創(chuàng)辦Zip2公1999年創(chuàng)辦X.com2002年成立太空探2004年向特斯拉投2008年創(chuàng)立了2016年創(chuàng)立2016年成立The司，1999年被康柏公司，2001年更名索技術(shù)公司Space資630萬美元，任公SolarCity，公司致Neuralink公司，目BoringCompany，公司收購，獲利為PayPal，2002年X，出任首席執(zhí)行官司董事長、擁有所力于太陽能的技術(shù)標(biāo)是將人腦與電腦用于解決地面擁堵2200萬美元被eBay收購兼首席技術(shù)官有事務(wù)最終決定權(quán)革新連接起來問題的軌道交通Report，多搜百科，12右起三個人分別是：·(IlyaSutskever)·曼(GregBrockman)3）CEO薩姆·奧特曼(SamAltman)三人皆是年Op成立時的創(chuàng)始元老。GPT-4大致可分為七個部分：預(yù)訓(xùn)練（Pretraining）、長上下文（Longcontext）、視覺（Vision）、強(qiáng)化學(xué)習(xí)&對齊（RL&alignment）、評估&分析（Evaluation&analysis）、部署（Deployment），以及其他。 OpenAI團(tuán)隊主要分工 主要團(tuán)隊主要團(tuán)隊任務(wù)預(yù)訓(xùn)練計算機(jī)集群擴(kuò)展 ●數(shù)據(jù)硬件正確性 ●優(yōu)化&架構(gòu)分布式訓(xùn)練基礎(chǔ)設(shè)施runbabysitting長上下文長上下文研究 ●長上下文內(nèi)核視覺架構(gòu)研究 ●計算機(jī)集群擴(kuò)展硬件正確性 ●數(shù)據(jù)runbabysitting●部署&對齊數(shù)據(jù)強(qiáng)化學(xué)習(xí)&對齊數(shù)據(jù)集貢獻(xiàn) ●數(shù)據(jù)基礎(chǔ)設(shè)施模型安全 Flagshiptrainingruns ●代碼功能ChatMLRLHFInstructGPT評估&分析OpenAIEvals庫 加速預(yù)測ChatGPT評估 能力評估真實(shí)世界用例評估 污染調(diào)查新功能評估模型等級評估基礎(chǔ)設(shè)施編碼評估API評估部署核心貢獻(xiàn)者 ●推理研究GPT4網(wǎng)絡(luò)體驗(yàn) ●推理基礎(chǔ)設(shè)施信托與安全工程 ●產(chǎn)品管理GPT-4API和ChatML部署可靠性工程113GPT4六大顛覆式技術(shù)創(chuàng)新131311、大參數(shù)+大數(shù)據(jù)+算法創(chuàng)新2、Transformer：自注意力機(jī)制3、對齊調(diào)優(yōu)：RLHF2、Transformer：自注意力機(jī)制3、對齊調(diào)優(yōu)：RLHF4、Prompt：情境學(xué)習(xí)、思維鏈5、工具引入：卡片、互聯(lián)網(wǎng)6、工程創(chuàng)新113GPT4六大顛覆式技術(shù)創(chuàng)新（1）：大參數(shù)大數(shù)據(jù)算法創(chuàng)新參數(shù)擴(kuò)大是提高LLM模型能力的關(guān)鍵因素。GPT-3首先將模型大小增加到175B參數(shù)的極大規(guī)模。語言模型前期的性能和模型規(guī)模大致呈線性關(guān)系，當(dāng)模型規(guī)模大到一定程度時，任務(wù)性能有了明顯的突變。因此，LLM也被看作是實(shí)現(xiàn)通用人工智能AGI的希望。 參數(shù)對大模型性能起到明顯作用

參數(shù)對大模型性能起到明顯作用 ASurveyofLargeLanguageModels》XinZhao等，SpeechHome，14 大模型主要利用各種公共文本數(shù)據(jù)集做預(yù)訓(xùn)練 預(yù)訓(xùn)練大語言模型典型的數(shù)據(jù)處理過程

預(yù)訓(xùn)練語料庫的來源大致可以分為兩類:通用數(shù)據(jù)：由于其龐大、多樣化和可訪問性，被大多數(shù)LLM使用，可以增強(qiáng)LLM的語言建模和泛化能力。能力。并行訓(xùn)練。LLMLLM一些優(yōu)化框架已經(jīng)發(fā)布，以促進(jìn)并行算法的實(shí)現(xiàn)和部署，如Transformer、DeepSpeed和Megatron-LM。此外，優(yōu)化技巧對訓(xùn)練穩(wěn)定性和模型性能也很重要。最近，GPT-4提出開發(fā)特殊的基礎(chǔ)設(shè)施和優(yōu)化方法，用小得多的模型的達(dá)到大型模型的性能。Transformers，DeepSpeed、Megatron-LM、JAX、Colossal-AI、BMTrain、FastMoe等。PyTorch、TensorFlow、MXNet、PaddlePaddle、MindSpore和OneFlow 目前開發(fā)大模型主要使用的算法庫 名稱具體介紹Transformers開源的Python庫，用于使用Transformer架構(gòu)構(gòu)建模型，由HuggingFace開發(fā)和維護(hù)。它具有簡單和友好的API，使其易于使用和定制各種預(yù)訓(xùn)練模型，以及用于數(shù)據(jù)集處理和評估的工具。它是一個強(qiáng)大的庫，擁有一個龐大而活躍的用戶和開發(fā)人員社區(qū)，他們定期更新和改進(jìn)模型和算法。DeepSpeed由微軟開發(fā)的基于PyTorch的深度學(xué)習(xí)優(yōu)化庫，已用于訓(xùn)練許多LLM，如GPT-Neo和BLOOM。它為分布式訓(xùn)練提供了各種優(yōu)化技術(shù)，如內(nèi)存優(yōu)化(零技術(shù))、梯度檢查點(diǎn)和流水線并行。此外，它還提供了微調(diào)和評估這些模型的API。Megatron-LM基于PyTorch的深度學(xué)習(xí)庫，由NVIDIA開發(fā)，用于訓(xùn)練大規(guī)模語言模型。它還為分布式訓(xùn)練提供了豐富的優(yōu)化技術(shù)，包括模型和數(shù)據(jù)并行、混合精度訓(xùn)練、閃光注意力和梯度檢查點(diǎn)。這些優(yōu)化技術(shù)可以顯著提高訓(xùn)練效率和速度，實(shí)現(xiàn)跨gpu和機(jī)器的高效分布式訓(xùn)練。JAX谷歌Brain開發(fā)的用于高性能機(jī)器學(xué)習(xí)的Python庫，允許用戶在支持硬件加速(GPU或TPU)的數(shù)組上輕松執(zhí)行計算。它支持各種設(shè)備上的計算，并提供了一些方便的功能，如即時編譯加速和自動批處理。Colossal-AI由EleutherAI開發(fā)的深度學(xué)習(xí)庫，用于訓(xùn)練大規(guī)模語言模型。它建立在JAX之上，并支持訓(xùn)練的優(yōu)化策略，如混合精度訓(xùn)練和并行。最近，一個名為ColossalChat的類似聊天gpt的模型已經(jīng)公開發(fā)布了兩個版本(7B和13B)，它們是使用基于LLaMA的colossalai開發(fā)的。BMTrainOpenBMB開發(fā)的一個高效的分布式訓(xùn)練大規(guī)模參數(shù)模型的庫，它強(qiáng)調(diào)代碼簡單、低資源和高可用性。BMTrain已經(jīng)將幾個常見的LLM(例如Flan-T5和GLM)合并到其ModelCenter中，開發(fā)人員可以直接使用這些模型。FastMoE專門用于MoE(即，專家混合)模型的訓(xùn)練庫。它是在PyTorch之上開發(fā)的，在設(shè)計中優(yōu)先考慮效率和用戶友好性。FastMoE簡化了將Transformer模型轉(zhuǎn)換為MoE模型的過程，并在訓(xùn)練期間同時支持?jǐn)?shù)據(jù)并行和模型并行。113GPT4六大顛覆式技術(shù)創(chuàng)新（2）TransformerTransformer由Google2017年的論文AttentionisAllyouneed，GPT與BERT均采用了Transformer模型。Transformer基于顯著性的注意力機(jī)制為輸入序列中的任何位置提供上下文信息，使得Transformer具有全局表征能力強(qiáng)，高度并行性，位置關(guān)聯(lián)操作不受限，通用性強(qiáng)，可擴(kuò)展性強(qiáng)等優(yōu)勢，從而使得GPT模型具有優(yōu)異的表現(xiàn)。Ngram統(tǒng)計語言模型

Word2vec神經(jīng)語言模型容易訓(xùn)練可解釋強(qiáng)容易訓(xùn)練可解釋強(qiáng)泛化差，稀疏稠密詞表示

RNNLM神經(jīng)語言模型上下文語義部分長期依賴

Transformer注意力語言模型

自然語言生成任務(wù)：應(yīng)用Zero/FewShotPrompt/lnstrustGPTGPT系列（預(yù)測未來）自回歸預(yù)訓(xùn)練語言模型更好泛化性可解釋性差,

單向依賴

并行化捕捉長距離全局并行化捕捉長距離全局， 信息多項(xiàng)多維相關(guān)高

2019

2020

2022解決長距離依賴

ChatGPT1980

2003

2012

2017

Bert XLM ALBERTN-1

2018

2019

2020 2022token1

token2

token3token4BERT系列（完形填空）雙向預(yù)訓(xùn)練語言模型(i/in,...i)BERT系列（完形填空）雙向預(yù)訓(xùn)練語言模型(in,...i)(in,...i)

自然語言理解:應(yīng)用Fine-tuningFeature-based:作為特征提取器，單獨(dú)訓(xùn)練下游任務(wù)swithce，18Self-Attentiswithce，18關(guān)注當(dāng)前位置的詞，而且能夠關(guān)注句子中其他位置的詞，從而可以更好地編碼這個詞。即單詞自己記住我和哪些單詞在同一句話里面。Transformer基于自注意力機(jī)制，學(xué)會單詞和單詞之間共同出現(xiàn)的概率，在語料輸入后，可以輸出單詞和單詞共同出現(xiàn)的概率，同時，Transformer能夠挖掘長距離上下文的詞之間的雙向關(guān)系。113GPT4六大顛覆式技術(shù)創(chuàng)新（3）：RLHF資料來源：資料來源：HuggingFace，19RLHF是ChatGPTReinforcementLearningwithHumanFeedback（RLHF）是強(qiáng)化學(xué)習(xí)（RL）的一個擴(kuò)展分支，RLHF將人類的反饋信息納入到訓(xùn)練過程，通過使用這些反饋信息構(gòu)建一個獎勵模型神經(jīng)網(wǎng)絡(luò)，以此提供獎勵信號來幫助RL智能體學(xué)習(xí)，從而更加自然地將人類的需求，偏好，觀念等信息以一種交互式的學(xué)習(xí)方式傳達(dá)給智能體，對齊（align）人類和人工智能之間的優(yōu)化目標(biāo)，產(chǎn)生行為方式和人類價值觀一致的系統(tǒng)。 RLHF訓(xùn)練步驟 Step1.預(yù)訓(xùn)練語言模型（LM） Step2.訓(xùn)練獎勵模型（RM） Step3.用強(qiáng)化學(xué)習(xí)（RL）微調(diào)113GPT4六大顛覆式技術(shù)創(chuàng)新（4）Prompt資料來源：網(wǎng)易新聞，百度智能云，資料來源：網(wǎng)易新聞，百度智能云，20“提示”是一種提供給預(yù)訓(xùn)練語言模型的線索，讓預(yù)訓(xùn)練語言模型能更好的理解人類的問題。通過在輸入中增加額外的文本（clue/prompt），以更好地利用預(yù)訓(xùn)練模型中的知識。提示學(xué)習(xí)的基本流程主要包括以下四個步驟：提示構(gòu)造（PromptConstruction），答案構(gòu)造（AnswerConstruction），答案預(yù)測（AnswerPrediction），以及答案-標(biāo)簽映射（Answer-LabelMapping）。提示學(xué)習(xí)的優(yōu)勢：1）對預(yù)訓(xùn)練模LM的利用率高；2）小樣本場景訓(xùn)練效果提升；3）fine-tune成本大幅度下降等。根據(jù)提示，BERT能回答/補(bǔ)全出“JDK是由Oracle研發(fā)的”，BART能對長文本進(jìn)行總結(jié)，ERNIE能說出鳥類的能力。 Prompt的案例演示 Promtptuning與pre-trainandfine-tune對比 根據(jù)提示，BERT能回答/補(bǔ)全出“JDK是由Oracle研發(fā)的”，BART能對長文本進(jìn)行總結(jié)，ERNIE能說出鳥類的能力。ASurveyofLargeLanguageModels》XinZhao等，21語境學(xué)習(xí)(in-contextlearning,ICL)作為一種特殊的提示形式與GPT-3一起被首次提出，并已成為一種典型的利用LL的方法。首先，從任務(wù)描述開始，從任務(wù)數(shù)據(jù)集中選擇一些示例作為演示。然后，將它們按照特定的順序組合起來，形成具有特殊設(shè)計模板的自然語言提示。最后，測試實(shí)例被附加到演示中，作為LLM生成輸出的輸入。基于任務(wù)演示，LLM可以在不顯式梯度更新的情況下識別并執(zhí)行新任務(wù)。 情境學(xué)習(xí)(ICL)與思維鏈(CoT)提示的比較研究 注釋：ICL用自然語言描述、幾個演示和一個測試查詢提示LLM，而CoT提示則涉及提示中的一系列中間推理步驟。113GPT4六大顛覆式技術(shù)創(chuàng)新（5）：插件ChatGPT可以啟用網(wǎng)絡(luò)瀏覽和插件功能由于LLMChatGPT可以啟用網(wǎng)絡(luò)瀏覽和插件功能在非文本生成方面(例如，數(shù)值計算)表現(xiàn)不佳。此外，LLM的能力局限于預(yù)訓(xùn)練數(shù)據(jù)，例如無法捕捉最新信息。ChatGPT，幫助ChatGPT訪問最新信息，運(yùn)行計算或使用第三方服務(wù)，類似于LLM的“眼睛和耳朵”，可以廣泛擴(kuò)展LLM的能力范圍。ChatGPT插件部分展示2023年5月，ChatGPT70個測試版插件。此更新有望徹底改變ChatGPTChatGPT插件部分展示penAIpenAItie，22113GPT4六大顛覆式技術(shù)創(chuàng)新（6）：系統(tǒng)工程OpenAI聯(lián)合創(chuàng)始人&CEOSamAltman表示：GPT-4是人類迄今為止最復(fù)雜的軟件系統(tǒng)。LLM的發(fā)展使得研發(fā)和工程的界限不再清晰。LLM的訓(xùn)練需要在大規(guī)模數(shù)據(jù)處理和分布式并行訓(xùn)練方面的廣泛實(shí)踐經(jīng)驗(yàn)。開發(fā)LLM，研究人員必須解決復(fù)雜的工程問題，與工程師一起工作或成為工程師。平臺系統(tǒng)工程師集群建設(shè)和上線前期準(zhǔn)備模型預(yù)訓(xùn)練下游任務(wù)微調(diào)模型轉(zhuǎn)換/集群建設(shè)和上線前期準(zhǔn)備模型預(yù)訓(xùn)練下游任務(wù)微調(diào)模型轉(zhuǎn)換/優(yōu)化模型部署能力開放代碼調(diào)試模型訓(xùn)練代碼調(diào)試模型微調(diào)訓(xùn)練轉(zhuǎn)換剪枝蒸餾量化在線推 離線理 理API發(fā)模型結(jié)構(gòu)設(shè)計私有數(shù)據(jù)開源數(shù)據(jù)

大模型專業(yè)開發(fā)者 模型訓(xùn)練難

推理壓縮難

應(yīng)用開發(fā)者 應(yīng)用落地難 如何實(shí)現(xiàn)參數(shù)面無損網(wǎng)絡(luò)如何實(shí)現(xiàn)參數(shù)面無損網(wǎng)絡(luò)計？...模數(shù)據(jù)集？測？結(jié)構(gòu)?...如何選擇最高效的并行策略組合？調(diào)試調(diào)優(yōu)？如何實(shí)現(xiàn)斷點(diǎn)續(xù)訓(xùn)?...式推理？加速？量化...群調(diào)度系統(tǒng)？如何進(jìn)行防攻擊設(shè)計？復(fù)和隔離......資料來源：人工智能大模型技術(shù)高峰論壇，23平臺調(diào)度系統(tǒng)設(shè)計與優(yōu)化能耗系統(tǒng)設(shè)計及優(yōu)化計算系統(tǒng)設(shè)計與優(yōu)化網(wǎng)絡(luò)設(shè)計與優(yōu)化存儲設(shè)計與優(yōu)化2424.AIGPT的基座，顯著受益于新一輪科技革命221GPT開啟AI新紀(jì)元：對標(biāo)Windows的生態(tài)價值ChatGPT的發(fā)布類似于Windows的誕生。ChatGTP作為大語言模型，將會起到信息系統(tǒng)入口的作用，同時，ChatGPT或?qū)⒅厮苣壳暗能浖鷳B(tài)。圍繞Windows所創(chuàng)造的桌面軟件生態(tài)，誕生了現(xiàn)有的全球互聯(lián)網(wǎng)巨頭，亞馬遜、谷歌、META、阿里巴巴、騰訊、百度等。CChatGPT成為人工智能時代新的信息系統(tǒng)入口桌面和移動應(yīng)用 服務(wù)應(yīng)用

AI應(yīng)用辦公瀏覽器圖片編輯播放器科學(xué)計算文件系統(tǒng) 內(nèi)存管理 進(jìn)程管理 人機(jī)交互 網(wǎng)絡(luò) 安全管辦公瀏覽器圖片編輯播放器科學(xué)計算

意圖識別 情感分析 問答 文字生成 圖片形成 聲音生成 圖生成ChatQA翻譯作曲畫圖寫代碼.... ChatQA翻譯作曲畫圖寫代碼....各種服務(wù)器文本表示 圖像表示 圖表示各種服務(wù)器資料來源：人工智能大模型技術(shù)高峰論壇，資料來源：人工智能大模型技術(shù)高峰論壇，25操作系統(tǒng) 大語言模型操作系統(tǒng)大語言模型221GPT開啟AI新紀(jì)元：對標(biāo)Iphone的“十年周期”英偉達(dá)CEO黃仁勛：ChatGPT是AI的“Iphone時刻”iPhone是蘋果公司（AppleInc）于2007年1月9日開始發(fā)售的搭載iOS操作系統(tǒng)的系列手機(jī)產(chǎn)品。等應(yīng)用公司，以及蘋果供應(yīng)鏈環(huán)節(jié)的廣闊市場機(jī)遇。

200720072021年蘋果iPhone出貨量（百萬臺）231.5237.9231.5237.9215.2215.8206.3192.6195.6201.1153.4135.893.047.524.93.713.1150100 蘋果的生態(tài) 502007202120072021年蘋果iPhone市占率20%18%16%14%12%10%8%6%4%2%0%

20072008200920102011201220132014201520162017201820192020202118%18%18%18%17%16%15%15%15%15%14% 14%14%14%13%9%3%200720082009201020112012201320142015201620172018201920202021資料來源：counter資料來源：counterpointresearch，theproducthead，26221GPT開啟AI新紀(jì)元：科技產(chǎn)業(yè)的“十年新周期”時間1970s1980s1990s2000s2010s2020s類型大型機(jī)小型機(jī)個人電腦桌面互聯(lián)網(wǎng)移動互聯(lián)網(wǎng)AI代表公司IBMControlDataSperryBurroughsDECHPPrimeDataGeneralMicrosoftCiscoIntelDellGoogleEbaySina百度阿里巴巴騰訊AppleMetaQualcomm騰訊字節(jié)跳動NvidiaTeslaMicrosoftOpenAI...圖示資料來源：清華博學(xué)堂，27資料來源：清華博學(xué)堂，272.2 2.2 算力是大模型的根基，GPT的率先受益賽道28預(yù)訓(xùn)練上下文視覺 對齊 署 評估 算力算法數(shù)據(jù)辦公視頻創(chuàng)作搜索 教育 28預(yù)訓(xùn)練上下文視覺 對齊 署 評估 算力算法數(shù)據(jù)辦公視頻創(chuàng)作搜索 教育 醫(yī)療 金融 娛 … 模型插件應(yīng)用網(wǎng)絡(luò)通用模型行業(yè)模型2C2B大語言模型大語言模型（LLM）產(chǎn)業(yè)鏈上游大模型下游上游大模型下游軟件 型 框架 數(shù)據(jù)數(shù)據(jù)加工算力是對信息數(shù)據(jù)進(jìn)行處理輸出目標(biāo)結(jié)果的計算能力。隨著社會數(shù)字化轉(zhuǎn)型的持續(xù)深入，算力已成為支撐和推動數(shù)字經(jīng)濟(jì)發(fā)展的核心力量，并對推動科技進(jìn)步、社會治理等發(fā)揮著重要的作用算力沒投入1元，將帶動3-4元的經(jīng)濟(jì)產(chǎn)出。

算力需求場景 超算 通用、智算 邊緣算力232EFlops，超級算力規(guī)模為14EFlops。智算中心、邊緣數(shù)據(jù)中心將保持高速增長。

科學(xué)實(shí)驗(yàn)氣象研究航空航天石油勘探

互聯(lián)網(wǎng)通信金融政府

智能汽車視頻監(jiān)控移動設(shè)備 先進(jìn)計算技術(shù)產(chǎn)業(yè)體系架 計算力指數(shù)與GDP走勢顯著正相關(guān) 年全球算力規(guī)模及增速 70050%45%60040%50035%40030%25%30020%20015%10%1005%00%201620172018201920202021全球算力規(guī)模（Eflops） 同比增速（%）微軟投資10億美金打造OpenAI超算平臺。2020年5月，微軟投資10億美金與OpenAI獨(dú)家合作打造了AzureAI超算平臺亮相，性能位居全球前五，擁有超過28.5萬個CPU核心、1萬個GPU、每GPU擁有400Gbps網(wǎng)絡(luò)帶寬的超級計算機(jī)，主要用于大規(guī)模分布式AI模型訓(xùn)練。據(jù)OpenAI報告，訓(xùn)練一次1746GPT-3模型需要的算力約為3640PFlop/s-day。即假如每秒計算一千萬億次，ChatGPT訓(xùn)練需要消耗巨大算力也需要計算3640天。ChatGPT訓(xùn)練需要消耗巨大算力OpenAI融資歷程融資時間融資輪次融資金額投資方2023/1B輪100億美元微軟2022/1A輪2.5億美元微軟、GoogleVentures等2021/1Pre-A輪未披露SequoiaCapitalAndreessenHorowitzTigerGlobalManagernerntBedrockCapital2021--未披露微軟2019/7天使+輪10億美元微軟2019/4天使輪1000萬美元MatthewBrown2019/3種子輪未披露KhoslaVenturesReidHoffmanFoundation2016/8Pre-種子輪12萬美元YCombinatorTransformer相關(guān)模型對算力的需求提升數(shù)倍，遠(yuǎn)超過算力產(chǎn)業(yè)的摩爾定律增速?；赥ransformer體系結(jié)構(gòu)的大型語言模型(LargeLanguageModels)涉及高達(dá)數(shù)萬億從文本中學(xué)習(xí)的參數(shù)。開發(fā)它們是一個昂貴、耗時的過程，需要深入研究技術(shù)專長、分布式數(shù)據(jù)中心規(guī)模的基礎(chǔ)設(shè)施和完整的堆棧加速計算方法?！按竽Ｐ?大數(shù)據(jù)”成為預(yù)訓(xùn)練模型的“新范式”。近年新推出的大語言模型所使用的數(shù)據(jù)量和參數(shù)規(guī)模呈現(xiàn)“指數(shù)級”增長，參數(shù)和數(shù)據(jù)規(guī)模的增長帶來的是算力消耗增加。我們預(yù)計未來的大模型所消耗的算力將遠(yuǎn)超過目前已有的大模型?！按竽Ｐ?大數(shù)據(jù)”成為AI預(yù)訓(xùn)練模型的“新范式”Transformer模型消耗的算力遠(yuǎn)超過摩爾定律“大模型+大數(shù)據(jù)”成為AI預(yù)訓(xùn)練模型的“新范式”Transformer模型消耗的算力遠(yuǎn)超過摩爾定律ChatGPT產(chǎn)品運(yùn)營需要更大的算力：據(jù)SimilarWeb數(shù)據(jù)，2023年1月ChatGPT官網(wǎng)總訪問量為6.16億次。據(jù)Fortune雜志，每次用戶與ChatGPT互動，產(chǎn)生的算力云服務(wù)成本約0.01美元。根據(jù)科技云報道30.2億元、算力500P的數(shù)據(jù)中心來支撐ChatGPT的運(yùn)行，至少需要7-8個這樣的數(shù)據(jù)中心，基礎(chǔ)設(shè)施的投入都是以百億計的。GPT的應(yīng)用場景GPT-4的API價格GPT的應(yīng)用場景GPT-4的API價格ModelPromptCompletion8Kcontext$0.03/1Ktokens$0.06/1Ktokens32Kcontext$0.06/1Ktokens$0.12/1Ktokens2.3 2.3 2023年，全球算力上市公司市值漲幅可觀2022年10月-至今全球算力相關(guān)公司市值漲幅行業(yè)證券代碼2022年10月-至今全球算力相關(guān)公司市值漲幅行業(yè)證券代碼證券簡稱漲幅排名光模塊603083.SH劍橋科技681.24%光模塊301205.SZ聯(lián)特科技496.05%服務(wù)器SMCI.O超微電腦375.14%光模塊300308.SZ中際旭創(chuàng)366.71%光模塊300502.SZ新易盛303.38%存儲300042.SZ朗科科技270.54%GPU688256.SH寒武紀(jì)251.32%光模塊300394.SZ天孚通信226.95%GPUNVDA.O英偉達(dá)219.55%服務(wù)器3231.TW緯創(chuàng)166.29%服務(wù)器601138.SH工業(yè)富聯(lián)150.59%服務(wù)器000977.SZ浪潮信息129.01%服務(wù)器603019.SH中科曙光116.81%服務(wù)器000938.SZ紫光股份106.24%GPU688047.SH龍芯中科97.65%GPUAMD.OAMD97.16%光模塊000988.SZ華工科技95.48%GPU300474.SZ景嘉微93.95%光模塊002281.SZ光迅科技89.64%服務(wù)器2382.TW廣達(dá)67.53%服務(wù)器000066.SZ中國長城63.11%服務(wù)器2356.TW英業(yè)達(dá)61.35%服務(wù)器DELL.N戴爾43.05%服務(wù)器0992.HK聯(lián)想集團(tuán)42.22%存儲000660.KS海力士38.15%存儲005930.KS三星33.71%GPU688041.SH海光信息33.27%存儲MU.O美光科技31.44%GPUINTC.OINTEL25.27%存儲300223.SZ北京君正19.43%存儲688008.SH瀾起科技11.22%存儲603986.SH兆易創(chuàng)新9.76%70,000189%英偉達(dá)發(fā)布2024年第一季度財報，Q1業(yè)績和Q2指引均超預(yù)期60,000云計算公司搶購A100/H100，產(chǎn)品漲價，供貨周期拉長比爾蓋茨、黃仁勛等大咖為ChatGPT50,000139%40,00089%ChatGPT突破1億月活，頻繁發(fā)生宕機(jī)30,00020,00039%10,000-11%2022-10-032022-11-182023-01-1002023-06-07成交金額(百萬元)(右)2023-03-01英偉達(dá)(NVIDIA)2023-04-19納斯達(dá)克指數(shù)2022年10月-至今英偉達(dá)和全球部分證券市場走勢圖330%280%230%330%280%230%180%130%英偉達(dá)是核心錨80%30%-20%2022-10-032022-11-182023-01-102023-03-012023-04-192023-06-07英偉達(dá)(NVIDIA)海光信息超威半導(dǎo)體(AMD)英特爾(INTEL)寒武紀(jì)-U63%53%43%33%23%13%3%-7%-17% 2022-10-10 2022-11-24 2023-01-11 2023-03-06 2023-04-21 2023-06-12SAMSUNGELEC SKHYNIX 美光科技(MICRONTECHNOLOGY) 兆易創(chuàng)東芯股份2022.10-至今存儲公司股價走勢2022.10-至今GPU公司股價走勢343%293%243%193%143%93%43%-7%2022-10-10 2022-11-24 2023-01-11 2023-03-06 2023-04-21 2023-06-12浪潮信息 中科曙光 工業(yè)富聯(lián) 緯創(chuàng) 超微電腦595%495%395%295%195%95%-5%2022-10-102022-11-242023-01-112023-03-062023-04-212023-06-12中際旭創(chuàng)劍橋科技聯(lián)特科技新易盛天孚通信2022.10-2023.6光模塊公司股價走勢2022.10-至今服務(wù)器公司股價走勢.GPU為算力核心，服務(wù)器為重要載體3.1 3.1 服務(wù)器：AI算力的重要載體服務(wù)器通常是指那些具有較高計算能力，能夠提供給多個用戶使用的計算機(jī)。服務(wù)器與PC機(jī)的不同點(diǎn)很多，例如PC機(jī)在一個時刻通常只為一個用戶服務(wù)。服務(wù)器與主機(jī)不同，主機(jī)是通過終端給用戶使用的，服務(wù)器是通過網(wǎng)絡(luò)給客戶端用戶使NVIDIAA100服務(wù)器服務(wù)器的主要分類AI服務(wù)器是一種能夠提供人工智能（AI）計算的服務(wù)器。它既可以用來支持本地應(yīng)用程序和網(wǎng)頁，也可以為云和本地服務(wù)器提供復(fù)雜的AI模型和服務(wù)。AI服務(wù)器有助于為各種實(shí)時AI應(yīng)用提供實(shí)時計算服務(wù)。AINVIDIAA100服務(wù)器服務(wù)器的主要分類全球服務(wù)器市場：根據(jù)point報告，22年，全球服務(wù)器市場的收入將同比增長17%，達(dá)到1117億美元。主要企業(yè)：戴爾、惠普、聯(lián)想、浪潮和超微等服務(wù)器公司，以及富士康、廣達(dá)、緯創(chuàng)、英業(yè)達(dá)等OODMi的增長速度比整體市場高OMi署的硬件選擇。全球AI服務(wù)器市場：根據(jù)IDC數(shù)據(jù)，預(yù)計2022年市場規(guī)模約為183億美元，2023年市場規(guī)模211億美元。

務(wù)公司入（位：萬美） 2021全球AI服務(wù)器市場額 球AI服務(wù)器要客戶 市場份額：浪潮信息市場占有率達(dá)20.2戴爾、HPE、聯(lián)想、華為占比分別為13.8%、9.8%、6.1%、4.8%。

百度,1.50%阿里巴巴,1.50%騰訊,2.30%字節(jié)跳動,6.00%

其他,22.70%AWS,14.00%

微軟,19.00%谷歌,17.00%Meta,16.00% 2019-2023年國服器市規(guī)模 年國服器市份額

1）中國服務(wù)器市場：350300250200150100500

18.95%18.95%30815.89%250.9273.4216.491%1828 %.972.662019 2020 2021 2022 2023E市場規(guī)模（億美元） 同比增長

20%18%16%14%12%10%8%6%4%2%0%

2022年，中國服務(wù)器市場規(guī)模為2734億美元。2022281%的市場份額位列第一，收入達(dá)53063億。2）中國加速服務(wù)器市場：根據(jù)IDC數(shù)據(jù)，2022年，中國加速服務(wù)思騰合力,2%其他,7%寶德,5%為,6%6%浪潮,47%擎,7%寧暢,9%新華三思騰合力,2%其他,7%寶德,5%為,6%6%浪潮,47%擎,7%寧暢,9%新華三,11%華坤前,安

器市場規(guī)模達(dá)到67億美元，同比增長24%。2022年，浪潮、新華三、寧暢位居前三，占據(jù)了60%以上的市場份額互聯(lián)網(wǎng)依然是最大的采購行業(yè)，占整體加速服務(wù)器市場接近一半的份額。332GPUAI算力的核心資料來源：前瞻產(chǎn)業(yè)研究院資料來源：前瞻產(chǎn)業(yè)研究院,華經(jīng)情報網(wǎng),39AI芯片是算力的核心。AI芯片也被稱為AI加速器或計算卡，即專門用于處理人工智能應(yīng)用中的大量計算任務(wù)的模塊（其他非計算任務(wù)仍由CPU負(fù)責(zé)）。伴隨數(shù)據(jù)海量增長，算法模型趨向復(fù)雜，處理對象異構(gòu)，計算性能要求高，AI芯片在人工智能的算法和應(yīng)用上做針對性設(shè)計，可高效處理人工智能應(yīng)用中日漸多樣繁雜的計算任務(wù)。GPU是目前最廣泛應(yīng)用的AI芯片。AI芯片主要包括圖形處理器（GPU）、現(xiàn)場可編程門陣列（FPGA）、專用集成電路（ASIC）、神經(jīng)擬態(tài)芯片（NPU）等。GPU屬于通用型芯片，ASIC屬于專用型芯片，而FPGA則是介于兩者之間的半定制化芯片。2022年，我國GPU服務(wù)器占AI服務(wù)器的89%。GPUFPGAASIC特點(diǎn)通用型半定制化專用型芯片架構(gòu)GPUFPGAASIC特點(diǎn)通用型半定制化專用型芯片架構(gòu)疊加大量計算單元和高速內(nèi)存，邏輯控制單元簡單具備可重構(gòu)數(shù)字門電路和存儲器,根據(jù)應(yīng)用定制電路結(jié)構(gòu)可根據(jù)特定領(lǐng)域應(yīng)用和特定算法定制擅長領(lǐng)域3D圖像處理，密集型并行運(yùn)算算法更新頻繁或者市場規(guī)模較小的專用領(lǐng)域市場需求量大的專用領(lǐng)域優(yōu)點(diǎn)功能可修改，高性能、功耗遠(yuǎn)低于GPU，一次性成本低專業(yè)性強(qiáng)、性能高于FPGA、功耗低、量產(chǎn)成本低缺點(diǎn)價格貴、功耗高編程門檻高、量產(chǎn)成本高風(fēng)險高、一次性成本高GPU是NVIDIA公司在1999年8月發(fā)表NVIDIAGeForce256繪圖處理芯片時首先提出的概念。在此之前，電腦中處理影像輸出的顯示芯片，通常很少被視為是一個獨(dú)立的運(yùn)算單元。年份主要進(jìn)展代表產(chǎn)品晶體管數(shù)量總線API渲染模型1980-1990圖形工作站系統(tǒng)SGIIrisGeometryengine<1MIrisGL1995-1998GPU,硬件光柵化3dfxNVIDIATNT2ATIRage10MPCI,AGP2XOpenGL1.12,DirectX61999-2000硬件幾何處理NVIDAGeforce2Radeon7000S3Savage3D25MAGP4XOpenGL1.12,DirectX72001可編程頂點(diǎn)程序Geforce?Radeon800060MOpenGL1.13,DirectX81.02003可編程程序像素GeforceFXRadeon9000100MAGP8XOpenGL1.13,DirectX92.02004-200564位顏色，視頻出來，增強(qiáng)可編程性Geforce6/7RadeonX200MPCI-EOpenGL2.10,DirectX9.10c3.02006-至今可編程同意渲染器GPGPUGeforce8/9Radeon2000/3000/4000700MPCIe2.0OpenGL2.11,Directx10,CUDA,OpenCL4.0圖形處理器（GPU），又稱顯示核心（displaycore）、視覺處理器（videoprocessor）、顯示芯片（displaychip）或圖形芯片（graphicschip），是一種專門執(zhí)行繪圖運(yùn)算工作的微處理器。GPU具有數(shù)百或數(shù)千個內(nèi)核，經(jīng)過優(yōu)化，可并行運(yùn)行大量計算。雖然GPU在游戲中以3D渲染而聞名，但它們對運(yùn)行分析、深度學(xué)習(xí)和機(jī)器學(xué)習(xí)算法尤其有用。GPU允許某些計算比傳統(tǒng)CPU上運(yùn)行相同的計算速度快10倍至100倍。GPGPU，即是將GPU的圖形處理能力用于通用計算領(lǐng)域的處理器。 GPU主要品形及玩家 和CPU架對比 根據(jù)LC2019NVIDIA在全球AI加速云市場份額高達(dá)97%。此外，AMDGPU、賽靈思FPGA、IntelFPGA的云計算份額分別為1.0%、1.0%、0.6%的份額。2021年，中國加速卡出貨量超80Nvidia市占率80 偉達(dá)數(shù)據(jù)中心GPU類別

年全球四大云臺加卡占比 20%80% 我國服務(wù)器AI加卡市20%80%Nvidia其他CUDA是英偉達(dá)2007年推出的一種并行計算平臺和應(yīng)用程序編程接口(API)，允許軟件使用某些類型的GPU進(jìn)行通用計算機(jī)處理。CUDANVIDIAGPU無縫協(xié)作，加速跨多個領(lǐng)域的應(yīng)用程序開發(fā)和部署。目前，超過一百萬的開發(fā)人員正在使用CUDA-X，它提供了提高生產(chǎn)力的能力，同時受益于持續(xù)的應(yīng)用程序性能。 球收（十美元）

2023財年，英偉達(dá)全球收入2697其中，圖形業(yè)務(wù)部門的收入約為119億美元，計算與網(wǎng)絡(luò)部門的收入為151億美元。2023Q1（Q1FY24）財季，英偉達(dá)數(shù)據(jù)中心業(yè)務(wù)營收428億美元，歷史新高，同比增長14%，環(huán)比增長18%。 2021Q2-2024Q1英偉達(dá)各季度收入-按市場 部門入（萬美）

4,5004,0003,5003,0002,5002,0001,5001,0005000

4,280 3,7503,7503,8063,833 3,2632,9363,620 2,366 2,0481,7521,900 1,903 Q2FY21Q3FY21Q4FY21Q1FY22Q2FY22Q3FY22Q4FY22Q1FY23Q2FY23Q3FY23Q4FY23Q1FY24Gaming DataCenter ProressianalVisualization Auto OEM&Other4545.網(wǎng)絡(luò)：數(shù)據(jù)中心算力瓶頸，光模塊需求放量4.14.1網(wǎng)絡(luò)：算力的瓶頸之一，英偉達(dá)布局InfiniBand數(shù)據(jù)通信設(shè)備（ICT設(shè)備）泛指實(shí)現(xiàn)IP網(wǎng)絡(luò)接入終端、局域網(wǎng)、廣域網(wǎng)間連接、數(shù)據(jù)交換及相關(guān)安全防護(hù)等功能的通信設(shè)備，主要大類包括交換機(jī)、路由器、WLAN。其中主要的是交換機(jī)和路由器。網(wǎng)絡(luò)設(shè)備是互聯(lián)網(wǎng)基本的物理設(shè)施層，屬于信息化建設(shè)所需的基礎(chǔ)架構(gòu)產(chǎn)品。 網(wǎng)絡(luò)設(shè)備分類及介紹 網(wǎng)絡(luò)設(shè)備制造服務(wù)行業(yè)，上游主要為芯片、PCB、電源、各類電子元器件等生產(chǎn)商，直接下游為各網(wǎng)絡(luò)設(shè)備品牌商，終下游包括運(yùn)營商、政府、金融、教育、能源、電力、交通、中小企業(yè)、醫(yī)院等各個行業(yè)。網(wǎng)絡(luò)設(shè)備根據(jù)應(yīng)用領(lǐng)域分為電信級、企業(yè)級和消費(fèi)級。電信級網(wǎng)絡(luò)設(shè)備主要應(yīng)用于電信運(yùn)營商市場，用于搭建核心骨干中小企業(yè)等市場；消費(fèi)級網(wǎng)絡(luò)設(shè)備主要針對家庭及個人消費(fèi)市場。 網(wǎng)絡(luò)設(shè)備上下游情況 網(wǎng)絡(luò)設(shè)備按照應(yīng)用領(lǐng)域分類情況 市場規(guī)模，1）全球：IDC報告，2021年網(wǎng)絡(luò)市場規(guī)模為542.4億美元，同比增長1%。其中交換機(jī)、路由器和WLAN增速分別為9.7%、6.5%和20.4%。2）中國：2021年網(wǎng)絡(luò)市場規(guī)模為102.4億美元（約677.89億元人民幣），同比增長12.1%。數(shù)字經(jīng)濟(jì)、5G、云計算、網(wǎng)絡(luò)設(shè)備升級、大型數(shù)據(jù)中心建設(shè)等驅(qū)動網(wǎng)絡(luò)設(shè)備行業(yè)需求持續(xù)提升。競爭格局，行業(yè)集中度較高，思科、華為、新華三等少數(shù)幾家企業(yè)占據(jù)著絕大部分的市場份額，呈現(xiàn)寡頭競爭的市場格局。人工智能和高性能計算(HPC)日益增長的計算需求推動了多節(jié)點(diǎn)、多GPU系統(tǒng)的無縫、高速通信的需求，為了構(gòu)建最強(qiáng)大的、能夠滿足業(yè)務(wù)速度的端到端計算平臺，需要一個快速、可擴(kuò)展的互連網(wǎng)絡(luò)。 2017-2024年中國網(wǎng)絡(luò)設(shè)備市場規(guī)模統(tǒng)計（億美元） 2021年全球及中國交換機(jī)行業(yè)市場份額情況 通信成為算力的瓶頸。AI加速器通常會簡化或刪除其他部分，以提高硬件的峰值計算能力，但是卻難以解決在內(nèi)存和通信上的難題。無論是芯片內(nèi)部、芯片間，擴(kuò)展帶寬的技術(shù)難題還尚未被攻克。過去20年間，運(yùn)算設(shè)備的算力提高了90,000倍，雖然存儲器從DDR發(fā)展到GDDR6x，接口標(biāo)準(zhǔn)從PCIe1.0a升級到NVLink3.0，但是通訊帶寬的增長只有30倍。

的速度 英偉達(dá)NVLink。NVLinkNVIDIA低延遲、無損的GPU到GPU互連技術(shù)，其中包含諸如鏈路級錯誤檢測和數(shù)據(jù)包回放機(jī)制等彈性特性，可保證數(shù)據(jù)的成功傳輸。對比上一代，第四代NVLink可將全局歸約操作的帶寬提350%，單個NVIDIAH100TensorCoreGPU最多支持18個NVLink連接，多GPUIO的總帶寬為900GB/s，是PCIe5.0的7倍。 NVLink鏈接圖

NVLink性能表現(xiàn) NVLink規(guī)格 英偉達(dá)NVSwitch。NVSwitch括位于節(jié)點(diǎn)內(nèi)部和外部的交換機(jī)，用于連接服務(wù)器、集群和數(shù)據(jù)中心環(huán)境中的多個GPU。NVSwitch64鏈路端口，GPU連接。交7.2Tb/sTb/s。新的第三代NSitch技術(shù)還通過NVIDIASHARP在網(wǎng)計算，為集合運(yùn)算提供硬件加速。NVLINKNVSwitch構(gòu)建大型NVLinkSwitch系統(tǒng)網(wǎng)絡(luò)，實(shí)現(xiàn)前所未有的通信帶寬水平。NVLinkSwitch系統(tǒng)最多可支持256個GPU?；ミB節(jié)點(diǎn)能夠提供57.6TB的多對多帶寬，可提供高達(dá)1exaFLOP級別的FP8稀疏計算算力。

規(guī)格參數(shù) 基于DGXA100與DGXH100的32節(jié)點(diǎn)、256GPUNVIDIASuperPOD對比 InfiniBand集群應(yīng)用服務(wù)器和高性能存儲。2019年369MellanoxQuantum-2，采用第七代Afid架構(gòu)，為I開發(fā)者和科學(xué)研究人 廣泛應(yīng)用于全球超算中心

NVIDIAQuantum-2InfiniBandNVIDIAQuantum-2InfiniBand交換機(jī)系列NVIDIAQuantum-2InfiniBand交換機(jī)可提供海量吞吐、出色的網(wǎng)絡(luò)計算能力、智能加速引擎、杰出的靈活性和健壯架構(gòu)，在高性能計算(HPC)、AI和超大規(guī)模云基礎(chǔ)設(shè)施中發(fā)揮出色性能，并為用戶降低成本和系統(tǒng)復(fù)雜性。 與萬兆以太網(wǎng)的比較 InfiniBand(12X)萬兆以太網(wǎng)InfiniBand(12X)萬兆以太網(wǎng)帶寬30G,60G,120G,168G,312G10G延遲小于等于1微秒接近10微秒應(yīng)用領(lǐng)域超級計算企業(yè)存儲領(lǐng)域互聯(lián)網(wǎng)、域域網(wǎng)、數(shù)據(jù)中心骨干等優(yōu)點(diǎn)極低的延遲和高吞吐量應(yīng)用范圍廣、已成為業(yè)界普遍認(rèn)可的標(biāo)準(zhǔn)互聯(lián)技術(shù)缺點(diǎn)再服務(wù)器硬件上需要昂貴的專有互聯(lián)設(shè)備延遲難以進(jìn)一步降低4.24.2光模塊：網(wǎng)絡(luò)核心器件，AI訓(xùn)練提振800G需求光模塊是光纖通信系統(tǒng)的核心器件之一，其為多種模塊類別的統(tǒng)稱，包括：光接收模塊，光發(fā)送模塊，光收發(fā)一體模塊和光轉(zhuǎn)發(fā)模塊等。通常情況下，光模塊由光發(fā)射器件（TOSA，含激光器）、光接收器件（ROSA，含光探測器）、驅(qū)動電路、放大器和光（電）接口等部分組成。光模塊主要用于實(shí)現(xiàn)電-光和光-電信號的轉(zhuǎn)換。 光模塊：光電轉(zhuǎn)換示意圖 光模塊行業(yè)的上游主要包括光芯片、電芯片、光組件企業(yè)。光組件行業(yè)的供應(yīng)商較多，但高端光芯片和電芯片技術(shù)壁壘高，企業(yè)、電信運(yùn)營商、數(shù)據(jù)通信和光通信設(shè)備商等。 光模塊：產(chǎn)業(yè)鏈 作為信息化和互連通信系統(tǒng)中必需的核心器件，光通信模塊的發(fā)展對5G通信、電子、大數(shù)據(jù)、互聯(lián)網(wǎng)行業(yè)的影響至關(guān)重要。全球數(shù)據(jù)流量的增長，光通信模塊速率的提升，光通信技術(shù)的創(chuàng)新等推動光模塊產(chǎn)業(yè)規(guī)模持續(xù)增長。全球光模塊市場Lightcounting預(yù)測，全球光模塊的市場規(guī)模在未來5年將以CAGR11%保持增長，2027年將突破200億美元。另外，高算力、低功耗是未來市場的重要發(fā)展方向，CPO、硅光技術(shù)或?qū)⒊蔀楦咚懔鼍跋隆敖当驹鲂А钡慕鉀Q方案。光模塊應(yīng)用場景主要可以分為數(shù)據(jù)通信和網(wǎng)絡(luò)通信兩大領(lǐng)域。數(shù)據(jù)通信領(lǐng)域主要是指互聯(lián)網(wǎng)數(shù)據(jù)中心以及企業(yè)數(shù)據(jù)中心。網(wǎng)絡(luò)通信主要包括光纖接入網(wǎng)、城域網(wǎng)/骨干網(wǎng)以及5G接入、承載網(wǎng)為代表的移動網(wǎng)絡(luò)應(yīng)用。2017-2022全球光模塊市場規(guī)模統(tǒng)計預(yù)測（百萬美元） 2020年我國光模塊應(yīng)用市場結(jié)構(gòu) 全球光模塊細(xì)分市場規(guī)模及預(yù)測 2010年至2021年，全球前十家光模塊廠商中，中國企業(yè)增長至5家。Omdia發(fā)布的全球前十大光模塊廠商名單及其2021年市場份額變動情況顯示，前十名分別為：高意集團(tuán)、中際旭創(chuàng)、朗美通、光迅科技、博通、海信寬帶多媒體、Acacia、昂納集團(tuán)、住友電工、英特爾。國內(nèi)入圍的廠商有中際旭創(chuàng)、光迅科技、海信寬帶多媒體、昂納集團(tuán)，前四大國內(nèi)光模塊廠商占據(jù)全球的26%市場份額。海關(guān)數(shù)據(jù)顯示，2017-2021年中國光模塊行業(yè)貿(mào)易順差額逐年增長。2017年我國光模塊行業(yè)貿(mào)易順差額為14.85億美元，其中進(jìn)口額為10.80億美元，出口額為25.65億美元;2021年光模塊行業(yè)貿(mào)易順差額增長至33.23億美元，其中進(jìn)口額為8.77億美元，出口額為42.10億美元。項(xiàng)目2017年2018年2019年2020年2021年進(jìn)口額項(xiàng)目2017年2018年2019年2020年2021年進(jìn)口額10.808.939.949.228.77出口額25.6528.9930.5136.9042.10進(jìn)出口額36.4537.9240.4546.1250.87貿(mào)易順差14.8520.0620.5727.6733.232021年全球光模塊市場份額 光模塊：光模塊行業(yè)上市公司基本信息對比 企業(yè)簡稱業(yè)務(wù)/產(chǎn)品類型光模塊業(yè)務(wù)概況2022年光模塊銷量萬塊同比增速光迅科技光電子器件、模塊和子系統(tǒng)數(shù)據(jù)中心800G高速產(chǎn)品、固網(wǎng)接入comboPON系列產(chǎn)品、400GDCO系列產(chǎn)品等均取得較好進(jìn)展。21075.27-8.57%中際旭創(chuàng)高端光通信收發(fā)模塊、光器件800G和相干系列產(chǎn)品等已實(shí)現(xiàn)批量出貨，1.6T光模塊和800G硅光模塊已開發(fā)成功并進(jìn)入送測階段，CPO（光電共封）技術(shù)和3D封裝技術(shù)也在持續(xù)研發(fā)進(jìn)程中。946-9.13%新易盛光模塊已成功研發(fā)出涵蓋5G前傳、中傳、回傳的25G、50G、100G、200G系列光模塊產(chǎn)品并實(shí)現(xiàn)批量交付。前已成功推出800G的系列高速光模塊產(chǎn)品，基于硅光解決方案的800G、400G光模塊產(chǎn)品及400GZR/ZR+相干光模塊產(chǎn)品、以及基于LPO方案的800G光模塊產(chǎn)品。759-2.57%聯(lián)特科技光模塊研發(fā)生產(chǎn)的不同型號光模塊產(chǎn)品累計1000余種，公司兼具產(chǎn)品研發(fā)和生產(chǎn)制造能力，擁有光芯片集成、光器件以及光模塊的設(shè)計、生產(chǎn)能力，是國內(nèi)少數(shù)可以批量交付涵蓋10G、25G、40G、50G、100G、200G、400G、800G全系列光模塊的廠商。29818.73%博創(chuàng)科技PLC光分路器、光收發(fā)模塊等光分路器PON光收發(fā)模塊、VMUXbpsAOC、、CPO532.6442.12%德科立光收發(fā)模塊、光放大器、光傳輸子系統(tǒng)25G單波速率下，100G（4×25G）80km；50G40km產(chǎn)品傳輸距離業(yè)界領(lǐng)先；100G單波速率下，400G（4×100G）10km/40km產(chǎn)品傳輸距離業(yè)界領(lǐng)先。在相干光模塊領(lǐng)域，公司最新研發(fā)的100G/200G相干光模塊產(chǎn)品在國內(nèi)市場仍處于技術(shù)領(lǐng)先水平。公司是行業(yè)內(nèi)少數(shù)能夠同時提供高速率相干與高速率非相干光模塊的公司。133.1911.23%劍橋科技高速光模塊進(jìn)一步優(yōu)化800G8×FR1產(chǎn)品和800G2×FR4的工藝和良率并在上海工廠逐步量產(chǎn)，推動新一代低功耗、低成本400GDR4/DR4+產(chǎn)品的生產(chǎn)導(dǎo)入和量產(chǎn)，對100GCWDM4、100GLR4、100GDR/FR、400GFR4進(jìn)行持續(xù)的降本改進(jìn)，加快800G產(chǎn)品大規(guī)模量產(chǎn)的步伐。89.032.77%AIGCICT800G2023800G202630預(yù)計英偉達(dá)H100GPU：800G光模塊為1:2-1:4。英偉達(dá)采用的InfiniBand無阻塞、胖樹架構(gòu)。我們預(yù)計算力網(wǎng)絡(luò)中，服務(wù)器層GPU與800G光模塊比例為1:1；交換機(jī)層GPU與800G光模塊比例為1:2；此外，考慮核心層交換機(jī)，以及管理網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)等，以及安裝率相關(guān)因素，預(yù)計英偉達(dá)H100GPU：800G光模塊的比例約為1:2-1:4。 數(shù)據(jù)中心光模塊需求演進(jìn)（2021-2026年數(shù)據(jù)為預(yù)測值） DGXH100數(shù)據(jù)網(wǎng)絡(luò)配置圖 2023年5月，英偉達(dá)推出DGXGH200，GH200是將256個NVIDIAGraceHopper超級芯片完全連接,旨在處理用于大規(guī)模推薦系統(tǒng)、生成式人工智能和圖形分析的太字節(jié)級模型。交換系統(tǒng)采用兩級、無阻塞、胖樹結(jié)構(gòu)。如下圖：L和2層分為和32臺交換機(jī)，承載Gracer超級芯片NVLinkfabric第一層的定制線纜連接到NVLink交換機(jī)系統(tǒng)。LinkX電纜擴(kuò)展了NVLinkfabric的第二層連DGXGH200技術(shù)參數(shù)DGXGH200通過NVLinkDGXGH200技術(shù)參數(shù)DGXGH200通過NVLink將256個GPU完全聯(lián)接.存儲：人工智能“內(nèi)存墻”，3D工藝持續(xù)突破5.1 5.1 存儲：半導(dǎo)體產(chǎn)業(yè)核心支柱，AI算力的“內(nèi)存墻”計算機(jī)存儲器是一種利用半導(dǎo)體、磁性介質(zhì)等技術(shù)制成的存儲資料的電子設(shè)備。其電子電路中的資料以二進(jìn)制方式存儲，不同存儲器產(chǎn)品中基本單元的名稱也不一樣。和動態(tài)隨機(jī)存取存儲器非易失性存儲器主要包括可編程只讀存儲器（PROM），閃存存儲器（Flash）和可擦除可編程只讀寄存器（EPROM/EEPROM）等。NANDFlash和DRAM95%以上。DGXH100數(shù)據(jù)網(wǎng)絡(luò)配置圖 需求演進(jìn)（2021-2026年數(shù)據(jù)為預(yù)測值） DGXH100數(shù)據(jù)網(wǎng)絡(luò)配置圖1800160014001200100018001600140012001000800600400200015801538155512391192 1096 2017年 2018年 2019年 2020年 2021年 2022年

半導(dǎo)體存儲器也是整個半導(dǎo)體產(chǎn)業(yè)的核心支柱之一。半導(dǎo)體行業(yè)分為集成電路、光電器件、分立器件、傳感器等子行業(yè)，根據(jù)功能的不同，集成電路又可以分為存儲器、邏輯電路、模擬電路、微處理器等細(xì)分領(lǐng)域。2021年全球半導(dǎo)體行業(yè)的整體規(guī)模達(dá)到5529.61億美元，同比增長25.6%。其中存儲器的市場規(guī)模接近1600億美元，是半導(dǎo)體中規(guī)模最大的子行業(yè)，占比超過1/4。2021年全球半導(dǎo)體細(xì)分行業(yè)結(jié)構(gòu) 2021年全球半導(dǎo)體細(xì)分行業(yè)結(jié)構(gòu)傳感器,3%分立器件傳感器,3%分立器件,6%光電器件,8%存儲器,29%模擬電路,13%微處理器,14%邏輯電器,27%存儲器傳感器“內(nèi)存墻”y)是制約AI算力提升的重要因素。Transformer模型中的參數(shù)數(shù)量呈現(xiàn)出2年240倍的超指數(shù)增長，而單個GPU內(nèi)存僅以每2年2倍的速度擴(kuò)大。訓(xùn)練AI模型的內(nèi)存需求，通常是參數(shù)數(shù)量的幾倍。因?yàn)橛?xùn)練需要存儲中間激活，通常會比參數(shù)（不含嵌入）數(shù)量增加3-4的內(nèi)存。自谷歌團(tuán)隊在2017年提出Transformer，模型所需的內(nèi)存容量開始大幅增長。2016-2021年Transformer參數(shù)數(shù)量和單GPU2016-2021年Transformer參數(shù)數(shù)量和單GPU內(nèi)存的變化趨勢存算一體的原理、優(yōu)勢算。存算一體的優(yōu)勢包括：具有更大算力（1000TOPS）超越傳統(tǒng)ASIC算力芯片降本增效（）1/10~1/100）等效于提升工藝代）+更小更快

存算一體原理優(yōu)勢 代表企業(yè)代表企業(yè)代表企業(yè)代表企業(yè)更高并行度、更高能效、更大專用算力NVIDIADGXGH200GPU的NVLink144TBNVIDIADGXGH200通過NVLinkGPU500GPU。NVIDIADGX200在6AerBAINVIDIADGXGH200中的每個NVIDIAGraceHopper超級芯片具有480GBLPDDR5CPU內(nèi)存，每GB的功率是DDR5和96GBfastHBM3的八分之一。VIAGePU和erGPU通過n互連，每個GP都可以以900GBps的速度訪問其他GPU的內(nèi)存和NVIDIAGraceCPU的擴(kuò)展GPU內(nèi)存。DGX每一代產(chǎn)品的存儲能力DGX每一代產(chǎn)品的存儲能力DGX每一代產(chǎn)品的存儲能力DGX每一代產(chǎn)品的存儲能力552NAND：大容量存儲的最佳方案，3DNAND技術(shù)持續(xù)突破NAND基本原理：非易失性存儲，通過外部施加電壓控制存儲單元中的電荷量，實(shí)現(xiàn)電荷在內(nèi)存單元中的存儲。NAND優(yōu)勢：非易失、讀寫速度快、抗震、低功耗、體積小、價格較低等；NAND挑戰(zhàn)：耐久性，