DeepSeek-V3技術(shù)報告（中文版）

4041.339.235.6022架構(gòu)6 6 62.1.2DeepSeekMo 82.2多令牌預(yù)測 3基礎(chǔ)設(shè)施11 3.2.2高效實現(xiàn)跨節(jié)點全到全通信 3.2.3極小開銷下的極大內(nèi)存節(jié)省 3.3FP8訓(xùn)練 3.3.2來自量化和乘法的改進(jìn)精度 3.3.3低精度存儲和通信 3.4推理和部署 3.4.1預(yù)填充 3.5硬件設(shè)計建議 3.5.1通信硬件 3.5.2計算硬件 4預(yù)訓(xùn)練204.1數(shù)據(jù)構(gòu)建 4.2超參數(shù) 214.3長上下文擴展 224.4評估 4.4.2評估結(jié)果 4.5討論 4.5.1多標(biāo)記預(yù)測的消融研究 4.5.2無輔助損失平衡策略的消融研究 2534.5.3Batch-Wise負(fù)載均衡與Sequence-Wise負(fù)載均衡 265訓(xùn)練后275.1有監(jiān)督微調(diào) 27 5.2.1獎勵模型 5.2.2組相對策略優(yōu)化 5.3.1評估設(shè)置 5.3.2標(biāo)準(zhǔn)評估 5.3.3開放性評估 5.4討論 5.4.1從DeepSeek-R1蒸餾 5.4.2自我獎勵 B.1FP8與BF16訓(xùn)練對比 4近年來，大型語言模型(LLMs)經(jīng)歷了快速迭代和進(jìn)化(Anth2024a),逐步縮小了通向通用人工智能(AGI)的差距。除了閉源模型外，包括DeepSeek系列(DeepSeek-AI,2024a,b,c;Guoetal.,2024)、LLaMA系列(AI@Meta,2024a,b;To2023a,b)、Qwen系列(Qwen,2023,2024a的開源模型也取得了顯著進(jìn)展，努力縮小與閉源模型之間的差距。為了進(jìn)一步推動開源模型能力的邊界，我們擴展了模型規(guī)模，并引入DeepSeek-V3,一個擁有671B參數(shù)的大規(guī)模專家混合以前瞻性視角，我們始終致力于實現(xiàn)強大的模型性能和經(jīng)濟的成本。因此，在架構(gòu)方面，DeepSeek-V3仍然采用多頭潛在注意力(MLA)(DeepSeek-AI,2024c)以實現(xiàn)高效的推理，以及MLA(Daietal.2024c)中得到驗證，證明了它們能夠在保持穩(wěn)健模型性能的同時實現(xiàn)高效的訓(xùn)練和推理。除了基本架構(gòu)外，我們還實施了兩種額外策略以進(jìn)一步增強模型能力。首先，DeepSeek-V3開創(chuàng)了etal.,2017;Pengetal.,2023b),其發(fā)展與硬件能力的進(jìn)步密切相關(guān)(Luoetal.,2024;Micikeviciusetal.,2022;Rouhanietal.,2023少了GPU內(nèi)存使用。對于訓(xùn)練框架，我們設(shè)計了DualPipe算法以實現(xiàn)高效的管道并行性，該算法具有較少的管道氣泡并通過計算-通信重疊隱藏了大部分訓(xùn)練期間的通信。這種重疊確保了，隨著模型進(jìn)一步擴展，只要我們保持恒定的計算-通信比率，就可以在節(jié)點間使用細(xì)粒度的專家，同時實現(xiàn)接近零的全網(wǎng)通信開銷。此外，我們還開發(fā)了高效的跨節(jié)點全網(wǎng)通信內(nèi)核以充分利用InfiniBand(IB)和NVLink帶寬。此外，我們精心優(yōu)化了內(nèi)存占用，使得無需使用昂貴的常穩(wěn)定。在整個訓(xùn)練過程中，我們沒有遇到任何不可恢復(fù)的損失峰值或需要回滾的情況。接下來，我們對DeepSeek-V3進(jìn)行兩階段上下文長度擴展。在第一階段，最大上下文長度擴展階段，我們從DeepSeek-R1系列模型中蒸餾推理能力，同時仔細(xì)保持模型準(zhǔn)確性和生成長度之我們對DeepSeek-V3進(jìn)行了廣泛的基準(zhǔn)測試。盡管其訓(xùn)練成本經(jīng)濟，綜合評估表明DeepSeek-V3-Base已經(jīng)成為目前可用的最強開源基礎(chǔ)模型，特別是在代碼和數(shù)學(xué)方面。其5聊天版本也優(yōu)于其他開源模型，并在一系列標(biāo)準(zhǔn)和開放問題基準(zhǔn)上實現(xiàn)了與領(lǐng)先閉源模型最后，我們再次強調(diào)DeepSeek-V3的經(jīng)濟訓(xùn)練成本，總結(jié)見表1,這是通過我們優(yōu)化的算法、框架和硬件協(xié)同設(shè)計實現(xiàn)的。在預(yù)訓(xùn)練階段，訓(xùn)練DeepSeek-V3每萬億token僅需180KH800GPU小時，即在我們擁有2048個H800GPU的集群上只需3.7天。因此，我們的預(yù)訓(xùn)練階段在不到兩個月的時間內(nèi)完成，耗費2664KGPU小時。結(jié)合用于上下文長度擴展的119K●我們設(shè)計了一個FP8混合精度訓(xùn)練框架，并首次驗證了FP8訓(xùn)練在極大規(guī)模模型上的可行乎完全的計算-通信重疊。這顯著提高了我們的訓(xùn)練效率，降低了訓(xùn)練成本，使我們能夠·我們引入了一種創(chuàng)新方法，將長鏈思維(CoT)模型的推理能力，特別是來自DeepSeekR1系列模型之一的能力，蒸餾到標(biāo)準(zhǔn)LLM中，尤其是DeepSeek-V3。我們的流水線優(yōu)雅地將R1的驗證和反思模式融入DeepSeek-V3,顯著提升了其推理性能。同時，我們還控6源模型，分別在MMLU上達(dá)到88.5,在MMLU-Pro上達(dá)到75.9,在GPQA上達(dá)到59.1。其表現(xiàn)可與領(lǐng)先的閉源模型如GPT-4o和Claude-Sonnet-3.5現(xiàn)出色。盡管在英文事實知識(SimpleQA)上落后于GPT-4o和Claude-Sonnet-3.5,但在中文事實知識(ChineseSimpleQA)上超過了這些模型，突顯了其在中文事實知識方面·代碼、數(shù)學(xué)和推理：(1)DeepSeek-V3在所有非長CoT開源和閉源上達(dá)到了最先進(jìn)的性能。值得注意的是，它在某些基準(zhǔn)(如MATH-500)上甚至超過了ol-preview,展示了其強大的數(shù)學(xué)推理能力。(2)在編程相關(guān)任務(wù)中，DeepSeek-V3成為編程競賽基準(zhǔn)(如LiveCodeBench)的最佳模型，鞏固了其在此領(lǐng)域的領(lǐng)先地位。對于工程相關(guān)任務(wù)，雖然DeepSeek-V3的表現(xiàn)略低于Claude在本文的其余部分，我們首先詳細(xì)介紹DeepSeek-V3模型架構(gòu)(第2節(jié))。隨后，我們介紹我們評估及討論(第4節(jié))。然后，我們討論后訓(xùn)練的努力，包括監(jiān)督微調(diào)(SFT)、強化學(xué)習(xí)(RL)、相應(yīng)的評估和討論(第5節(jié))。最后，我們總結(jié)這項工作，討論DeepSeek-V3的現(xiàn)有局限性，并提出未來研究的潛在方向(第6節(jié))。我們首先介紹DeepSeek-V3的基本架構(gòu)，其特點是由多頭潛在注意力(MLA)(DeepSeek-AI,2024c)實現(xiàn)高效推理和DeepSeekMoE(Daietal.,202記預(yù)測(MTP)訓(xùn)練目標(biāo)，我們觀察到這可以提高在評估基準(zhǔn)上的整DeepSeek-V3的基本架構(gòu)仍然在Transformer(Vaswanietal.,2017)框架內(nèi)。為了高效的推理和經(jīng)2024a),以減輕確保負(fù)載平衡的努力所導(dǎo)致的性能下降。圖2說明了DeepSeek-V3的基本架構(gòu)，7yyE 影矩陣；wUK,wUV∈Rdhn×dc分別是鍵和值的上投影矩陣；wKR∈RdA×d是用于生成攜帶旋轉(zhuǎn)位示連接。注意，對于MLA,僅需在生成期間緩存藍(lán)色方框內(nèi)的向量(即c/V和kF),這顯著減少8 其中c∈R是查詢的壓縮潛在向量；d(<dhnh)表示查詢壓縮維度；wDQ 92017),并降低在具有專家并行性的場景中的計算效率。傳統(tǒng)解決方案通常依賴于輔助損失(Fe-助損失的負(fù)載平衡策略(Wangetal.,2024a)以請注意，偏置項僅用于路由。門控值，將乘以FFN輸出，仍然從原始親和力得分si派生。在訓(xùn)練期間，我們持續(xù)監(jiān)控每個訓(xùn)練步驟中整個批次的專家負(fù)載。在每個步驟結(jié)束時，如果對應(yīng)的更新速度的超參數(shù)。通過動態(tài)調(diào)整，DeepSeek-V3在訓(xùn)練期間保持專家負(fù)載的平衡，并比通過互補的序列級輔助損失。雖然DeepSeek-V3主要依賴無輔助損失策略進(jìn)行負(fù)載平衡，但為了無標(biāo)記丟棄。由于有效的負(fù)載平衡策略，DeepSeek-V3在其整個訓(xùn)練過程中保持良好的負(fù)載平衡。因此，DeepSeek-V3在訓(xùn)練期間不丟棄任何標(biāo)記。此外，我們還實施了特定的部署策略LMainCross-EntropyLossLMTPCEmbeddingLayershareddFigure3|我們的多標(biāo)記預(yù)測(MTP)實現(xiàn)的說明。我們保持每個深度的每個標(biāo)記的完整因果鏈進(jìn)行預(yù)測。以確保推理負(fù)載平衡，因此DeepSeek-V3在推理期間也不丟棄標(biāo)記。2.2.多令牌預(yù)測受Gloeckleetal.(2024)的啟發(fā)，我們研究并為DeepSeek-V3設(shè)置了一個多令牌預(yù)測(MTP)目標(biāo)，這將預(yù)測范圍擴展到每個位置的多個未來令牌。一方面，MTP目標(biāo)可以密集化訓(xùn)練信號，并可能提高數(shù)據(jù)效率。另一方面，MTP可能使模型預(yù)先規(guī)劃其表示以更好地預(yù)測未來的令牌。圖3說明了我們的MTP實現(xiàn)。不同于Gloeckleetal.(2024)并行使用獨立輸出頭預(yù)測D個額外令牌，我們順序預(yù)測額外令牌并在每個預(yù)測深度保持完整的因果鏈。我們在本節(jié)中介紹MTP實現(xiàn)的詳細(xì)信息。h'"=Mk[RMSNorm(h<-1);RMSNorm(Emb(ti+k))],其中[;]表示連接。特別是當(dāng)k=1時，hk-1指的是主模型給出的表示。注意，對于每個MTP模塊，其嵌入層與主模型共享。組合后的h*作為第k個深度Transformer塊的輸入，生成當(dāng)前深度的輸出表示h{:hiT-k=TRMk(hr-k),3.基礎(chǔ)設(shè)施DeepSeek-V3在一個配備有2048個NVIDISPATCH(F△DISPATCH(B)▲Device2Device3Device2Device3Device5Device6Device7DB9232972832Z3645634367ForwardBackwardBackwardtorinoutBackwardforwelghts向方向?qū)ΨQ，因此為了簡化說明省略其批次ID。由共享黑色邊框包圍的兩個單元具有相互重疊為了便于DeepSeek-V3的高效訓(xùn)練，我們實現(xiàn)了細(xì)致的工程優(yōu)化。首先，我們設(shè)計了Du-alPipe算法以實現(xiàn)高效的管道并行。與現(xiàn)有的PP方法相比，DualPipe具有更少的管道氣泡。更重要的是，它在前向和后向過程中重疊計算和通信階段，從而解決了跨節(jié)點專家并行引入的帶寬并節(jié)省用于通信的流式多處理器(SMs)。最后，我們精心優(yōu)化了訓(xùn)練期間的內(nèi)存占用，從對于DeepSeek-V3,跨節(jié)點專家并行引入的通信開銷導(dǎo)致大約1:1的計算與通信比率效率低下。為了解決這一挑戰(zhàn)，我們設(shè)計了一種創(chuàng)新的管道并行算法稱為DualPipe,它不僅通過有效重疊DualPipe的關(guān)鍵思想是在一對獨立的前向和后向塊內(nèi)重疊計算和通信。具體來說，我們將每個塊分為四個組件：attention,all-to-alldispatch,MLP,和all-to-allcombine。特別是對于后向塊，attention和MLP進(jìn)一步分為兩部分，backwardforinput和backwardforweights,類似于ZeroBubble(Qietal.,2023b)。此外，我們還有一個PPcommunication組件。如圖4所示，對于一對前向和后向塊，我們重新排列這些組件并采用雙向管道調(diào)度，同時從管道兩端饋送微批次，并且大部分通信可以完全重疊。這種重疊還確保了，隨著模型進(jìn)一步擴展，只要我們保持恒定的計算與通信比率，我們?nèi)匀豢梢栽诠?jié)點間此外，即使在沒有沉重通信負(fù)擔(dān)的更一般場景中，DualTable2|不同管道并行方法的管道氣泡和內(nèi)存使用情況比較。F表示前向塊的執(zhí)行時間，B表示完整后向塊的執(zhí)行時間，W表示“權(quán)重的后向”塊的執(zhí)行時間，F(xiàn)&B表示兩個相互重疊的前向管DualPipe需要保留兩份模型參數(shù)，但這不會顯著增加內(nèi)存消耗，因為我們訓(xùn)練時使用較大除，而不要求微批次必須被管道階段整除。此外，對于DualPipe,無論是氣泡還是激活內(nèi)存都為了確保DualPipe有足夠的計算性能，我們定制了高效的跨節(jié)點全到全通信內(nèi)核(包括分發(fā)和組合),以節(jié)省用于通信的SMs數(shù)量。內(nèi)核的實現(xiàn)與MoE門控算法和集群網(wǎng)絡(luò)拓?fù)涔餐O(shè)計。具體來說，在我們的集群中，跨節(jié)點GPU通過IB完全互連，節(jié)點內(nèi)部通信通過NVLink處理。策做出后，它將首先通過IB傳輸?shù)侥繕?biāo)節(jié)點上相同節(jié)點內(nèi)索引的GPU。一旦到達(dá)目標(biāo)節(jié)點，我們將努力確保它立即通過NVLink轉(zhuǎn)發(fā)到托管其目標(biāo)專家的具體GPU,而不被隨后到達(dá)的標(biāo)記但它可以將此數(shù)量擴展到最多13個專家(4個節(jié)點×3.2個專家/節(jié)點),同時保持相同的通信成詳細(xì)來說，我們采用warpspecialization技術(shù)(Baueretal.,2014)并將20個SM劃分為10個通信通道。在分發(fā)過程中，(1)IB發(fā)送，(2)IB到NVLink轉(zhuǎn)發(fā)，和(3)NVLink接收分別由各自的warp處理。分配給每個通信任務(wù)的warp數(shù)量根據(jù)所有SM的實際工作負(fù)載動態(tài)調(diào)整。同樣，調(diào)整的warp處理。此外，分發(fā)和組合內(nèi)核與計算流重疊，因此我們也考慮它們對其他SM計算②支RMSNorm和MLA上投影的重新計算。我指數(shù)移動平均在CPU中。在訓(xùn)練期間，我們保留模型參數(shù)的指數(shù)移動平均(EMA),以提前多令牌預(yù)測的共享嵌入和輸出頭。使用DualPipe策略，我們將最淺層(包括嵌入層)和最深層(包括輸出頭)部署在同一PP等級上。這種安排使得MTP模塊和主模型之間可以物理共享參3.3.FP8訓(xùn)練訓(xùn)練前景廣闊，但往往受到激活、權(quán)重和梯度中異常值的影響(Fishmanetal.,2024;Heetal.;在大規(guī)模語言模型預(yù)訓(xùn)練中成功應(yīng)用低精度技術(shù)的研究相對較少(Fishmanetal.,2024)。為了解決這一挑戰(zhàn)并有效擴展FP8格式的動態(tài)范圍，我們引入了一種細(xì)粒度量化策略：分塊分組或按塊分組。相關(guān)的反量化開銷在我們增加精度累積過程中得到了很大程度的緩解，這是實現(xiàn)準(zhǔn)于0.25%,這一水平在可接受的訓(xùn)練隨機性范圍內(nèi)。 NcFigure7|(a)我們提出了一種細(xì)粒度量化方法，以減輕特征異常值引起的量化誤差；為簡化說首先，為了加速模型訓(xùn)練，大部分核心計算內(nèi)核，即GEMM操作，均以FP8精度實現(xiàn)。這些GEMM操作接受FP8張量作為輸入，并產(chǎn)生BF16或FP32的輸出。如圖6所示，與Linear操作向傳遞),都在FP8中執(zhí)行。這種設(shè)計理論上將計算速度提高了兩倍，相比原來的BF16方法。此盡管FP8格式具有效率優(yōu)勢，但由于對低精度計算的敏感性，某些操作仍需要此外，一些低成本的操作也可以利用更高的精度，對整體訓(xùn)練成本的影響可以忽略不計。因此，在仔細(xì)研究后，我們保持以下組件的原始精度(例如，BF16或FP32):嵌入模塊、輸出頭、MoE門控模塊、歸一化操作符和注意力操作符。這些高精度組件的目標(biāo)保留確保了DeepSeek-V3的穩(wěn)定訓(xùn)練動態(tài)。為了進(jìn)一步保證數(shù)值穩(wěn)定性，我們將主權(quán)重、權(quán)重梯度和優(yōu)化器狀態(tài)存儲在更高精度中。盡管這些高精度組件會帶來一些內(nèi)存開銷，但可以通過在分布式訓(xùn)練系統(tǒng)中跨多個DP等級高效分片來最小化其影響?？蚣?，我們介紹了幾種策略以提高低精度訓(xùn)練的準(zhǔn)確性，重點在于量化方法和乘法過程。細(xì)粒度量化。在低精度訓(xùn)練框架中，由于FP8格式的動態(tài)范圍有限，導(dǎo)致溢出和下溢是常見的挑戰(zhàn)，這受到其減少的指數(shù)位的限制。作為一種標(biāo)準(zhǔn)做法，通過將輸入張量的最大絕對值縮放到FP8可表示的最大值來對齊輸入分布到FP8格式的可表示范圍內(nèi)(Narangetal.,2017)。這種方法使得低精度訓(xùn)練對激活異常值高度敏感，這可能會嚴(yán)重降低量化精度。為了解決這個問題，我們提出了一種細(xì)粒度量化方法，在更細(xì)致的層面上應(yīng)用縮放。如圖7(a)所示，(1)對于激活，我們在1x128平鋪基礎(chǔ)上分組并縮放元素(即每個令牌每128個通道);以及(2)對于權(quán)重，我們在128x128塊基礎(chǔ)上分組并縮放元素(即每128個輸入通道每128個輸出通道)。這種方法確保量化過程可以通過根據(jù)較小的元素組調(diào)整比例更好地適應(yīng)異常值。在附錄B.2中，我們進(jìn)一步討論了當(dāng)我們以與權(quán)重量化相同的方式按塊分組和縮放激活時的訓(xùn)練不穩(wěn)定性。我們方法中的一個關(guān)鍵修改是在GEMM操作的內(nèi)部維度引入每組縮放因子。此功能在標(biāo)準(zhǔn)FP8GEMM中不受直接支持。然而，結(jié)合我們的精確FP32累加策略，它可以高效實現(xiàn)。值得注意的是，我們的細(xì)粒度量化策略與微縮放格式的概念高度一致(Rouhanietal.,2023b),而NVIDIA下一代GPU(Blackwell系列)的TensorCores已宣布支持具有更小量化粒度的微縮放格式(NVIDIA,2024a)。我們希望我們的設(shè)計可以作為未來工作的參考，以跟上最新增加累加精度。低精度GEMM操作經(jīng)常遇到下溢問題，其準(zhǔn)確性在很大程度上依賴于高精度累加，通常在FP32精度下進(jìn)行(Kalamkaretal.,2019;Narangetal.,2017)。然而，我們觀察到，在NVIDIAH800GPU上的FP8GEMM累加精度僅限于保留大約14位，這遠(yuǎn)低于FP32累加精度。當(dāng)內(nèi)部維度K較大時，這個問題會更加明顯(Wortsmanetal.,2023),這是大規(guī)模模型訓(xùn)練中的典型場景，其中批處理大小和模型寬度增加。例如，對于兩個隨機矩陣的GEMM操作，K=4096,在我們的初步測試中，TensorCores中的有限累加精度導(dǎo)致的最大相對誤差接近2%。盡管存在這些問題，默認(rèn)選項在一些FP8框架中仍然是有限的累加精度(NVIDIA,2024b),嚴(yán)重限制了訓(xùn)練精度。為了應(yīng)對這一問題，我們采用了提升至CUDACores以獲得更高精度的策略(Thakkaretal.,2023)。該過程如圖7(b)所示。具體來說，在TensorCores上執(zhí)行矩陣乘法累加(MMA)時，中間結(jié)果使用有限的位寬進(jìn)行累加。一旦達(dá)到Nc間隔，這些部分結(jié)果將被復(fù)制到CUDACores上的FP32寄存器中，在那里進(jìn)行全精度FP32累加。如前所述，我們的細(xì)粒度量化沿內(nèi)部維度K應(yīng)用每組縮放因子。這些縮放因子可以在CUDACores上高效地乘以作為反量化過程的一部分，幾乎不會增加額外的計算成本。值得注意的是，這種修改減少了單個線程組的WGMMA(線程組級別的矩陣乘法累加)指令問題率。然而，在H800架構(gòu)中，兩個WGMMA通常并發(fā)持續(xù)：當(dāng)一個線程組執(zhí)行提升操作時，另一個線程組能夠執(zhí)行MMA操作。這種設(shè)計使這兩個操作重疊，保持TensorCores的高利用率?；谖覀兊膶嶒灒O(shè)置Nc=128元素，相當(dāng)于4個WGMMAs,代表可以顯著提高精度而不引入大量開銷的最小累加間隔。(5位指數(shù)和2位尾數(shù)),我們在所有張量中采用E4M3格式以獲得更高的精度。我們將這種方法的可行性歸因于我們的細(xì)粒度量化策略，即平鋪和塊級縮放。通過在較小的元素組上操作，我們在線量化。延遲量化用于張量級量化框架中(NVIDIA,2024b;Pengetal.,2023b),它通過維持先前迭代的最大絕對值歷史來推斷當(dāng)前值。為了確保準(zhǔn)確的比例并簡化框架，我們?yōu)槊總€1x128激活平鋪或128x128權(quán)重塊在線計算最大絕對值?；诖?，我們得出縮放因子，然后ter,2017)優(yōu)化器的第一和第二時刻，而不會造成明顯的性能下降。然而，主權(quán)重(由優(yōu)化器存儲)和梯度(用于批量大小累加)仍然保留在FP32中，以確保整個訓(xùn)練過程中的數(shù)值穩(wěn)定性。低精度激活。如圖6所示，Wgrad操作在FP8中執(zhí)行。為了減少內(nèi)存消耗，很自然地選擇以FP8格式緩存激活用于Linear算子的反向傳播。然而，對于低成本高精度訓(xùn)練的幾個算子采(1)注意力算子后的Linear輸入。這些激活也用于注意力算子的反向傳播，這使得活將在反向傳播中從1x128量化塊轉(zhuǎn)換為128x1塊。為了避免引入額外的量化誤差，低精度通信。通信帶寬是MoE模型訓(xùn)練中的關(guān)鍵瓶頸。為緩解這一挑戰(zhàn)，我們在MoE上投影前將激活量化為FP8,然后應(yīng)用dispatch組件，這與MoE上投影中的F意力算子后的Linear輸入一樣，這些激活的縮放因子也是2的整數(shù)冪。類似策略應(yīng)用于MoE下投影前的激活梯度。對于前向和反向combine組件，我們保的所有GPU通過IB完全互連。為了同時確保在線服務(wù)的服務(wù)級別目標(biāo)(SLO)和高吞吐量，我預(yù)填充階段的最小部署單元由4個節(jié)點組成，共有32個GPU。attention部分采用4路張量并行(TP4)結(jié)合序列并行(SP),再加上8路數(shù)據(jù)并行(DP8)。其小規(guī)模的TP大小限制了TP通信而提高計算效率。對于MoE的全連接通信，我們使用與訓(xùn)練相同的方法：首先通過IB跨節(jié)點傳輸token,然后通過NVLink在節(jié)點為了在MoE部分的不同專家之間實現(xiàn)負(fù)載均衡，我們于在線部署期間收集的統(tǒng)計信息檢測，并定期調(diào)整(例如每10分鐘一次)。確定冗余專家集后，我們根據(jù)觀察到的負(fù)載仔細(xì)重新安排節(jié)點內(nèi)GPU上的專家，盡量在不增加跨銷的情況下平衡GPU之間的負(fù)載。對于Deep此外，在預(yù)填充階段，為了提高吞吐量并隱藏全連接和TP通信的開銷，我們同時處理兩個具有相似計算工作量的微批次，使一個微批次的attention和MoE與另一個微批次最后，我們正在探索一種動態(tài)冗余策略，每個GPU托管更多專家(例如16個專家),但在每次推理步驟中只激活9個。在每一層的全連接操作開始之前，我們實時計算全局最優(yōu)路由方案。在解碼過程中，我們將共享專家視為路由專家。從這個角度來看，每個標(biāo)記在路由時會選擇9個專家，其中共享專家被視為一個重載專家，總是會被選擇。解碼階段的最小部署單元由40個節(jié)點組成，配備320個GPU。類似于預(yù)填充，我們定期根據(jù)在線服務(wù)的統(tǒng)計專家負(fù)載確定一定間隔內(nèi)的冗余專家集。然而，由于每個GPU僅托管一個專家，因此無需重新安排專家。我們還在探索解碼的動態(tài)冗余策開銷。此外，為了提高吞吐量并隱藏所有對所有通信的開銷，我們還正在探索同時處理兩個具有相似計算工作量的微批次。與預(yù)填充不同，attention在解碼階段占用更多時間。因碼階段，每個專家的批量大小相對較小(通常在256個標(biāo)記以內(nèi)),瓶頸是內(nèi)存訪問而非計3.5.硬件設(shè)計建議基于我們對所有對所有通信和FP8訓(xùn)練方案的實現(xiàn)，我們向AI硬件供應(yīng)商提出以下芯片設(shè)計建在DeepSeek-V3中，我們實現(xiàn)了計算與通信的重疊，以在計算過程中隱藏通信延遲。這大大減少了與串行計算和通信相比對通信帶寬的依賴。然而，當(dāng)前的通信實現(xiàn)依賴于昂貴的SM(例如，在H800GPU可用的132個SM中，我們分配了20個用于此目的),這將限制計算吞吐量。此外，使用SM進(jìn)行通信會導(dǎo)致顯著的效率低下，因為張量核心完全未被利用。●在IB(InfiniBand)和NVLink域之間轉(zhuǎn)發(fā)數(shù)據(jù)，同時聚合來自單個GPU的目的地為同一節(jié)點內(nèi)多個GPU的IB流量。●在分塊數(shù)據(jù)傳輸期間管理細(xì)粒度內(nèi)存布局，以跨IB和NVLink域向多個專家傳輸數(shù)據(jù)。我們希望未來供應(yīng)商開發(fā)能夠?qū)⑦@些通信任務(wù)從寶貴的計算單元SM卸載到類似NVIDIASHARPGrahametal.(2016)的GPU協(xié)處理器或網(wǎng)絡(luò)協(xié)處理器的硬件。此外，為了減少應(yīng)用程序編程復(fù)雜性，我們希望這種硬件能夠統(tǒng)一IB(擴展)和NVLink(擴展)網(wǎng)絡(luò)，使計算單元可以通過提交基于簡單原語的通信請求輕松完成在整個IB-NVLink統(tǒng)一域中的讀取、寫入、多播和歸約等操作。更高的FP8GEMM累積精度在張量核心中。在當(dāng)前NVIDIAHopper架構(gòu)的張量核心實現(xiàn)中，F(xiàn)P8GEMM(通用矩陣乘法)采用定點累積，根據(jù)最大指數(shù)右移對齊尾數(shù)乘積后進(jìn)行加法。我們的實驗表明，它只使用每次尾數(shù)乘積最高14位的符號填充右移后的結(jié)果，并截斷超出此范圍的位。然而，例如，要從32個FP8×FP8乘法的累積中獲得精確的FP32結(jié)果，至少需要34位精度。因此，我們建議未來的芯片設(shè)計增加張量核心中的累積精度，以支持全精度累積，或者根據(jù)訓(xùn)練和推理算法的精度要求選擇適當(dāng)?shù)睦鄯e位寬。這種方法確保誤差保持在可接受范圍內(nèi)，同時子，并添加到CUDA核心上的FP32寄存器。雖然結(jié)合我們精確的FP32累積策略顯著減輕了去量化開銷，但張量核心和CUDA核心之間的頻繁數(shù)據(jù)移動仍然限制了計算效率。因此，我們建議未來的芯片支持細(xì)粒度量化，使張量核心能夠接收縮放因子并實現(xiàn)整個部分和累積和去量化可以直接在張量核心中完成，直到產(chǎn)生最終結(jié)果，避免頻繁的數(shù)據(jù)移在現(xiàn)有過程中，我們需要從HBM(高帶寬內(nèi)存)讀取128個BF16激活值(前一次計算的輸出)以進(jìn)行量化，并將量化的FP8值寫回HBM,然后再次讀取用于MMA。為解決這一效率問題，我們建議未來的芯片將FP8轉(zhuǎn)換和TMA(張量內(nèi)存加速器)訪問整合為單一融合操作，從而在將激活從全局內(nèi)存?zhèn)鬏數(shù)焦蚕韮?nèi)存的過程中完成量化，避免頻繁的內(nèi)存讀寫。我們還建議支持warp級別的轉(zhuǎn)換指令以加速，這進(jìn)一步促進(jìn)了層歸一化和FP8轉(zhuǎn)換的更好融合?；蛘?，可以接在從HBM讀入GPU時轉(zhuǎn)換為FP8,減少大約50%的片外內(nèi)存訪問。工作流程中，前向傳遞期間的激活被量化為1x128FP8瓷磚并存儲。在反向傳遞期間，需要讀出矩陣，去量化，轉(zhuǎn)置，重新量化為128x1瓷磚，并存儲在HBM中。為了減少內(nèi)存操作，我們4.預(yù)訓(xùn)練與DeepSeek-V2相比，我們通過增加數(shù)學(xué)和編程樣本的比例并擴展多語言覆蓋范圍來優(yōu)化預(yù)訓(xùn)練語料庫，不僅限于英語和中文。此外，我們的數(shù)據(jù)處理管道經(jīng)過改進(jìn)，以盡量減少冗余同時在DeepSeekCoder-V2(DeepSeek-AI,2024a)的訓(xùn)練過程中，我們觀察到<|fim_beginl>fpre<|fim_holel>fsuf<|fim_endl>fmiddle<|eos_token|>.這種結(jié)構(gòu)在文檔級別應(yīng)用于預(yù)打包過程。FIM策略的應(yīng)用率為0.1,與PSM框架一致。DeepSeek-V3的分詞器采用Byte-levelBPE(Shibataetal.,1999),詞匯表擴展至128K個標(biāo)記。預(yù)分詞器和訓(xùn)練數(shù)據(jù)進(jìn)行了修改，以優(yōu)化多語言壓縮效率。此外，與DeepSeek-V2相比，新的預(yù)分詞器引入了結(jié)合標(biāo)點符號和換行符的標(biāo)記。然而，這種方法可能在模型處理多行提示且沒問題，我們在訓(xùn)練期間隨機拆分一定比例的此類組合標(biāo)記，從而使模型接觸到更廣泛的特殊情模型超參數(shù)。我們將Transformer層的數(shù)量設(shè)置為61,隱藏維度設(shè)置為7168。所有可學(xué)習(xí)參數(shù)均用標(biāo)準(zhǔn)差為0.006的隨機初始化。在MLA中，我們將注意力頭的數(shù)量n設(shè)置為128,每個頭的維度dn設(shè)置為128。KV壓縮維度d設(shè)置為512,查詢壓縮維度d設(shè)置為1536。對于解耦的查詢和鍵，我們將每個頭的維度d設(shè)置為64。我們用MoE層替換了除前三個層以外的所有FFN層。每個MoE層由1個共享專家和256個路由專家組成，每個專家的中間隱藏維度為2048。在路由專家中，每個令牌將激活8個專家，并確保每個令牌最多發(fā)送到4個節(jié)點。多令牌預(yù)測深度D設(shè)置為1,即除了精確的下一個令牌外，每個令牌還將預(yù)測一個額外的令牌。如DeepSeek-V2一樣，DeepSeek-V3也在壓縮潛在向量后使用額外的RM0.9,β2=0.95,和weight_decay=0.1。我們將最大序列長度設(shè)置為4K在預(yù)訓(xùn)練期間，并在14.8T個標(biāo)記上預(yù)訓(xùn)練DeepSeek-V3。對于學(xué)習(xí)率調(diào)度，我們在前2K步中將其線性增加訓(xùn)練期間，我們在前333B個標(biāo)記中保持恒定的學(xué)習(xí)率為2.2×10-5,并在剩余的167B個標(biāo)記中切前469B個標(biāo)記的訓(xùn)練中，批量大小逐漸從3072增加到15360,然后在剩余的訓(xùn)練中保持15360。我們利用管道并行性將模型的不同層部署在不同的GPU上，并且對于每一層，路由專家將在屬于8個節(jié)點的64個GPU上均勻部署。對于節(jié)點限制路由，每個標(biāo)記最多會被發(fā)送到4個節(jié)點Documento,pthDocumento,pthPercent(%我們采用了與DeepSeek-V2(DeepSeek-AI,2保持相同，包括比例s=40,α=1,β=32,以及縮放因子Vt=0.1Ins+1。在第一階段，序列長度設(shè)置為32K,批量大小為1920。在第二階段，序列長度增加到128K,批量大小減少到480圖8顯示，經(jīng)過監(jiān)督微調(diào)后，DeepSeek-V3在“針在干草堆中”(NIAH)測試中表現(xiàn)出顯著的4.4.評估DeepSeek-V3的基礎(chǔ)模型是在一個以英語和中文為主的多語言語料庫上預(yù)訓(xùn)練的，因此我們在一系列主要以英語和中文為主的基準(zhǔn)上評估其性能，以及一個多語言基準(zhǔn)。我們的評估基于集成在我們HAI-LLM框架中的內(nèi)部評估框架。考慮的基準(zhǔn)分為以下幾類.其中下劃線表示中文基多學(xué)科多項選擇數(shù)據(jù)集包括MMLU(Hendrycksetal.,2020),MMLU-Redux(Gemaetal.,2024),MMLU-Pro(Wangetal.,2024b),MMMLU(OpenAI,2024b),2023),和CMMLU(Lietal.,2023)。語言理解和推理數(shù)據(jù)集包括HellaSwag(Zellersetal.,2019),PIQA(Bisketal.,2020),ARC(Clarketal.,2018),和BigBenchHard(BBH)(Suzgunetal.,2022)。閉卷問答數(shù)據(jù)集包括TriviaQA(Joshietal.,2017)和NaturalQuestions(Kwiatkowskietal.,閱讀理解數(shù)據(jù)集包括RACELaietal.(2017),DR指代消解數(shù)據(jù)集包括CLUEWSC(Xuetal.,2020)和W語言建模數(shù)據(jù)集包括Pile(Gaoetal.,2020)。數(shù)學(xué)數(shù)據(jù)集包括GSM8K(Cobbeetal.,2021),MATH(Hendrycksetal.,2021),MGSM(Shietal.,2023),和CMath代碼數(shù)據(jù)集包括HumanEval(Chenetal.,2021),LiveCodeBench-Base(0801-1101)Jainetal.,2024),MBPP(Austinetal.,2021),和CRUXEval(Guetal.,2024)。標(biāo)準(zhǔn)化考試包括AGIEval(Zhongetal.,2023)。注意，AGIEval包含英語和中文子集。根據(jù)我們之前的工作(DeepSeek-AI,2024b,c),我們對包括HellaSwag、PIQA、WinoGrande、ARC-Challenge、C-Eval、CMMLU、C3和CCPM的數(shù)據(jù)集采用困惑度評價，并對TriviaQA、Base、CRUXEval、BBH、AGIEval、CLUEWSC、CMRC和CMath的數(shù)據(jù)集外，我們對Pile-test進(jìn)行語言建模評價，并使用每字節(jié)位數(shù)(BPB)作為指標(biāo)以確保不同分詞器模型之間的公平比較。在表3中，我們將DeepSeek-V3的基礎(chǔ)模型與最先進(jìn)開源基礎(chǔ)模型進(jìn)行了比較，包括DeepSeek-V2-Base(DeepSeek-AI,2024c)(我們之前的發(fā)布),Qwen2.572BBase(Qwen,2024b)和LLaMA-3.1405BBase(AI@Meta,2024b)。我們使用內(nèi)部評估框架對所有這些模型進(jìn)行評估，并確保它們共享相同的評估設(shè)置。請注意，由于過去幾個月我們評估框架的變化，DeepSeek-V2-Base的性能與我們之前報告的結(jié)果存在輕微差異?？傮w而言，DeepSeek-V3-Base全面優(yōu)于DeepSeek-V2-Base和Qwen2.572BBase,并在大多數(shù)基準(zhǔn)測試中超越了LLaMA-3.1405BBase,基本上成為最強的開源模型。從更詳細(xì)的角度來看，我們將DeepSeek-V3-Base與其他開源基礎(chǔ)模型分別進(jìn)行了比較。(1)--中進(jìn)行評估，并共享相同的評估設(shè)置。分?jǐn)?shù)差距不超過0.3被認(rèn)為在同一水平。DeepSeek-V3-與DeepSeek-V2-Base相比，由于我們在模型架構(gòu)上的改進(jìn)、模型規(guī)模和訓(xùn)練令牌的擴大以及數(shù)據(jù)質(zhì)量的提高，DeepSeek-V3-Base如預(yù)期那樣顯著提高了性能。(2)與最先進(jìn)的中文開源模代碼和數(shù)學(xué)基準(zhǔn)測試中表現(xiàn)出顯著優(yōu)勢。對于中文基準(zhǔn)測試，除了CMMLU(中文多學(xué)科多項選擇任務(wù))外，DeepSeek-V3-Base也比Qwen2.572B表現(xiàn)更好。(3)與擁有11倍激活參數(shù)的最大由于我們高效的架構(gòu)和全面的工程優(yōu)化，DeepSeek-V3實現(xiàn)了極高的訓(xùn)練效率。在我們的訓(xùn)練框架和基礎(chǔ)設(shè)施下，訓(xùn)練DeepSeek-V3每個萬億令牌僅需180KH800GPU小時，這比訓(xùn) 在表4中，我們展示了MTP策略的消融結(jié)果。具體來說，我們在不同規(guī)模的兩個基線模型上驗在大規(guī)模上，我們在540B令牌上訓(xùn)練了一個包含228.7B總參數(shù)的MoE基線模型。在此基礎(chǔ)上，保持訓(xùn)練數(shù)據(jù)和其他架構(gòu)相同，我們在其上添加一個深度為1的MTP模塊，并用MTP策略訓(xùn)練兩個模型以作比較。請注意，在推理期間，我們直接丟棄MTP模塊，因此所比較模型的在表5中，我們展示了無輔助損失平衡策略的消融結(jié)果。我們在不同規(guī)模的兩個基線模型上驗型純粹使用輔助損失來鼓勵負(fù)載平衡，并使用帶有top-K親和度歸一化的si型的基礎(chǔ)上，保持訓(xùn)練數(shù)據(jù)和其他架構(gòu)相同，我們移除所有輔助損失并引入無輔助損失平衡策略以作比較。從表中可以看出，無輔助損失策略在大多數(shù)評估基準(zhǔn)上一致地實現(xiàn)了更好的模型Table5|無輔助損失平衡策略的消融結(jié)果。與純基于輔助損失的方法相比，無輔助損失策略在4.5.3.Batch-Wise負(fù)載均衡與Sequence-Wise負(fù)載均衡輔助損失自由平衡與序列式輔助損失之間的關(guān)鍵區(qū)別在于它們的平衡范圍：批次級與序列級。相比于序列式的輔助損失，批次級的平衡施加了更靈活的約束，因為它并不強制每個序列內(nèi)的領(lǐng)域平衡。這種靈活性使專家能夠更好地專注于不同的領(lǐng)域。為了驗證這一點，我們在Pile測試集的不同領(lǐng)域中記錄并分析了一個基于16B輔助損失的基線和一個16B輔助損失自由模型的為了進(jìn)一步研究這種靈活性與模型性能優(yōu)勢之間的相關(guān)性，我們還設(shè)計并驗證了一種批處理級別的輔助損失，它鼓勵在每個訓(xùn)練批次上進(jìn)行負(fù)載均衡，而不是在每個序列上。實驗結(jié)果表明，在實現(xiàn)相似的批處理級別負(fù)載均衡時，批處理級別的輔助損失也可以達(dá)到與輔助損失自由方法相似的模型性能。具體來說，在我們的1BMoE模型實驗中，驗證損失分別為：使用序列式輔助損失為2.258,使用輔助損失自由方法為2.253,使用批處理級別輔助損失為2.253。我們也在3BMoE模型上觀察到了類似的結(jié)果：使用序列式輔助損失的模型驗證損失為2.085,而此外，盡管批處理級別的負(fù)載均衡方法顯示出一致的性能優(yōu)勢，但它們也面臨兩個潛在的效率挑戰(zhàn)：(1)某些序列或小批次內(nèi)的負(fù)載不均衡，(2)推理過程中由于領(lǐng)域轉(zhuǎn)移引起的負(fù)載不均衡。第一個挑戰(zhàn)通過我們使用大規(guī)模專家并行性和數(shù)據(jù)并行性的訓(xùn)練框架自然得到解決，這保證了每個微批次的較大規(guī)模。對于第二個挑戰(zhàn)，我們還設(shè)計并實現(xiàn)了一個高效的推理框架，Wikipedia(en)-Wikipedia(en)-iz3456iagioitiz13141516i7i81920212225242522rz2030313233435837830404142434546474849505SFigure9|輔助損失自由和基于輔助損失的模型在Pile測試集三個領(lǐng)域的專家負(fù)載。輔助損失自由模型顯示出比基于輔助損失的模型更強的專家專業(yè)化模式。相對專家負(fù)載表示實際專家負(fù)載與理論平衡專家負(fù)載之間的比率。由于篇幅限制，我們僅展示了兩層的結(jié)果作為示例，所有層推理數(shù)據(jù)。對于涉及推理的數(shù)據(jù)集，包括數(shù)學(xué)、編程競賽問題和邏輯謎題等，我們利用內(nèi)部的DeepSeek-R1模型生成數(shù)據(jù)。具體來說，雖然R1生成的數(shù)據(jù)準(zhǔn)確性高，但也存在過度思考、據(jù)的清晰簡潔。為了建立我們的方法論，我們首先為特定領(lǐng)域(如代碼、數(shù)學(xué)或一般推理)開發(fā)一個專家模型，使用結(jié)合監(jiān)督微調(diào)(SFT)和強化學(xué)習(xí)(RL)的訓(xùn)練管道。這個專家模型作為最終模型的數(shù)據(jù)生成器。訓(xùn)練過程涉及為每個實例生成兩種不同類型的SFT樣本：第一種將問題與其原始回答配對，格式為<問題，原始回答>;第二種則結(jié)合系統(tǒng)提示、問題和R1回答，格式為<系統(tǒng)提系統(tǒng)提示經(jīng)過精心設(shè)計，包含引導(dǎo)模型生成帶有反思和驗證機制的響應(yīng)的指令。在RL階數(shù)百次RL步驟后，中間的RL模型學(xué)會了融入R1模式，從而戰(zhàn)略性地提升整體性能。完成RL訓(xùn)練階段后，我們實施拒絕采樣以精選高質(zhì)量的SFT數(shù)據(jù)供最終模型使用，其中SFT設(shè)置。我們使用SFT數(shù)據(jù)集對DeepSeek-V3-Base進(jìn)行兩次迭代的微調(diào)，采用從5×10-6開始逐漸減少到1×10-6的余弦衰減學(xué)習(xí)率調(diào)度。在訓(xùn)練期間，每個單序列由多個樣本打包而5.2.強化學(xué)習(xí)我們在RL過程中使用基于規(guī)則的獎勵模型(RM)和基于模型的RM?；谝?guī)則的RM。對于可以使用特定規(guī)則驗證的問題，我們采用基于規(guī)則的獎勵系統(tǒng)來確定反饋。例如，某些數(shù)學(xué)問題有確定的結(jié)果，我們要求模型在指定格式(如方框內(nèi))提供最終答試用例生成反饋。通過盡可能利用基于規(guī)則的驗證，我們確保更高的可靠性，因為這種方法不期的真實答案匹配。相反，對于沒有明確真實答案的問題，例如涉及創(chuàng)意寫作的問題，獎勵模型的任務(wù)是根據(jù)問題和相應(yīng)的答案作為輸入提供反饋。獎勵模型從DeepSeek-V3SFT檢查點進(jìn)行訓(xùn)練。為了增強其可靠性，我們構(gòu)建了偏好數(shù)據(jù)，這些數(shù)據(jù)不僅提供了最終的獎勵，還包括類似于DeepSeek-V2(DeepSeek-AI,2024c),我們采用組相對策略優(yōu)化(GRPO)(Shaoetal.,2024),它放棄了通常與策略模型大小相同的批評模型，并從組分?jǐn)?shù)中估計基線。具體來說，對標(biāo)來優(yōu)化策略模型π:JGRPo(θ)=E[q~P(Q),{0;}-15.3.評估評估基準(zhǔn)。除了用于基礎(chǔ)模型測試的基準(zhǔn)外，我們進(jìn)一步在IFEval(Zhouetal.,2023)、SimpleQA(OpenAI,2024c)、C-Sievals框架提供的評估提示4。我們在零樣本設(shè)置中使用Zero-Eval提示格式(Lin,2024)評估MMLU-Redux。對于其他數(shù)據(jù)集，我們遵循數(shù)據(jù)集創(chuàng)建者提供的默認(rèn)提示及其原始評估協(xié)議。對于代碼和數(shù)學(xué)基準(zhǔn)，HumanEval-Mul數(shù)據(jù)集包括8種主流編程語言(Python、Java、Cpp、C#、JavaScript、TypeScript、PHP和Bash)。我們使用CoT和非CoT方法評估LiveCodeBench上的模型性能，其中數(shù)據(jù)收集自2024年8月至11月。Codeforces數(shù)據(jù)集使用競爭對手的百分比進(jìn)行衡量。SWE-Benchverified使用無代理框架(Xia3/Home/comp/c?/openai/simplFRAMES(Acc.)Aider-Polyglot(Ac.) 2.86.8Table6|DeepSeek-V3與其他代表性聊天模型的比較。所有模型都在限制輸出長度為8K的配置下進(jìn)行評估。樣本少于1000的基準(zhǔn)測試多次使用不同的溫度設(shè)置以得出穩(wěn)健的最終結(jié)果。英語基準(zhǔn)。MMLU是一個廣泛認(rèn)可的基準(zhǔn)，旨在評估大型語言模型在多樣化知識領(lǐng)域和任DeepSeek-V3緊隨Claude-Sonnet3.5之后。在修正標(biāo)簽后的MMLU版本MMLU-Redux中，得了顯著成果，僅落后于Claude3.5的最佳表現(xiàn)進(jìn)一步驗證了其長上下文能力，該數(shù)據(jù)集在DeepSeekV3發(fā)布前幾周才發(fā)布。在事的任務(wù)，涵蓋了以工程為中心的任務(wù)如SWE-Bench-Verified和Aider,以及算法任務(wù)3.5-1022,但顯著優(yōu)于開源模型。開源的DeepSeek-V3有望推動與編碼相關(guān)的工程任務(wù)的進(jìn)步。通過提供其強大的能力訪問，DeepSeek-V3可以推動軟件工程和算法開發(fā)領(lǐng)域的創(chuàng)新和改進(jìn)，使開發(fā)人員和研究人員能夠拓展開源模型在編碼任務(wù)中的能力邊界。在算法任務(wù)中，基線模型。這一成功可歸因于其先進(jìn)的知識蒸餾技術(shù)，該技術(shù)有效地增強了其在算法任務(wù)中的型Qwen2.572B高出約10%分的絕對分?jǐn)?shù)，這對于如此具有挑戰(zhàn)性的基準(zhǔn)測試而言是一個巨大的差距。這一顯著的能力突顯了來自DeepSeek-R1的蒸餾技術(shù)的有效性，已被證明對非o1-like模在代表性的中文教育知識評估基準(zhǔn)C-Eval和CLUEWSC(中文WinogradSchemaChal-如表7所示。具體來說，我們遵循AlpacaEval2.0(Duboisetal.,2024)和Arena-Hard(Lietal.,2024a)的原始配置，這些配置利用GPT-4-Turbo-1106作為成對比較的評委。在Arena-Hard上，DeepSeek-V3取得了超過86%的驚人勝率，對抗基線GPT-4-0314的表現(xiàn)與頂級模型如Claude-開源模型。這一成就顯著縮小了開源和閉源模型之間的性能差距，為開源模型在具有挑戰(zhàn)性的示了它在寫作任務(wù)和處理簡單問答場景方面的卓越能力。值得注意的是，它以20%的巨大優(yōu)勢超過了DeepSeek-V2.5-0905,顯示出在處理簡單任務(wù)方面的顯著改進(jìn)，并展示了其進(jìn)步的有效5.3.4.DeepSeek-V3作為生成獎勵模型我們將DeepSeek-V3的判斷能力與最先進(jìn)的模型GPT-4o和Claude-3.5進(jìn)行了比較。表8展示了這些模型在RewardBench(Lambertetal.,2024)上的表現(xiàn)。DeepSeek-V3的表現(xiàn)與GPT-4o-0806和Claude-3.5-Sonnet-1022的最佳版本相當(dāng)，同時超過了其他版本。此外，通過投票技術(shù)Table9|來自DeepSeek-R1的蒸餾貢獻(xiàn)。LiveCodeBench和MATH-500的評估設(shè)置與表6相同。表9展示了蒸餾數(shù)據(jù)的有效性，在LiveCodeBench和MATH-500基準(zhǔn)測試中顯示出顯著的改為了在模型準(zhǔn)確性和計算效率之間保持平衡，我們仔細(xì)選擇了DeepSeek-V3在蒸餾中的最優(yōu)設(shè)我們的研究表明，從推理模型中進(jìn)行知識蒸餾為后訓(xùn)練優(yōu)化提供了一個有前景的方向。雖然我們目前的工作集中在從數(shù)學(xué)和編碼領(lǐng)域蒸餾數(shù)據(jù)，但這種方法在各種任務(wù)領(lǐng)域中具有廣泛的應(yīng)用潛力。在這些特定領(lǐng)域的有效性表明，長CoT蒸餾可能對提升模型在其他需要復(fù)雜推理獎勵在強化學(xué)習(xí)(RL)中起著關(guān)鍵作用，指導(dǎo)優(yōu)化過程。在可以通過饋機制是不切實際的。在DeepSeek-V3的開發(fā)過程中，針對這些更廣泛的上下文，我們采用了產(chǎn)生了顯著的對齊效果，顯著提升了DeepSeek-V3在主觀評估中的表現(xiàn)。通過整合額外的憲法碼框架(Leviathanetal.,2023;Xiaetal.,2023),它可以顯著加速模型的解碼速度。一個自然的問題是關(guān)于額外預(yù)測令牌的接受率。根據(jù)我們的評估，第二個令牌預(yù)測的接受率在各種生成主題中保持在85%到90%之間，表現(xiàn)出一致的可靠性。這種高接受率使DeepSeek-V3能夠?qū)崿F(xiàn)顯著6.結(jié)論、局限性和未來方向載均衡策略，并為更強性能設(shè)定了多令牌預(yù)測訓(xùn)練目標(biāo)。DeepSeek-V3的訓(xùn)練由于FP8訓(xùn)練的支持和細(xì)致的工程優(yōu)化而具有成本效益。后訓(xùn)練也在從DeepSeek-R1系列模型中提取推理能力方面取得了成功。全面評估表明，DeepSeek-V3已成為目前可用的最強開源模型，并實現(xiàn)了與領(lǐng)先閉源模型如GPT-40和Claude-3.5-Sonnet相當(dāng)?shù)男阅?。盡管其性能強勁，但它也保持了經(jīng)濟的訓(xùn)練成本。它只需要2.788MH800GPU小時進(jìn)行完整訓(xùn)練，包括預(yù)訓(xùn)練、上下文長度擴展和后訓(xùn)練。雖然承認(rèn)其強勁的性能和成本效益，我們也認(rèn)識到DeepSeek-V3存在一些部署上的局限性。首先，為了確保高效推理，建議的DeepSeek-V3部署單元相對較大，這可能對小型團隊構(gòu)成負(fù)擔(dān)。其次，盡管我們的DeepSeek-V3部署策略已實現(xiàn)了超過DeepSeek-V2兩倍的端到端生成速度，但仍存在進(jìn)一步提升的潛力。幸運的是，隨著更先進(jìn)硬件的發(fā)展，這些局限性有望得到自然解決。DeepSeek始終遵循長期主義的開源模型路線，旨在穩(wěn)步接近AGI(通用人工智能)的最終目標(biāo)。未來，我們計劃在以下方向上進(jìn)行戰(zhàn)略性研究投資?！裎覀儗⒉粩嘌芯亢蛢?yōu)化模型架構(gòu)，旨在進(jìn)一步提高訓(xùn)練和推理效率，努力實現(xiàn)對無限上下文長度的有效支持。此外，我們將嘗試突破Transformer架構(gòu)的限制，從而推動其建模能●我們將不斷迭代訓(xùn)練數(shù)據(jù)的數(shù)量和質(zhì)量，并探索納入其他訓(xùn)練信號源，旨在推動數(shù)據(jù)在更廣泛的維度上擴展?！裎覀儗⒊掷m(xù)探索和迭代模型的深度思考能力，旨在通過擴展推理長度和深度來增強其智能和問題解決能力?！裎覀儗⑻剿鞲婧投嗑S的模型評估方法，以防止在研究中優(yōu)化固定的一組基準(zhǔn)，這可能會對模型能力產(chǎn)生誤導(dǎo)性的印象并影響我們對其基礎(chǔ)評估。AI@Meta.Llama3modelcard,2024a.URL/meta-AI@Meta.Llama3.1modelcard,2024b.URL/meta-llama/llama-mAnthropic.Claude3.5sonnet,2024.URL/news/claude-3J.Austin,A.Odena,M.Nye,M.Bosma,H.Michalewski,D.Dohan,E.Jiang,CQ.Le,etal.ProgramsynthesiswithlargelanguageY.Bai,S.Kadavath,S.Kundu,A.Askell,J.Kernion,A.Jones,A.Chen,A.Goldie,A.MirC.McKinnon,etal.ConstitutionalAI:HarmlessnessY.Bai,S.Tu,J.Zhang,H.Peng,X.Wang,X.Lv,S.Cao,J.Xu,L.Hou,Y.Dong,J.Tang,andJ.Li.LongBenchv2:TowardsdeeperM.Bauer,S.Treichler,andA.Aiken.Singe:leveraginofParallelProgramming,PPoPP'14,130,NewYork,NY,USA,2014.AssociationforComputingMachinery.ISBN978145032656/10.1145/2555243.2555258.Y.Bisk,R.Zellers,R.L.Bras,J.Gao,andY.Choi.PIQA:reasoningaboutphysicalcommonsense2020,TheThirty-SecondInnovativeApplicationsofArtificialIntelligenceConference,IAAI2020,TheTenthAAAISymposiumonEducationalAdvancesin2020,NewYork,NY,USA,February7-12,2020,pages10.1609/aaai.v34i05.6239.URL/10.1609/aaai.v34i05.6239.M.Chen,J.Tworek,H.Jun,Q.Yuan,H.P.deOliveiraPinto,J.Kaplan,H.Edwards,Y.Burda,N.Joseph,G.Brockman,A.Ray,R.Puri,G.Krueger,M.Petrov,H.Khlaaf,G.SastryB.Chan,S.Gray,N.Ryder,M.Pavlov,A.Power,L.Kaiser,M.Bavarian,C.WinteP.Such,D.Cummings,M.Plappert,F.Chantzis,E.Barnes,A.Herbert-Voss,Nichol,A.Paino,N.Tezak,J.Tang,I.Babuschkin,S.Balaji,S.Jain,W.Saunders,C.HesN.Carr,J.Leike,J.Achiam,V.Misra,E.Morikawa,A.Radford,M.Knight,M.BrundagMurati,K.Mayer,P.Welinder,B.McGrew,D.Amodei,S.McCandlish,I.Sutskever,anURL/abs/2107.03374.P.Clark,I.Cowhey,O.Etzioni,T.Khot,A.Sabharwal,C.Schoenick,andO.Tafjord.Thinkyouhavesolvedquestionanswering?tryarc2018.URL/abs/1803.05457.K.Cobbe,V.Kosaraju,M.Bavarian,M.Chen,H.Jun,L.Kaiser,M.Plappert,Hilton,R.Nakano,etal.Trainingverifierstosolvemathwordproblems.arXivpreprintY.Cui,T.Liu,W.Che,L.Xiao,Z.Chen,W.Ma,S.Wang,andG.Hu.datasetforChinesemachinereadingcomprehension.InK.Inui,J.Jiang,V.Ng,andX.Wan,editors,Proceedingsofthe2019ConferenProcessingandthe9thInternationalJointConfere(EMNLP-IJCNLP),pages5883-5889,HongKong,China,Nov.2019.AssociationforComputa-tionalLinguistics.doi:10.18653/v1/D19-1600.URL/D19D.Dai,C.Deng,C.Zhao,R.X.Xu,H.Gao,D.Chen,J.Li,W.Zeng,X.Yu,Y.Wu,Z.Li,P.Huang,F.Luo,C.Ruan,Z.Sui,andW.Liang.Deepseekmoe:Towardsultimateexpert/10.48550/arXiv.2401.06066.DeepSeek-AI.Deepseek-coder-v2:Breakingthebarrierofclosed-sourcemodelsincodeintelli-gence.CoRR,abs/2406.11931,2024a.URL/10.48550/arXiv.2406.11DeepSeek-AI.DeepseekLLM:scalingopen-sourcelanguagemoabs/2401.02954,2024b.URL/10.48550/arXiv.2401.02954.DeepSeek-AI.Deepseek-v2:Astrong,economicmodel.CoRR,abs/2405.04434,2024c.URLT.Dettmers,M.Lewis,Y.Belkada,andL.Zettlemoyer.G8():8-bitmatri30332,2022.H.Ding,Z.Wang,G.Paolini,V.Kumar,A.Deoras,D.Roth,andS.Soatto.FewertruncationsD.Dua,Y.Wang,P.Dasigi,G.Stanovsky,S.Singh,andM.Gardner.DROP:Areadingcomhensionbenchmarkrequiringdiscretereasoningoverparagraphs.T.Solorio,editors,Proceedingsofthe2019ConferenceoftheNorthAmericanChapteroftheAssociationforComputationalLi2019,Minneapolis,MN,USA,2378.AssociationforComputationalLinguistics,2019.doi:10.18653/V1/N19-1246.URL/10.18653/v1/n19-1246.Y.Dubois,B.Galambosi,P.Liang,andT.B.HashimoW.Fedus,B.Zoph,andN.Shazeer.Switchtransformers:Scalingtotrillionparametermodelswithsimpleandeffiabs/2101.03961.M.Fishman,B.Chmiel,R.Banner,andD.Soudry.ScalE.Frantar,S.Ashkboos,T.Hoefler,andD.Alistarh.Gptq:AccurateL.Gao,S.Biderman,S.Black,L.Golding,T.Hoppe,C.Foster,J.Phang,H.HA.P.Gema,J.O.J.Leang,G.Hong,A.Devoto,A.C.M.Mancino,R.Saxena,X.HeX.Du,M.R.G.Madani,C.Barale,R.McHardy,J.Harris,J.Kaddour,E.vanKrieken,andP.Minervini.Arewedonewithmmlu?CoRR,abs/2406.04127,2024.URLhttps://doi.oF.Gloeckle,B.Y.Idrissi,B.Roziere,D.Lopez-Paz,andG.Synnaevelanguagemodelsviamulti-tokenprMachineLearning,ICML