計(jì)算機(jī)行業(yè)動(dòng)態(tài)跟蹤：Kimi、階躍星辰等大模型發(fā)展有望持續(xù)拉動(dòng)算力需求

目錄TOC\o"1-2"\h\z\u一、 國(guó)內(nèi)大型進(jìn)快速力需求望進(jìn)步提升 4Kimi火爆，五次擴(kuò)容網(wǎng)站仍過(guò)載停工，算力需求有望進(jìn)一步提升 4階躍星辰發(fā)布萬(wàn)億參數(shù)模型預(yù)覽版，拉動(dòng)算力需求提升 5二、 上海11部聯(lián)合印發(fā)“力浦江”方案設(shè)立規(guī)模以智算產(chǎn)目標(biāo) 7三、 產(chǎn)業(yè)政齊發(fā)，算線值得注 8投資建與投標(biāo)的 8風(fēng)險(xiǎn)提示 8圖表目錄圖1：Kimi支持200萬(wàn)字上文 4圖2：本周Kimiapp入appstore免費(fèi)版前五名 4圖3：月之暗面針對(duì)網(wǎng)站異常進(jìn)行說(shuō)明——已擴(kuò)容五次，會(huì)持續(xù)擴(kuò)容。 4圖4：通義千問(wèn)免費(fèi)開(kāi)放1000萬(wàn)字長(zhǎng)文檔處理功能 5圖5：大模型長(zhǎng)文本的“不可能三角” 5圖6：階躍星辰攜手云賽智聯(lián)等持股上海智能算力科技有限公司 6圖7：上海智能算力科技有限公司進(jìn)行國(guó)產(chǎn)化算力設(shè)備招標(biāo) 6811“算力浦江”智算行動(dòng)實(shí)施方案（2024-2025年》 7圖9：算力浦江設(shè)立智算規(guī)模目標(biāo)以及國(guó)產(chǎn)化芯片占比目標(biāo) 7一、國(guó)內(nèi)大模型進(jìn)展快速，算力需求有望進(jìn)一步提升KmiKimi爆火，訪問(wèn)量、app端的下載量及日活用數(shù)可觀。Kimi2006項(xiàng)功能。近期，Kimiapp端的下載量以及日活用數(shù)都非?？陀^。根據(jù)“AI”的統(tǒng)計(jì)數(shù)據(jù)，20242Kimi305萬(wàn)，在大模型創(chuàng)業(yè)公司的“AIChatBots”產(chǎn)品中排在第一；月環(huán)比增長(zhǎng)達(dá)107.6%。另外，Kimi目前的日活用戶數(shù)已達(dá)100萬(wàn)人。其APP一度沖進(jìn)appstore免費(fèi)app排行前五。圖1：Kimi支持200萬(wàn)字上文 圖2：本周Kimiapp入appstore免費(fèi)版前五名 數(shù)據(jù)來(lái)源：Kimi、量子位、 數(shù)據(jù)來(lái)源：量子位、Kimi由于流量高增宕機(jī)，月之暗面表示已進(jìn)行五次擴(kuò)容，并將持續(xù)對(duì)推理資源進(jìn)行擴(kuò)容。3月21Kimi的APP、小程序以及網(wǎng)頁(yè)版均顯示無(wú)法正常使用。月之暗面針對(duì)相關(guān)情況發(fā)布說(shuō)320930Kimi2010SaaS429:engineisoverloaded320日觀測(cè)到流量異常高增5圖3：月之暗面針對(duì)網(wǎng)站異常進(jìn)行說(shuō)明——已擴(kuò)容五次，會(huì)持續(xù)擴(kuò)容。數(shù)據(jù)來(lái)源：每日經(jīng)濟(jì)新聞、百度、阿里紛紛準(zhǔn)備開(kāi)放長(zhǎng)文本能力。Kimi322日，據(jù)科創(chuàng)版日?qǐng)?bào)，百度文心一言下個(gè)月將進(jìn)行版本升級(jí)，屆時(shí)也將開(kāi)200萬(wàn)-5001000AI圖4：通義千問(wèn)免費(fèi)開(kāi)放1000萬(wàn)字長(zhǎng)文檔處理功能數(shù)據(jù)來(lái)源：通義千問(wèn)官網(wǎng)、大模型上下文長(zhǎng)度拓展存在“不可能三角”：文本長(zhǎng)度、注意力和算力。Transformer架構(gòu)依賴于自注意力機(jī)制來(lái)處理輸入序列。隨著序列長(zhǎng)度的增加，自注意力層的計(jì)算復(fù)雜度呈二次方增長(zhǎng)，其中n是序列長(zhǎng)度。這意味著對(duì)于較長(zhǎng)的序列，模型需要進(jìn)行大量的計(jì)算，這也對(duì)算力提出了更高的要求，從兩個(gè)方面共同限制了大模型上下文長(zhǎng)度的無(wú)限拓展。上下文文本越長(zhǎng)，模型越難聚焦充分注意力，難以完解用戶意圖；注意力限制下，短文本無(wú)法完整解讀復(fù)雜信息；處理長(zhǎng)文本需要大量算力，從而提高了成本。按GPT-4Turbo目前API的輸入輸出價(jià)格來(lái)計(jì)算，要用滿128k的長(zhǎng)度進(jìn)行一次輸入輸出的話，一次問(wèn)答的價(jià)格超過(guò)30元。圖5：大模型長(zhǎng)文本的“不可能三角”數(shù)據(jù)來(lái)源：繪制階躍星辰發(fā)布Step-2萬(wàn)億參數(shù)MoE語(yǔ)言大模型預(yù)覽版，萬(wàn)億參數(shù)模型對(duì)算力提出極高要求。2024323StepStep-1千億參數(shù)語(yǔ)言大模型、Step-1VStep-2MoEAPI接Scalinglaw持續(xù)攀登，在萬(wàn)億參數(shù)和多模態(tài)的新戰(zhàn)場(chǎng)中持續(xù)演進(jìn)。據(jù)階躍星辰，萬(wàn)億參數(shù)大模型至少需要等效A800萬(wàn)卡單一集群，高效穩(wěn)定的訓(xùn)練，以及十萬(wàn)億tokens高質(zhì)量的數(shù)據(jù)。階躍星辰具有算力儲(chǔ)備、且具有萬(wàn)卡集群建設(shè)管理能力。公司攜手云賽智聯(lián)、上海儀電等上海國(guó)資企業(yè)，成立智能算力子公司。階躍星辰具備打造萬(wàn)億參數(shù)模型的堅(jiān)實(shí)基礎(chǔ)。公司通過(guò)自建機(jī)房+租用算力，積極進(jìn)行算力儲(chǔ)備；核心團(tuán)隊(duì)曾實(shí)踐過(guò)單集群萬(wàn)卡以上的系統(tǒng)建設(shè)與管理。訓(xùn)練千億模型的MFU（有效算力輸出）達(dá)57%。同時(shí)，階躍星辰與上海儀電、云賽智聯(lián)等主體參股上11月進(jìn)行招標(biāo)，針對(duì)智算集群一期的項(xiàng)目采購(gòu)一體化智算集群平臺(tái)、智算集群平臺(tái)迭代開(kāi)發(fā)以及智算集群平臺(tái)建設(shè)及運(yùn)維管理系統(tǒng)。其中，招標(biāo)文件表示一體化智算集群平臺(tái)需滿足一萬(wàn)張GPUCPU的智能調(diào)度能力。圖6：階躍星辰攜手云賽智聯(lián)等持股上海智能算力科技有限公司數(shù)據(jù)來(lái)源：wind、繪制圖7：上海智能算力科技有限公司進(jìn)行國(guó)產(chǎn)化算力設(shè)備招標(biāo)數(shù)據(jù)來(lái)源：wind、二、上海11部門聯(lián)合印發(fā)“算力浦江”方案，設(shè)立智算規(guī)模以及智算國(guó)產(chǎn)化目標(biāo)3月21日，上海發(fā)布2024-2025算力浦江計(jì)劃，設(shè)立多個(gè)目標(biāo)。3月21日，上海市通信管理局會(huì)同市委網(wǎng)信辦、市發(fā)展改革委、市數(shù)據(jù)局等十一部門研究制定了《上海市智能算力基礎(chǔ)設(shè)施高質(zhì)量發(fā)展“算力浦江”智算行動(dòng)實(shí)施方案（2024-2025年）》。該方案設(shè)立了一系列建設(shè)目標(biāo)，要求形成上海算力交易平臺(tái)、上海市人工智能公共算力服務(wù)平臺(tái)兩大算力資源調(diào)度核心，以及面向智算應(yīng)用的算力中心多極分布的“1+1+X”智能算力建設(shè)和服務(wù)體系。811江”智算行動(dòng)實(shí)施方案（2024-2025年）》數(shù)據(jù)來(lái)源：上海通信圈、該方案設(shè)立2025年上海智算規(guī)模30EFLOPS，新建智算國(guó)產(chǎn)算力芯片占比超50%等目標(biāo)。該方案分別針對(duì)智能算力規(guī)模、智算國(guó)產(chǎn)化、智算應(yīng)用融合、綠色智算以及智算安全分別提出切實(shí)可行的目標(biāo)。智算設(shè)施目標(biāo)202530EFlops50%以上。算力網(wǎng)絡(luò)節(jié)點(diǎn)間單向網(wǎng)絡(luò)時(shí)延控制在1毫秒以內(nèi)。智算中心內(nèi)先進(jìn)存儲(chǔ)容量占比達(dá)到以上。智算自主可控202550%50%10智算應(yīng)用融合202510505單。綠色智算2025PUE1.25PUE值達(dá)到1.4以下。智算中心內(nèi)綠色能源使用占比超過(guò)20%，液冷機(jī)柜數(shù)量占比超過(guò)50%。智算安全：到20255圖9：算力浦江設(shè)立智算規(guī)模目標(biāo)以及國(guó)產(chǎn)化芯片占比目標(biāo)數(shù)據(jù)來(lái)源：上海通信圈、三、產(chǎn)業(yè)政策齊發(fā)力，算力條線值得關(guān)注隨著Kimi等大模型訪問(wèn)量持續(xù)高增、長(zhǎng)文本長(zhǎng)度提升、模型參數(shù)以及訓(xùn)練token數(shù)量提升，推理算力以及訓(xùn)練算力的需求有望持續(xù)提升。在算力的浪潮中，算力國(guó)產(chǎn)化是長(zhǎng)期趨勢(shì)。我們認(rèn)為，算KimiKimi等大模型的不斷迭代升級(jí)，模型參數(shù)量以及訓(xùn)練數(shù)據(jù)量皆有望持續(xù)提升，ScalinglawAIAI芯片條線及英偉達(dá)條線服務(wù)器廠商、算力租賃、IDC、服務(wù)器運(yùn)維等算力服務(wù)商皆有望持續(xù)獲益。投資建議與投資標(biāo)的國(guó)產(chǎn)算力：建議關(guān)注海光信息(688041，買入)、寒武紀(jì)-U(688256，未評(píng)級(jí))、高新發(fā)展(000628，未評(píng)級(jí))、神州數(shù)碼(000034，未評(píng)級(jí))、烽火通信(600498，未評(píng)級(jí))、軟通動(dòng)力(301236，未評(píng)級(jí))、廣電運(yùn)通(002152，買入)等。英偉達(dá)算力鏈：建議關(guān)注浪潮信息(000977，未評(píng)級(jí))、紫光股份(000938，買入)等。算力服務(wù)提供方：建議關(guān)注云賽智聯(lián)(600602，未評(píng)級(jí))、潤(rùn)澤科技(300442，未評(píng)級(jí))、亞康股份