計(jì)算機(jī)-OpenAI發(fā)布o(jì)1模型Scaling law持續(xù)有效

本報(bào)告亦可能由中信建投（國(guó)際）證券有限證券研究報(bào)告·行業(yè)動(dòng)態(tài)計(jì)算機(jī)計(jì)算機(jī)維持強(qiáng)于大市應(yīng)瑛yingying@SAC編號(hào):S1440521100010市場(chǎng)表現(xiàn) -5%-15%-25%-35%OpenAI發(fā)布推理模型o1系列，其在數(shù)學(xué)、編程、理科專業(yè)知識(shí)等方面表現(xiàn)較好，但在某些自然語言任務(wù)相對(duì)弱勢(shì)。根據(jù)我們測(cè)算，OpenAIo1預(yù)訓(xùn)練需要用3.2萬張H100訓(xùn)練90天，一定程度上反應(yīng)預(yù)訓(xùn)練階段的“Scalinglaw”仍然成立。展望未來，“Pre-TrainingScalinglaw”或?qū)⒅鸩睫D(zhuǎn)向“Post-TrainingScalinglaw維持強(qiáng)于大市應(yīng)瑛yingying@SAC編號(hào):S1440521100010市場(chǎng)表現(xiàn) -5%-15%-25%-35%相關(guān)研究報(bào)告相關(guān)研究報(bào)告關(guān)注端側(cè)關(guān)注端側(cè)AI進(jìn)展二季度業(yè)績(jī)，數(shù)據(jù)中心業(yè)務(wù)強(qiáng)勁增長(zhǎng)硬件投資機(jī)會(huì)繼續(xù)看多國(guó)產(chǎn)化方向繼續(xù)看好國(guó)產(chǎn)化需求24.09.0824.09.02本期建議：金山辦公、納思達(dá)、道通科技、達(dá)夢(mèng)數(shù)據(jù)、中控技術(shù)、博思軟件、神州數(shù)碼、國(guó)能日新、海光信息、中國(guó)軟件。24.09.0224.09.0224.09.0124.08.25上期回顧：上期建議組合為——金山辦公、納思達(dá)、道通科技、達(dá)夢(mèng)數(shù)據(jù)、中控技術(shù)、博思軟件、神州數(shù)碼、國(guó)能日新、海光信息、中國(guó)軟件，同權(quán)重下上期組合漲幅為+1.22%，同期計(jì)算機(jī)（申萬）指數(shù)漲幅為-0.52%，組合超額收益+1.74%。24.09.0124.08.25持續(xù)關(guān)注標(biāo)的見報(bào)告正文部分宏觀經(jīng)濟(jì)下行風(fēng)險(xiǎn)、應(yīng)收賬款壞賬風(fēng)險(xiǎn)、行業(yè)競(jìng)爭(zhēng)加劇、國(guó)際環(huán)計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告一、行情回顧 1二、投資建議 1三、投資組合 四、產(chǎn)業(yè)要聞 五、重要公告 六、風(fēng)險(xiǎn)提示 計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告一、行情回顧本周，計(jì)算機(jī)板塊跑贏大盤。9月7日至9月13日，計(jì)算機(jī)（申萬）指數(shù)下跌0.52%，跑贏滬深300指數(shù)1.71pp。在申萬一級(jí)行業(yè)中排第3位。二級(jí)子行業(yè)（申萬）中，計(jì)算機(jī)設(shè)備下跌1.96%，IT服務(wù)上漲0.09%，軟件開發(fā)上漲0.09%。3210個(gè)股方面，漲幅前五個(gè)股依次為：南天信息(24.87%)、海聯(lián)訊(20.61%)、通達(dá)海(20.53%)、立方數(shù)科(17.76%)、法本信息(13.46%)；跌幅前五個(gè)股依次為：*ST有樹(-20.54%)、飛天誠(chéng)信(-19.00%)、創(chuàng)識(shí)科技(-18.88%)、華銘智能(-15.59%)、ST易聯(lián)眾(-11.51%)。圖表2：計(jì)算機(jī)行業(yè)（申萬）個(gè)股周漲幅前十名（%）圖表3：計(jì)算機(jī)行業(yè)（申萬）個(gè)股周跌幅前十名（%） 通達(dá)海啟明信息 雄帝科技啟明信息 雄帝科技華銘智能創(chuàng)識(shí)科技飛天誠(chéng)信12.36 0.44)1計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告二、本周周觀點(diǎn)2.1OpenAI發(fā)布推理模型o1，大模型發(fā)展進(jìn)入新時(shí)代OpenAIo1系列模型發(fā)布，o1-preview和o1mini已向用戶推送。9月13日凌晨，OpenAI宣布正式發(fā)布新推理系列模型o1，也即前期傳聞中的草莓模型。據(jù)OpenAI表示，o1代表一種全新的能力，重要性足以將計(jì)數(shù)器重置為“1”。其中，o1-preview為o1的預(yù)覽版；o1mini則為規(guī)模更小、成本更低的版本，其針對(duì)STEM應(yīng)用的各個(gè)訓(xùn)練和數(shù)據(jù)階段進(jìn)行了優(yōu)化，但世界知識(shí)相對(duì)有限。目前，ChatGPTPlus和Team用戶已經(jīng)可以訪問o1-preview和o1-mini，API使用等級(jí)5（已消費(fèi)1000美元且訂閱已超過30天）的開發(fā)者亦可以進(jìn)行調(diào)用。數(shù)據(jù)來源：OpenAI官網(wǎng)，中信建投現(xiàn)行成本高企，未來或?qū)?duì)免費(fèi)用戶開放。目前，ChatGPTPlus和Team用戶已經(jīng)可以訪問o1-preview和o1-mini，o1-preview限制為每周30條消息，o1-mini為每周50條，限制周期由3小時(shí)提升至一周。對(duì)于使用等級(jí)5的開發(fā)者而言，除了API調(diào)用速率被限制為20RPM外，通過調(diào)用成本更是翻了數(shù)倍，其中o1-preview的輸出15美元/百萬token）。不過據(jù)OpenAI表示，未來計(jì)劃向所有ChatGPT免費(fèi)用戶開放o1-mini的使用權(quán)；token價(jià)格每1-2年下降10倍的趨勢(shì)可能還會(huì)繼續(xù)。圖表5：OpenAI部分模型API調(diào)用價(jià)格項(xiàng)目GPT-4o-miniGPT-4oo1-minio1-preview資料來源：OpenAI官網(wǎng)，中信建投2計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告相較于以往的大語言模型，o1的特點(diǎn)是經(jīng)過強(qiáng)化學(xué)習(xí)訓(xùn)練來執(zhí)行復(fù)雜推理任務(wù)，從而可以在響應(yīng)用戶之前產(chǎn)生一個(gè)很長(zhǎng)的內(nèi)部思維鏈（CoT反應(yīng)為數(shù)十秒的“思考”過程。就效果而言，o1模型在多個(gè)方面具備較1）o1模型在廣泛的基準(zhǔn)測(cè)試中的表現(xiàn)優(yōu)于GPT-4o，部分領(lǐng)域超越人類專家。在多個(gè)ML基準(zhǔn)測(cè)試中，o1的表現(xiàn)都遠(yuǎn)超o1的表現(xiàn)，其中在啟用視覺感知功能后，o1在MMMU上的得分為78.2%，成為第一個(gè)與人類專家相媲美的模型；同時(shí)，o1模型在57個(gè)MMLU子類別的54個(gè)中勝過GPT-4o；此外，OpenAI在GPQADiamond（用于測(cè)試化學(xué)、物理和生物學(xué)方面專業(yè)知識(shí)的基準(zhǔn)）上對(duì)o1進(jìn)行了評(píng)估，并招募了具有博士學(xué)位的專家來對(duì)比，o1的表現(xiàn)超過人類專家，意味著該模型在解決部分問題時(shí)比博士更熟練。圖表6：o1在廣泛的基準(zhǔn)測(cè)試中都比GPT-4o有所改進(jìn)數(shù)據(jù)來源：OpenAI官網(wǎng)，中信建投2）o1模型邏輯能力強(qiáng)，AIME測(cè)試中表現(xiàn)優(yōu)異。由于前沿模型在MATH和GSM8K等測(cè)試中已經(jīng)達(dá)到了頂尖水平，缺乏區(qū)分度，OpenAI選取AIME考試（美國(guó)數(shù)學(xué)邀請(qǐng)賽，在美國(guó)難度僅次于奧林匹斯競(jìng)賽USAMO）進(jìn)行測(cè)試。在2024年的AIME考試中，GPT-4o平均只解決了12%（1.8/15）的問題；o1模型在單個(gè)樣本測(cè)試中平均解決74%（11.1/15在64個(gè)樣本共識(shí)中解決83%（12.5/15在使用學(xué)習(xí)評(píng)分函數(shù)對(duì)1000個(gè)樣本重新排名時(shí)解決93%（13.9/15）相當(dāng)于全美前500的學(xué)生。3計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告數(shù)據(jù)來源：OpenAI官網(wǎng)，中信建投3）o1具備較強(qiáng)的編程能力，允許多次提交下表現(xiàn)高于IOI金牌。OpenAI在o1的基礎(chǔ)上針對(duì)編程能力進(jìn)行了微調(diào)，生成編程模型o1-ioi。該模型在IOI2024（2024年國(guó)際信息學(xué)奧林匹克競(jìng)賽）中，隨機(jī)提交50份答案平均獲得156分；按通過測(cè)試用例的時(shí)間選擇50份答案獲得213分；如果放寬提交問題次數(shù)至10000次，o1-ioi可以獲得362.14分，高于金牌門檻。此外，o1系列模型同樣在Codeforces編程測(cè)試中表現(xiàn)良好，按照允許提交10次答案的規(guī)則，o1-ioi的表現(xiàn)獲得了1807分，超過93%的對(duì)手，遠(yuǎn)高于GPT-4o的808分。數(shù)據(jù)來源：OpenAI官網(wǎng)，中信建投4）在邏輯性較強(qiáng)的類別中，o1在盲選中更受歡迎。OpenAI在多個(gè)領(lǐng)域的開放式問題中評(píng)估了用戶對(duì)于o1-preview和GPT-4o的偏好。在盲評(píng)中，o1-preview在數(shù)據(jù)分析、編碼和數(shù)學(xué)等推理能力較強(qiáng)的類別中更受歡迎；在某些自然語言任務(wù)上弱于GPT-4o。4計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告數(shù)據(jù)來源：OpenAI官網(wǎng)，中信建投通過強(qiáng)化學(xué)習(xí)和思維鏈，o1模型在邏輯思考能力上較傳統(tǒng)大語言模型有了顯著提升，尤其在數(shù)學(xué)、編程、以及化學(xué)、物理和生物等專業(yè)知識(shí)上表現(xiàn)較強(qiáng)。但仔細(xì)對(duì)比o1和GPT-4o在基礎(chǔ)測(cè)試的表現(xiàn)（圖表6），o1在“APEnglishLang”、“APEnglishLit”、“SATEBRW”、“PublicRelations”等語言文字類項(xiàng)目提升并不明顯，甚至在自然語言任務(wù)的盲選中弱于GPT4-o。我們有以下思考：1）o1模型突破了傳統(tǒng)大模型在數(shù)學(xué)、邏輯等問題上的弱項(xiàng)，使之能夠在更加專業(yè)的領(lǐng)域解決問題，陶哲軒實(shí)測(cè)滿血版o1認(rèn)為已經(jīng)達(dá)到“平庸卻又小有能力的研究生”水平，有望強(qiáng)化大模型在專業(yè)領(lǐng)域的應(yīng)用；2）數(shù)學(xué)、編程等類型任務(wù)存在明確的獎(jiǎng)勵(lì)模型（數(shù)學(xué)任務(wù)答案相對(duì)固定，編程類任務(wù)更是可以由代碼能否運(yùn)行判斷使用強(qiáng)化學(xué)習(xí)（ReinforcementLearning，RL）的效果更好，而文字類問題難以明確獎(jiǎng)勵(lì)模型，則表現(xiàn)更差；3）展望未來，更需要關(guān)注如何將模型的推理能力泛化到其他領(lǐng)域（設(shè)計(jì)更通用的獎(jiǎng)勵(lì)模型）。根據(jù)我們測(cè)算，OpenAIo1預(yù)訓(xùn)練需要用3.2萬張H10構(gòu)成，其中兩個(gè)1用于向前傳播，另有55B被用做注意力機(jī)制的共享，則GPT-4的激活參數(shù)量約為280B，我們假定o1模型激活參數(shù)量和GPT-4的兩倍，達(dá)到560B；2）GPT-4的預(yù)訓(xùn)練數(shù)據(jù)集token量為13B，我們假定o1模型接近其兩倍，達(dá)到25B；3）GPT-4的訓(xùn)練時(shí)間約為90-100天，我們?nèi)≈虚g值95天，并假定o1的訓(xùn)練周期為90天；4）GPT-4的GPU利用率在32%到36%之間，我們?nèi)≈虚g值34%，并假定o1GPU利用率也為34%；5）根據(jù)OpenAI在ScalingLaws論文中給出的經(jīng)驗(yàn)公式計(jì)算（C=rT≈6*P*D，P為模型參數(shù)量，D為訓(xùn)練集token大小，r為訓(xùn)練集群硬件FLOPS總吞吐），則OpenAIo1預(yù)訓(xùn)練需要用3.2萬張H100。相較于GPT-4利用2.5萬張A100訓(xùn)練，我們預(yù)計(jì)OpenAIo1利用3.2萬張H100訓(xùn)練90天，一定程度上反應(yīng)訓(xùn)練階段的“Scalinglaw”仍然成立。模型GPT-4OpenAIo1模型激活參數(shù)量（B）預(yù)訓(xùn)練Token量（T）5計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告理論算力需求（FLOPS）訓(xùn)練天數(shù)GPU型號(hào)單卡算力（TFLOPS，F(xiàn)P16）算力利用率（MFU）構(gòu)建大模型通常包括預(yù)訓(xùn)練、有監(jiān)督微調(diào)、獎(jiǎng)勵(lì)建模、強(qiáng)化學(xué)習(xí)、語言模型訓(xùn)練等階段。以典型的LLM架構(gòu)Transformer為例，預(yù)訓(xùn)練主要將單詞及其位置轉(zhuǎn)換為向量形式，從而能夠通過距離量化語義相關(guān)性，便于后續(xù)通過概率分布預(yù)測(cè)下一個(gè)單詞；有監(jiān)督微調(diào)則利用高質(zhì)量數(shù)據(jù)集合（輸入的問題和理想的輸出結(jié)果）使得模型能夠輸出更貼合用戶需求的答案；獎(jiǎng)勵(lì)建模和強(qiáng)化學(xué)習(xí)則通過獎(jiǎng)勵(lì)函數(shù)對(duì)模型生成的回復(fù)進(jìn)行反饋，從而不斷優(yōu)化輸出策略，普遍的做法是使用人類反饋強(qiáng)化學(xué)習(xí)（RLHF）進(jìn)行訓(xùn)練，即利用人類的偏好作為價(jià)值函數(shù)，優(yōu)化模型生成效果。數(shù)據(jù)來源：CSDN，中信建投技術(shù)、算力、數(shù)據(jù)制約訓(xùn)練側(cè)“Scalinglaw”發(fā)展。在上述架構(gòu)中，大模型的能力主要來源于訓(xùn)練過程，數(shù)據(jù)量越大，數(shù)據(jù)質(zhì)量越高，則大模型生成內(nèi)容的能力越強(qiáng)，這也是模型“Scalinglaw”的由來——通過不斷擴(kuò)大模型的參數(shù)規(guī)模，擴(kuò)大訓(xùn)練數(shù)據(jù)集，構(gòu)建更強(qiáng)的模型。然而，經(jīng)過MoE架構(gòu)強(qiáng)化過后，當(dāng)前業(yè)界主流的模型參數(shù)規(guī)?；揪S持在了600-700B左右，似乎遭遇了發(fā)展瓶頸，我們推測(cè)主要原因如下：1）更高參數(shù)規(guī)模的模型訓(xùn)練比較復(fù)雜，尤其當(dāng)參數(shù)規(guī)模提升到近萬億規(guī)模，模型進(jìn)一步調(diào)整的技術(shù)方式仍待突破；2）算力規(guī)模一定程度制約了模型發(fā)展。英偉達(dá)H100目前可以做到單一集群3.2萬張卡充分互聯(lián)，每2小時(shí)會(huì)出錯(cuò)一次（Founder6計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告Park訪談拾象科技CEO李廣密）。一旦算力集群增加到10萬卡，可能每20-30分鐘即會(huì)出錯(cuò)一次，對(duì)數(shù)據(jù)中心的運(yùn)維能力要求較高，否則會(huì)導(dǎo)致算力利用率明顯下降。此時(shí)需要性能更強(qiáng)的算力卡出現(xiàn)。3）高質(zhì)量數(shù)據(jù)缺失。早有消息稱大模型訓(xùn)練已經(jīng)耗盡了高質(zhì)量數(shù)據(jù)，因此如果只是簡(jiǎn)單提升訓(xùn)練集規(guī)模，往往重復(fù)的數(shù)據(jù)占據(jù)了主要部分，從而對(duì)模型能力的提升有限。而數(shù)據(jù)合成的技術(shù)仍未能突破，同樣一定程度上制約了模型的發(fā)展。推理端技術(shù)接力訓(xùn)練側(cè)發(fā)展。當(dāng)訓(xùn)練側(cè)的“Scalinglaw”陷入瓶頸，更多學(xué)者開始關(guān)注推理側(cè)的優(yōu)化空間，我們分析了OpenAIo1模型引用的文章及相關(guān)研究，其使用的強(qiáng)化學(xué)習(xí)不僅能夠通過提高推理側(cè)的思考時(shí)間，從而優(yōu)化模型表現(xiàn)；還能夠在訓(xùn)練過程中生成高質(zhì)量數(shù)據(jù)，解決天然數(shù)據(jù)缺失的問題。1）OpenAI最先嘗試了生成+驗(yàn)證的方式，在《TrainingVerifierstoSolveMathWordProblems》中，OpenAI利用訓(xùn)練的模型（GPT-3）對(duì)訓(xùn)練集中所有的問題生成了100條回復(fù)，根據(jù)生成的回復(fù)和標(biāo)準(zhǔn)回答訓(xùn)練了驗(yàn)證器。而后，由模型對(duì)測(cè)試集問題生成100條回復(fù)，并使用上述驗(yàn)證器篩選得分最高的回答作為結(jié)果，最終使得GPT-3175B的準(zhǔn)確率從33%的提升到了57%；使用驗(yàn)證器的GPT-36B達(dá)到了約40%的準(zhǔn)確率，超過了微調(diào)數(shù)據(jù)來源：TrainingVerifierstoSolveMathWordProblems，中信建投2）思維鏈（ChainofThoughtPrompt，CoT）促使大語言模型一步一步解決問題。人類在思考復(fù)雜問題時(shí)會(huì)將問題拆解，逐步實(shí)現(xiàn)最終目標(biāo)。CoT思想則類比人類思考過程，使大模型在推理過程中把復(fù)雜問題拆解成若干簡(jiǎn)單步驟，從用戶提出的問題出發(fā)，逐步生成正確答案。起初，CoT僅僅只是在測(cè)試時(shí)附上包含推理過程的示例（例如圖表11中附上了加法運(yùn)算過程就大幅提高了模型效率；后續(xù)的研究則考慮多次生成結(jié)果，選取最優(yōu)部分作為回答；同時(shí)還可以利用置信度高的生成結(jié)果作為微調(diào)提高模型的能力。7計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告數(shù)據(jù)來源：Chain-of-ThoughtPromptingElicitsReasoninginLargeLanguageModels，中信建投3）STaR與Quiet-STaR：通過推理改進(jìn)模型性能。不同于驗(yàn)證器和CoT集中于在大模型基礎(chǔ)上提高生成效果，STaR與Quiet-STaR致力于探究通過推理過程改進(jìn)模型性能。其中，STaR使用訓(xùn)練集生成從問題到回答的推理過程，并利用正確的例子微調(diào)模型，優(yōu)化性能表現(xiàn)。而對(duì)于訓(xùn)練集中無法正確回答的例子，在模型生成推理的過程中為模型提供正確的回答（合理化，Rationalization便于模型生成推理過程進(jìn)行學(xué)習(xí)，從而增強(qiáng)數(shù)據(jù)集。通過這樣的方式，STaR在常識(shí)推理任務(wù)上表現(xiàn)良好，但難以解決GSM8K等復(fù)雜數(shù)據(jù)集。圖表14：STaR的概述數(shù)據(jù)來源：STaR:Self-TaughtReasonerBootstrappingReasoningWithReasoning，中信建投而Quiet-STaR在STaR的基礎(chǔ)上更進(jìn)一步。具體而言，STaR聚焦于數(shù)學(xué)等特定的數(shù)據(jù)集，對(duì)于其他類似數(shù)據(jù)的泛化能力較弱；而Quiet-STaR同樣利用了STaR生成推理過程進(jìn)行學(xué)習(xí)的思想，但將生成推理從問題細(xì)化至每一個(gè)token（并行計(jì)算），從而增強(qiáng)了模型對(duì)廣泛的適用性。同時(shí)，Quiet-STaR會(huì)給出每一個(gè)token的正確8計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告law”）。數(shù)據(jù)來源：Quiet-STaR:LanguageModelsCanTeachThemselvestoThinkBeforeSpeaking，中信建投回顧訓(xùn)練“Scalinglaw”發(fā)展與推理技術(shù)的探索，我們認(rèn)為大模型發(fā)展或已迎來新的發(fā)力點(diǎn)：1）模型的自學(xué)習(xí)能力能夠強(qiáng)化Post-Training過程。CoT和STaR等研究都探索了利用模型推理過程中生成的內(nèi)容，進(jìn)行模型微調(diào)的作用，并取得了較好的成效，這種自行強(qiáng)化學(xué)習(xí)的過程能夠放大算力對(duì)模型提升的作用，產(chǎn)生“Post-TrainingScalinglaw”；2）推理階段思考深度（時(shí)間）或?qū)⒊蔀椤癛easoningScalinglaw”。在Quiet-STaR的研究中，提高思考量會(huì)帶來模型能力的同步提升，這與o1相一致（OpenAIo1發(fā)布前被稱為Q*，媒體認(rèn)為來源于Quiet-STaR或?qū)⒊蔀榇竽Ｐ托碌陌l(fā)展方向。3）推理過程產(chǎn)生的內(nèi)容或?qū)⒆鳛楦哔|(zhì)量語料進(jìn)行模型訓(xùn)練。無論是CoT還是STaR，其推理過程中都將產(chǎn)生大量高質(zhì)量的語料，或許能夠?yàn)樽鳛槟Ｐ统砷L(zhǎng)的養(yǎng)料，帶來數(shù)2.3多模態(tài)、訓(xùn)練與推理并行，探索AGI發(fā)展之路總體來看，目前市場(chǎng)主流的AGI探索路徑主要有三類：1）多模態(tài)路線：人類的信息獲取窗口多樣，因而有觀點(diǎn)認(rèn)為只靠語言無法實(shí)現(xiàn)AGI。同時(shí)，相較于公開的文本數(shù)據(jù)，圖像、視頻、音頻等數(shù)據(jù)的總量更大，且包含的信息量也更豐富，如果能夠讓大模型理解更多的模態(tài)（實(shí)現(xiàn)模態(tài)上的“ScalingLaw”或?qū)⑻嵘竽Ｐ偷膹?fù)雜推理能力，向AGI進(jìn)一步邁進(jìn)。年初，OpenAI的Sora為行業(yè)指明了DiT路線，帶動(dòng)了視覺模型的涌現(xiàn)；但目前多模態(tài)的技術(shù)路徑仍未統(tǒng)一，尤其還有更多維度的信息尚未囊括，未來或?qū)⒊霈F(xiàn)更好的架構(gòu)。不過可以確定的是，多模態(tài)一定可以帶來模型交互能力的提升，從而提高模型的泛化能力。2）訓(xùn)練路線：雖然前文中提到了當(dāng)前訓(xùn)練側(cè)“ScalingLaw”遭遇的瓶頸，但誰也無法想象算力突破后的模型表現(xiàn)，因此大規(guī)模算力集群仍然為發(fā)展方向之一。同時(shí)考慮到算力集群構(gòu)建的難度，一旦訓(xùn)練陸續(xù)被驗(yàn)證為真，后續(xù)廠商很難再進(jìn)行趕超。9計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告圖表16：多模態(tài)機(jī)器學(xué)習(xí)圖表17：Grok-310萬卡算力集群俯瞰圖3）推理路線：利用自學(xué)習(xí)、強(qiáng)化學(xué)習(xí)的方式能夠提升模型的邏輯推理能力，Claude-Sonnet3.5和OpenAIo1都已經(jīng)在該路線上做出了探索，并在代碼和數(shù)學(xué)能力上做出了顯著提升。正如2.2中所述，推理階段的思考深度（時(shí)間）或?qū)⒊蔀樾碌摹癝calinglaw”；同時(shí)模型的自學(xué)習(xí)能力，以及推理過程中都將產(chǎn)生大量高質(zhì)量的語料都可能產(chǎn)生飛輪效應(yīng)，加速模型發(fā)展。由于AGI強(qiáng)調(diào)的是通用，更需要關(guān)注的是，自學(xué)習(xí)和強(qiáng)化學(xué)習(xí)的效果能否從數(shù)學(xué)、代碼等邏輯需求強(qiáng)的部分外推至通用領(lǐng)域。圖表18：o1性能隨著訓(xùn)練時(shí)間和測(cè)試時(shí)間計(jì)算數(shù)據(jù)來源：OpenAI官網(wǎng)，中信建投我們認(rèn)為，雖然上述三條通往AGI的主流探索路線尚無定論，但彼此并非矛盾關(guān)系，甚至還可能出現(xiàn)乘數(shù)效應(yīng)。本次OpenAIo1的發(fā)布，正式將推理路線推向了臺(tái)前，有望促進(jìn)更多跟隨者在該方向做出探索，參考Sora發(fā)布后多模態(tài)大模型的加速涌現(xiàn)，新一輪的模型或許已經(jīng)在路上。就產(chǎn)業(yè)端而言，短期內(nèi)模型推理會(huì)帶來更高的算力需求（生成CoT會(huì)消耗大量的token），更好的模型也將進(jìn)一步賦能AI應(yīng)用的落地，建議關(guān)注產(chǎn)業(yè)鏈相計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告9月16日，微軟發(fā)布Microphone365CopilotWave2更新，并通過視頻展示Pages、Excel、Outlook、PowerPoint、SharePoint和Agentbuilder的特色功能，以幫助用戶大幅提高工作效率：在Pages中，用戶在工作時(shí)向Copilot提問，使其從互聯(lián)網(wǎng)收集信息，并根據(jù)以往模板生成工作計(jì)劃。同時(shí)，通過Copilot還可以線上選擇參與協(xié)同的同事，使其對(duì)計(jì)劃實(shí)時(shí)修改，并最終將工作分配給不同的人員。在Excel中，Copilot引入Python，用戶通過自然語言提出需求后，Copilot可以生成分析數(shù)據(jù)的圖表，并提供預(yù)測(cè)的代碼。用戶可以隨時(shí)對(duì)代碼進(jìn)行提問和編輯，以完善工作內(nèi)容。圖表19：CopilotinPages圖表20：CopilotinExcel資料來源：Microsoft，中信建投資料來源：Microsoft，中信建投在Outlook中，Copilot主要可以用于對(duì)工作郵件進(jìn)行管理，其根據(jù)郵件內(nèi)容和用戶工作背景對(duì)郵件重要性進(jìn)行排序，并提供排序理由和完成建議，從而幫助用戶關(guān)注最重要的任務(wù)。在PowerPoint中，Copilot可以用于幻燈片的生成。當(dāng)用戶用自然語言提出需求后，Copilot首先會(huì)生成幻燈片大綱，此時(shí)用戶能夠?qū)Υ缶V進(jìn)行修改，還可以讓Copilot根據(jù)文件內(nèi)容重新生成相應(yīng)章節(jié)的大綱；當(dāng)幻燈片草稿生成完畢后，用戶可以在Copilot中提問，使之在公司圖像庫中搜尋所需圖片，并提供多種排版將圖片融入圖表21：CopilotinOutlook圖表22：CopilotinPowerpoint計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告Agentbuilder和SharePoint則創(chuàng)建了一種協(xié)助方式，用戶可以選擇完成工作所需的網(wǎng)站和文件，利用Agentbuilder構(gòu)建一個(gè)代理，使之能夠提供所選文件的詳細(xì)問答；而通過SharePoint，用戶可以把生成的代理分享給參與工作的所有同事，且同事可以隨時(shí)增加代理可訪問的網(wǎng)站和文件，以豐富工作資料。圖表23：建立工作Agent資料來源：Microsoft，中信建投資料來源：Microsoft，中信建投總結(jié)：OpenAI發(fā)布推理模型o1系列，并已向用戶推送o1-preview和o1mini。就模型表現(xiàn)而言，o1模型在數(shù)學(xué)、編程、理科專業(yè)知識(shí)等方面表現(xiàn)較好，但在某些自然語言任務(wù)相對(duì)弱勢(shì)。根據(jù)我們測(cè)算，OpenAIo1預(yù)訓(xùn)練需要用3.2萬張H100訓(xùn)練90天，較GPT-4提升明顯，一定程度上反應(yīng)訓(xùn)練階段的“Scalinglaw”仍然成立。從o1表現(xiàn)及其引用的相關(guān)文獻(xiàn)中進(jìn)行分析，傳統(tǒng)的“Pre-TrainingScalinglaw”或?qū)⒅鸩睫D(zhuǎn)向“Post-TrainingScalinglaw”和“ReasoningScalinglaw”，進(jìn)一步優(yōu)化模型表現(xiàn)。此外，推理過程產(chǎn)生的內(nèi)容或?qū)⒆鳛楦哔|(zhì)量語料進(jìn)行模型訓(xùn)練，帶來數(shù)據(jù)飛輪效應(yīng)。微軟發(fā)布Copilot更新，賦能Pages、Outlook、Powerpoint等多款軟件，提升企業(yè)用戶效率。投資方向：當(dāng)前計(jì)算機(jī)行業(yè)成交量、估值等指標(biāo)均位于歷史中樞之下，建議積極看待行業(yè)政策催化和業(yè)務(wù)逐季改善變化，1)受外部環(huán)境和供應(yīng)鏈安全需求影響，國(guó)產(chǎn)化的黨政市場(chǎng)下沉與行業(yè)深化有望加速，推薦關(guān)注硬件方面的納思達(dá)、海光信息、神州數(shù)碼等，基礎(chǔ)軟件方面的達(dá)夢(mèng)數(shù)據(jù)、中國(guó)軟件、麒麟信安、海量數(shù)據(jù)等，應(yīng)用軟件及行業(yè)解決方案方面的金山辦公、頂點(diǎn)軟件、軟通動(dòng)力等；2)AI作為新型生產(chǎn)力工具，算力確定性更高，流量入口更具應(yīng)用卡位優(yōu)勢(shì)，建議關(guān)注金山辦公、虹軟科技、軟通動(dòng)力、神州數(shù)碼；3)政策催化方向，建議重點(diǎn)關(guān)注財(cái)稅改革和電改深化預(yù)期，推薦關(guān)注國(guó)能日新等。本期建議：金山辦公、納思達(dá)、道通科技、達(dá)夢(mèng)數(shù)據(jù)、中控技術(shù)、博思軟件、神州數(shù)碼、國(guó)能日新、海光信息、上期回顧：上期建議組合為——金山辦公、納思達(dá)、道通科技、達(dá)夢(mèng)數(shù)據(jù)、中控技術(shù)、博思軟件、神州數(shù)碼、國(guó)能日新、海光信息、中國(guó)軟件，同權(quán)重下上期組合漲幅為+1.22%，同期計(jì)算機(jī)（申萬）指數(shù)漲幅為-0.52%，組合超額收益+1.74%。持續(xù)關(guān)注：行業(yè)動(dòng)態(tài)報(bào)告計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告AI：科大訊飛、浪潮信息、金山辦公、中科曙光、中科創(chuàng)達(dá)等云計(jì)算：金山辦公、用友網(wǎng)絡(luò)、金蝶國(guó)際（HK）等數(shù)據(jù)要素：太極股份、中遠(yuǎn)?？啤⒃瀑愔锹?lián)等信創(chuàng)：納思達(dá)、軟通動(dòng)力、華大九天、卓易信息等行業(yè)IT：創(chuàng)業(yè)慧康、衛(wèi)寧健康、指南針、恒生電子、同花順等產(chǎn)業(yè)互聯(lián)網(wǎng)及工業(yè)軟件：中控技術(shù)、賽意信息、中望軟件等四、產(chǎn)業(yè)要聞加快移動(dòng)物聯(lián)網(wǎng)發(fā)展，力爭(zhēng)到2027年移動(dòng)物聯(lián)網(wǎng)終端連接數(shù)突破36億。9月11日消息，工業(yè)和信息化部近日印發(fā)《關(guān)于推進(jìn)移動(dòng)物聯(lián)網(wǎng)“萬物智聯(lián)”發(fā)展的通知》，明確一系列舉措提升移動(dòng)物聯(lián)網(wǎng)行業(yè)供給水平、創(chuàng)新賦能能力和產(chǎn)業(yè)整體價(jià)值。力爭(zhēng)到2027年，基于4G和5G高低搭配、泛在智聯(lián)、安全可靠的移動(dòng)物聯(lián)網(wǎng)綜合生態(tài)體系進(jìn)一步完善，移動(dòng)物聯(lián)網(wǎng)終端連接數(shù)突破36億。（資料來源：新華網(wǎng)）AI芯片獨(dú)角獸壁仞科技遞交上市輔導(dǎo)備案。9月12日消息，AI芯片獨(dú)角獸上海壁仞科技股份有限公司在上海證監(jiān)局辦理輔導(dǎo)備案登記，擬首次公開發(fā)行股票并上市，輔導(dǎo)券商為國(guó)泰君安。壁仞科技目前已完成多輪融資，公開融資總額超過50億元人民幣，投資方包括啟明創(chuàng)投、IDG資本、華登中國(guó)，平安集團(tuán)、高瓴創(chuàng)投、格力創(chuàng)投、松禾資本、云暉資本、國(guó)盛資本、招商局資本等機(jī)構(gòu)。（資料來源：TechWeb）消息稱OpenAI正商談以1500億美元估值籌集資金。9月12日消息，彭博社報(bào)道稱，OpenAI正在與投（資料來源：IT之家）OpenAIo1預(yù)覽模型發(fā)布：推理能力更強(qiáng)可達(dá)理科博士生水準(zhǔn)。9月13日消息，今日凌晨，OpenAI正式推出了OpenAIo1預(yù)覽模型。對(duì)于復(fù)雜推理任務(wù)而言，新模型代表著人工智能能力的嶄新水平，其特點(diǎn)就是會(huì)在回答之前花更多時(shí)間進(jìn)行思考，就像人類思考解決問題的過程一樣。OpenAI曾解釋過，2023年發(fā)布的GPT-4類似于高中生的智能水平，而GPT-5則是完成AI從“高中生躍升至博士”的成長(zhǎng)，o1模型就是其中關(guān)鍵的一步。根據(jù)測(cè)試，o1模型在國(guó)際數(shù)學(xué)奧林匹克的資格考試中，能夠拿到83%的分?jǐn)?shù)，而GPT-4o只能正確解決13%的問題。而在編程能力比賽Codeforces中，o1模型拿到89%百分位的成績(jī)，而GPT-4o只有11%。OpenAI表示，根據(jù)測(cè)試，在下一個(gè)更新的版本中，AI在物理、化學(xué)和生物學(xué)的挑戰(zhàn)性基準(zhǔn)測(cè)試中，表現(xiàn)能夠與博士生水OpenAICEO阿爾特曼告訴員工：公司明年將重組為營(yíng)利性公司。9月14日消息，據(jù)外媒報(bào)道，OpenAICEO阿爾特曼在最近的一次全公司會(huì)議上告訴員工，這家初創(chuàng)公司復(fù)雜的非營(yíng)利性企業(yè)結(jié)構(gòu)將發(fā)生變化，重組為營(yíng)利性公司，很可能在明年的某個(gè)時(shí)候。知情人士稱，阿爾特曼在一次與全體員工的每周例會(huì)上談到了即將發(fā)生的變化。他承認(rèn)，公司結(jié)構(gòu)太過錯(cuò)綜復(fù)雜，目前已不能滿足OpenAI的發(fā)展需求。公開資料顯示，OpenAI成立2015年，是一家非營(yíng)利性的研究組織，其目標(biāo)是推動(dòng)和發(fā)展友好的人工智能，確保人工智能技術(shù)的進(jìn)步能計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告夠惠及全人類。2019年，OpenAI宣布了一項(xiàng)重大轉(zhuǎn)變，成立了一個(gè)名為OpenAILP（有限合伙）的營(yíng)利性子公司，以便能夠獲得外部投資并加速其研究工作。阿爾特曼曾坦承OpenAI的結(jié)構(gòu)“不同尋?！?，他去年曾說這消息稱ChatGPT付費(fèi)用戶已超過1100萬，每年可帶來27億美元營(yíng)收。就知情人士透露的消息看，BradLightcap在會(huì)上告知員工，ChatGPT目前有超過1000萬名付費(fèi)訂閱者，另有100萬是價(jià)格更高的企業(yè)團(tuán)隊(duì)付費(fèi)用戶。有外媒在報(bào)道中認(rèn)為，根據(jù)1000多萬付費(fèi)用戶及100萬企業(yè)付費(fèi)用戶來計(jì)算，ChatGPT每個(gè)月就能帶來超過2.25億美元的收入，每年則是超過27億美元。（資料來源：TechWeb）五、重要公告公司時(shí)間公告內(nèi)容1、激勵(lì)工具：第二類限制性股票，股票來源為公司向激勵(lì)對(duì)象定向發(fā)行公司A股普通股及/或回購(gòu)的公司A股普通股股票。2、授予數(shù)量：106.95萬股，占公司股本總額0.88%。其中，首次授予限制性股票98.9537萬股；預(yù)留授予限制性股票8萬股。3、授予價(jià)格：第一類激勵(lì)對(duì)象的限制性股票授予價(jià)格為41.44元/股，第二類激勵(lì)對(duì)象的限制性股票授予價(jià)格為51.15元/股。3、授予對(duì)象：包括公告本激勵(lì)計(jì)劃時(shí)在本公司（含子公司，下同）任職的董事、高級(jí)管理人員、核奇安信奇安信關(guān)于控股股東、實(shí)際控制人承諾特定期間不減持公司股份的公告基于對(duì)公司未來高質(zhì)量發(fā)展的信心及對(duì)公司長(zhǎng)期價(jià)值的認(rèn)可，公司控股股東、實(shí)際控制人齊向東承諾期內(nèi)如發(fā)生資本公積轉(zhuǎn)增股本、派送股票紅利、配股、增發(fā)等產(chǎn)生的股份，亦遵守上述承諾。截止本公告日，進(jìn)行上述不減持承諾的股東直接持有的公司股份1.50億股。盛視科技關(guān)于收到呼和浩特新機(jī)場(chǎng)口岸通關(guān)設(shè)施設(shè)備建設(shè)項(xiàng)目（一標(biāo)段：海關(guān)）中標(biāo)通知書的公告公司收到呼和浩特新機(jī)場(chǎng)口岸通關(guān)設(shè)施設(shè)備建設(shè)項(xiàng)目（一標(biāo)段：海關(guān)）的中標(biāo)通知書，中標(biāo)價(jià)為普聯(lián)軟件關(guān)于控股股東、實(shí)際控制人及一致行動(dòng)人減持股份預(yù)披露公告1、普聯(lián)軟件控股股東、實(shí)際控制人之王虎先生及一致行動(dòng)人之張廷兵、任炳章、李燕冬、石連山、楊華茂、許彥明、馮學(xué)偉、李守強(qiáng)、高峰信、李守林、胡東映、聶玉濤、陳徐亞（共14人）合計(jì)持有公司股份5424.61萬股（占公司總股本比例27.04%），計(jì)劃自本公告之日起十五司總股本比例1.64%），其中，集中競(jìng)價(jià)減持不超過198萬股，占公司總股本比例0.99%；大宗交易減持不超過131萬股，占公司總股本比例0.65%。維海德2024年員工持股計(jì)劃：本次員工持股計(jì)劃受讓的股份總數(shù)不超過92.80萬股，占公司目前總股本13513.09萬股的0.69%。為滿足公司可持續(xù)發(fā)展及不斷吸引和留住優(yōu)秀人才的需要，本次員工持股計(jì)劃擬設(shè)置20.00萬股作為預(yù)留份額，占本次員工持股計(jì)劃標(biāo)的股票總量的21.55%，占公司目前總股本的0.15%。本次員工持股計(jì)劃受讓公司回購(gòu)股份的價(jià)格（含預(yù)留份額）為13.17元/股，不低于本次員工持股計(jì)劃草案公告前20個(gè)交易日公司股票交易均價(jià)的50%。計(jì)算機(jī)行業(yè)動(dòng)態(tài)報(bào)告六、風(fēng)險(xiǎn)提示（1）宏觀經(jīng)濟(jì)下行風(fēng)險(xiǎn)：計(jì)算機(jī)行業(yè)下游涉及千行百業(yè)，宏觀經(jīng)濟(jì)下行壓力下，行業(yè)IT支出不及預(yù)期將直接影響計(jì)算機(jī)行業(yè)需求；（2）應(yīng)收賬款壞賬風(fēng)險(xiǎn)：計(jì)算機(jī)多數(shù)公司業(yè)務(wù)以項(xiàng)目制簽單為主，需要通過驗(yàn)收后能夠收到回款，下游客戶付款周期拉長(zhǎng)可能導(dǎo)致應(yīng)收賬款壞賬增加，并可能進(jìn)一步導(dǎo)致資產(chǎn)減值損失3）行業(yè)競(jìng)爭(zhēng)加?。河?jì)算機(jī)行業(yè)需求較為確