2024年計算機行業(yè)專題研究：云廠AI算力自用需求或超預期

2024年計算機行業(yè)專題研究：云廠AI算力自用需求或超預期核心觀點大模型時代，AI需求有望拉動云廠商資本開支持續(xù)擴大，全球算力需求將持續(xù)向上。復盤歷史：2005-2023年云資本開支整體保持擴大趨勢，2009、2015、2023年Amazon、Microsoft、Google、Meta合計支出規(guī)模出現(xiàn)小幅波動，剔除結(jié)構(gòu)性調(diào)整因素影響，我們發(fā)現(xiàn)除2009年Google、Microsoft受經(jīng)營壓力影響有意縮小CapEx支出之外，過去近20年時間，云廠商用于數(shù)據(jù)中心建設的資本開支并未出現(xiàn)明顯縮減。從歷史復盤的視角看，CapEx支出擴大得益于自用/外供兩方面因素影響。自用視角下云廠商核心業(yè)務完成SaaS轉(zhuǎn)型，伴隨用戶規(guī)模擴大，自用算力需求穩(wěn)定增長；外供視角下海外企業(yè)加速業(yè)務上云、數(shù)據(jù)上云，伴隨云化比例提升，云托管需求帶動外供算力需求穩(wěn)步抬升。需求展望：大模型成為新一代技術變革關鍵，正全面重塑IT產(chǎn)業(yè)結(jié)構(gòu)，同樣從自用/外供兩個維度展望，我們發(fā)現(xiàn)擴大AI算力建設已成為海外云廠商公司共識，新一輪云基礎設施建設周期全面開啟。對于外供視角下的需求增長，目前市場共識較高，受益于MaaS需求拉動，Microsoft、Google、Amazon的云收入增速自23Q3開始逐步企穩(wěn)，各家MaaS布局競爭日趨激烈，算力規(guī)模和模型能力是后續(xù)的競爭關鍵。對于自用視角下的需求增長，或仍存在較大的市場預期差，大模型正加速向推薦/搜索/廣告等傳統(tǒng)互聯(lián)網(wǎng)業(yè)務滲透，我們認為，若大模型實現(xiàn)在傳統(tǒng)業(yè)務場景的算法替代，云廠商自用的AI推理需求將加速釋放。以Meta10億月活用戶數(shù)應用為測算基準，若生成式推薦模型全面替換傳統(tǒng)算法，對應A100等效GPU需求超52萬張，遠高于目前推薦場景的4,000張GPU算力規(guī)模。2005-2023年復盤：云資本開支持續(xù)擴大，AI貢獻新動能資本開支總體呈擴大趨勢，AI成為新一輪云基礎設施建設助推劑。回顧2005-2023年Amazon（亞馬遜）、Microsoft（微軟）、Google（谷歌）、Meta（臉書）的資本開支變化，海外云廠商資本開支呈現(xiàn)總體擴大趨勢。四家企業(yè)合計資本開支在2010年（yoy+113.02%）、2016年（yoy+29.46%）、2020年（yoy+38.76%）等年份明顯提速，主要得益于云計算業(yè)務在當年出現(xiàn)重要增長驅(qū)動。我們認為，2005-2022年海外云廠商資本開支的增長驅(qū)動是云計算業(yè)務的持續(xù)成長，進入2023年云計算+AI成為新的雙輪引擎，頭部云廠商資本開支有望持續(xù)擴大，進而帶動全球算力需求持續(xù)增長。根據(jù)VisibleAlpha一致預測，2026年四家合計資本支出將達2,399億美元，2023-2026年CAGR為18.86%。1）萌芽期（2005-2009年）：此階段以IaaS（Infrastructureasaservice，基礎設施即服務）建設為主。2006年，Amazon率先推出SimpleStorageService（S3）與ElasticComputeCloud（EC2），正式布局云計算服務，存算分離的核心理念確立。2005-2008年合計資本開支保持上漲，CAGR為45.63%。2009年合計資本開支同比下降44.46%，主要受Microsoft（平衡經(jīng)營壓力）、Google（2008年收購DoubleClick，快速擴大自用服務器建設）資本開支下降影響，2009年Amazon資本開支仍然維持上漲，同比增長11.68%。2）發(fā)展期（2010-2015年）：此階段Microsoft、Google正式入局云計算市場，云服務建設開始從IaaS向PaaS（PlatformasaService，平臺即服務）層逐步拓展，算力需求進一步增長。2009年Heroku推出第一款公有云PaaS，2010年微軟推出WindowsAzure平臺，2012年Google推出GoogleComputeEngine預覽版，云計算正式進入穩(wěn)步發(fā)展期。2010-2015年合計資本開支持續(xù)上漲，CAGR為25.71%。云計算在此階段逐步實現(xiàn)技術沉淀與客戶積累，海外企業(yè)逐步推進數(shù)據(jù)上云，軟件公司開始嘗試SaaS訂閱轉(zhuǎn)型。3）成熟期（2016-2022年）：此階段云計算技術基本成熟，SaaS（SoftwareasaService，軟件即服務）應用加速發(fā)展，各家云業(yè)務實現(xiàn)快速增長，據(jù)Gartner統(tǒng)計，全球公有云市場規(guī)模從2018年的1,824億美元增長至2022年的4,910億美元，CAGR為28%。2018-2022年MicrosoftAzure、GoogleCloud、AmazonAWS業(yè)務收入的同比增速分別保持在31%、37%、28%以上，高于行業(yè)平均水平。伴隨云收入快速增長，企業(yè)資本開支規(guī)模持續(xù)擴大，2016到2019年期間合計資本開支CAGR為28.58%，19年合計資本支出達649億美元；受益于線上辦公需求增長及云廠商自研/投資的大模型訓練需求，2020-2022年云廠商資本開支繼續(xù)擴大，CAGR為27.34%，22年合計支出達1,460億美元。4）升級期（2023年至今）：此階段生成式AI成為重要增量需求，以AI為核心MaaS（Modelasaservice，模型即服務）服務成為新一輪算力建設重要推動。2023年（自然年）Microsoft資本支出為352億美元，同比增長42.13%；Google資本支出為323億美元，同比增長2.43%；Amazon資本支出為481億美元，同比減少17.47%（主要由于倉儲物流、履約支出相關支出減少）；Meta資本支出為273億美元，同比減少13.25%（主要由于非AI服務器支出減少）。根據(jù)VisibleAlpha一致預測數(shù)據(jù)顯示，2024-2026年四家合計資本開支將分別達到1,993、2,211、2,399億美元，2024-2026年CAGR為18.86%。波動溯源：結(jié)構(gòu)性調(diào)整與經(jīng)營性平衡是重要影響因素資本開支擴大趨勢持續(xù)，增速波動主要受結(jié)構(gòu)性調(diào)整、經(jīng)營性平衡兩類因素影響。回顧資本開支的同比增速變化，我們對2005-2023年同比下降的年份進行了回溯歸因，歷史增速波動主要受資本開支結(jié)構(gòu)性調(diào)整與公司經(jīng)營性平衡兩類因素影響。1）結(jié)構(gòu)性調(diào)整：資本開支主要包括購買新的機器、設備、房屋等長期資產(chǎn)，為了剔除購置房產(chǎn)等其他資本開支影響，我們整理了云廠商資產(chǎn)和設備科目下計算設備的資產(chǎn)凈增值與同比增速，可以看到計算設備的資產(chǎn)凈增值同比增長但總資本開支同比減少的年份，多受到資本開支結(jié)構(gòu)性調(diào)整的影響；同時還包括未考慮用于數(shù)據(jù)中心的融資租賃成本的年份；2）經(jīng)營性平衡：為保證公司經(jīng)營質(zhì)量，維持良好的現(xiàn)金流水平，在公司經(jīng)營承壓的年份，公司多采取減少資本開支的經(jīng)營舉措，可以看到在總體營收增速放緩或同比減少的年份，總資本開支同比減少多受到公司經(jīng)營性平衡的影響。Amazon：資本開支三次波動向下，結(jié)構(gòu)性調(diào)整三次?；仡橝mazon的資本開支同比增速，2013年、2015年、2023年分別同比減少9%、6%、17%。1）2013年主要由于結(jié)構(gòu)性調(diào)整：2013年資本開支為34.4億美元（yoy-9%），13Q1-Q4資本開支分別為6.70、8.55、10.38、8.80億美元（yoy+73.58%/+30.14%/+44.97%/-56.54%）；13Q4資本開支同比大幅減少，主要由于12Q4公司以14億美元購買了企業(yè)辦公大樓，剔除相關影響，2013年資本支出同比增長43%；2）2015年主要由于未考慮AWS的融資租賃成本：2015年資本開支為45.9億美元（yoy-6%），15Q1-Q4資本開支分別為8.71、12.13、11.95、13.09億美元（yoy-19.35%/-5.97%/-13.28%/+14.42%）；2015年統(tǒng)計口徑下資本開支不包含融資租賃（大部分用于支持AWS），實際上2015年Amazon增加AWS數(shù)據(jù)中心租賃；綜合來看，2015年資本開支（含融資租賃）超90億美元，相較于2014年的89億美元略有增長。3）2023年主要由于結(jié)構(gòu)性調(diào)整：2023年資本開支為481.3億美元（yoy-17%），23Q1-Q4資本開支分別為130.70、104.12、112.98、133.53億美元（yoy-4.89%/-26.15%/-24.89%/-13.52%）；2023年資本開支同比減少主要由于公司的倉儲物流及履約開支減少。Microsoft：資本開支三次波動向下，經(jīng)營性平衡兩次，結(jié)構(gòu)性調(diào)整一次。由于財年劃分不同，我們以Microsoft財年為時間維度對其資本開支進行分析（FY2006對應CY05Q3、CY05Q4、CY06Q1、CY06Q2四個季度）?；仡橫icrosoft的資本開支同比增速，F(xiàn)Y2009財年、FY2010財年、FY2012財年分別同比減少2%、37%、2%。1）FY2009財年主要由于經(jīng)營性平衡：FY2009資本開支為31.19億美元（yoy-2%），F(xiàn)Y09Q1-Q4資本開支分別為7.78、8.42、6.32、8.67億美元（yoy+52.55%/+21.15%/-16.73%/-28.82%）；2009年資本開支同比減少，主要由于公司經(jīng)營業(yè)績承壓，F(xiàn)Y09Q3-Q4營收分別同比下降5.58%、17.29%，F(xiàn)Y2009財年全年營收同比下降3.28%。2）FY2010財年主要由于未考慮融資租賃成本：FY2010年資本開支為19.77億美元（yoy-37%），F(xiàn)Y10Q1-Q4資本開支分別為4.35、3.76、4.08、7.58億美元（yoy-44.09%/-55.34%/-35.44%/-12.57%）；FY2010財年資本開支同比大幅下降，主要由于未考慮云服務相關的融資租賃成本，F(xiàn)Y2010財年包括融資租賃在內(nèi)的資本開支為58億美元，同比增長8%，主要用于支持云服務的使用和需求增長。3）FY2012財年主要由于經(jīng)營性平衡：FY2012財年資本開支為23.05億美元（yoy-2%），F(xiàn)Y12Q1-Q4資本開支分別為4.36、4.98、7.49、6.22億美元（yoy-22.70%/+1.43%/+13.83%/-3.12%）；FY2012財年資本開支同比略有下降主要出于提升經(jīng)營質(zhì)量考量，F(xiàn)Y2012財年公司營收737億美元，同比增長5.40%，相較于FY2011增速放緩。Google：資本開支七次波動向下，經(jīng)營性平衡兩次，結(jié)構(gòu)性調(diào)整五次?；仡橤oogle的資本開支同比增速，2008年、2009年、2011年、2012年、2015年、2019年、2020年分別同比減少2%、66%、14%、5%、10%、6%、5%。1）2008年主要由于結(jié)構(gòu)性調(diào)整：2008年資本開支為23.6億美元（yoy-2%），08Q1-Q4資本開支分別為8.42、6.98、4.52、3.68億美元（yoy+41.00%/+21.29%/-18.30%/-45.76%）；2008年資本開支同比減少2%，云計算相關資產(chǎn)（Informationtechnologyassets）凈增值同比增長8%，標志用于數(shù)據(jù)中心建設的資本開支并無明顯縮減；2）2009年主要由于經(jīng)營性平衡：2009年資本開支為8.1億美元（yoy-66%），09Q1-Q4資本開支分別為2.63、1.39、1.86、2.21億美元（yoy-68.78%/-80.01%/-58.73%/-39.82%）；2009年資本開支同比大幅減少，主要由于公司重視經(jīng)營質(zhì)量，謹慎選擇資本開支的投入時機，2009年公司營收237億美元，同比增長8.51%，相較于2008年增速明顯放緩（2008年yoy+31.35%）。3）2011年主要由于結(jié)構(gòu)性調(diào)整：2011資本開支為34.4億美元（yoy-14%），11Q1-Q4資本開支分別為8.90、9.17、6.80、9.51億美元（yoy+272.38%/+92.65%/-10.29%/-62.63%）；2011Q4資本開支同比下降明顯，主要由于2010Q4資本開支中包含購買紐約辦公大樓的開支；同時從云計算相關資產(chǎn)凈增值角度來看，2011年云計算相關資產(chǎn)凈增值同比增長73%，標志用于數(shù)據(jù)中心建設的資本開支并無明顯縮減。4）2012年主要由于結(jié)構(gòu)性調(diào)整：2012資本開支為32.7億美元（yoy-5%），12Q1-Q4資本開支分別為6.07、7.74、8.72、10.20億美元（yoy-31.80%/-15.59%/+28.24%/+7.26%）；2012年資本開支同比小幅下降，2012年云計算相關資產(chǎn)凈增值同比增長19%，標志用于數(shù)據(jù)中心建設的資本開支并無明顯縮減。5）2015年主要由于結(jié)構(gòu)性調(diào)整：2015資本開支為99.2億美元（yoy-10%），15Q1-Q4資本開支分別為29.27、25.15、23.73、21.00億美元（yoy+24.82%/-4.95%/-1.82%/-40.86%）；2015Q4資本開支同比大幅下降，主要由于14Q4資本開支中包含房地產(chǎn)購買，同時從云計算相關資產(chǎn)凈增值角度來看，2015年云計算相關資產(chǎn)凈增值同比增長50%，標志用于數(shù)據(jù)中心建設的資本開支并無明顯縮減。6）2019年主要由于經(jīng)營性平衡：2019資本開支為235.5億美元（yoy-6%），19Q1-Q4資本開支分別為46.38、61.26、67.32、60.52億美元（yoy-36.46%/+11.85%/+27.45%/-14.53%）；2019年資本開支略有下降，一方面由于18Q1購買位于紐約的辦公大樓，另一方面由于公司整體業(yè)務增速放緩，2019年公司營收1619億美元，同比增長18.30%，相較于2018年增速有所放緩（2018年yoy+23.42%）。7）2020年主要由于結(jié)構(gòu)性調(diào)整：2020資本開支為222.8億美元（yoy-5%），20Q1-Q4資本開支分別為60.05、53.91、54.06、54.79億美元（yoy+29.47%/-12.00%/-19.70%/-9.47%）；2020年資本開支略有下降，云計算相關資產(chǎn)凈增值同比增長35%，標志用于數(shù)據(jù)中心建設的資本開支并無明顯縮減。Meta：資本開支一次波動向下，主要由于結(jié)構(gòu)性調(diào)整。回顧Meta的資本開支同比增速，2023年資本支出為272.7億美元，同比減少13.25%，23Q1-Q4資本開支分別為68.42、62.16、65.43、76.65億美元（yoy+25.75%/-17.91%/-30.21%/-15.24%）。2023年含融資租賃資本開支為281億美元，主要是由于對服務器、數(shù)據(jù)中心和網(wǎng)絡基礎設施的投資。從云計算相關資產(chǎn)凈增值角度來看，2023年云計算相關資產(chǎn)（Serversandnetworkassets）凈增值同比增長43%，標志用于數(shù)據(jù)中心建設的資本開支并無明顯縮減。傳統(tǒng)驅(qū)動：IaaS+PaaS+SaaS服務貢獻早期動能早期云廠商資本開支以云業(yè)務（IaaS+PaaS+SaaS）為核心驅(qū)動，資本開支顯著擴大的年份與云業(yè)務增速較快的年份基本對應?；仡?008-2023年全球云計算市場發(fā)展歷程，全球公有云服務市場規(guī)模增長在2010年、2016年、2020年出現(xiàn)顯著提速，分別同比增長73.73%、32.21%、45.31%，為應對云服務需求的持續(xù)釋放，公有云廠商強化算力基礎設施建設，資本開支規(guī)模在對應年份顯著擴大。2022年，在宏觀經(jīng)濟下行和通脹壓力的雙重影響下，全球公有云服務市場增速明顯下降。以Amazon、Microsoft、Google云業(yè)務為例，三家企業(yè)的云業(yè)務增速明顯下滑，CY2022Q4Amazon、Microsoft、Google云業(yè)務同比增速分別為20%、31%、33%，增速同比下降20pct、15pct、12pct。伴隨大語言模型開啟生成式AI新周期，大模型訓練、推理需求成為云資本開支增長的新興動力。新興驅(qū)動：擴大資本開支成為共識，AI算力成為新一輪建設重點云廠商積極布局MaaS服務，擴大資本開支成為企業(yè)共識。進入大模型時代，云服務增長呈現(xiàn)傳統(tǒng)服務與大模型服務雙輪驅(qū)動的新局面。1）傳統(tǒng)云服務穩(wěn)步提升：根據(jù)Gartner預測，2025年在應用軟件、基礎設施軟件、業(yè)務流程服務、系統(tǒng)基礎設施等市場中將有51%的IT支出從傳統(tǒng)解決方案轉(zhuǎn)向公有云（2022年為41%），據(jù)IDC預測，2027年全球公有云IaaS+PaaS市場規(guī)模有望達6,198億美元，2023-2027年CAGR為24.7%；2）模型服務快速增長：2023年云廠商加快針對AI大模型訓練、推理的云端算力建設，23Q3開始Google、Amazon、Meta資本開支環(huán)比增長，微軟23Q4資本開支環(huán)比下降主要受第三方合同交付影響，部分資本開支遞延至24Q1，擴大資本開支成為企業(yè)共識。24年資本開支規(guī)模有望快速增長，看好全球算力需求持續(xù)上漲。根據(jù)CY23Q4財報后的公開業(yè)績說明會指引（具體表述詳見圖表20），Microsoft、Google、Meta、Amazon均明確表示24年將擴大資本開支規(guī)模。根據(jù)CY24Q1財報后的公開業(yè)績說明會指引，各家公司態(tài)度更加明確，Microsoft表示預計2025財年資本開支將高于2024財年；Google表示24年季度資本開支將保持或超過24Q1水平（120億美元），全年CapEx或超480億美元（對應yoy+49%）；Amazon表示24Q1（140億美元）或為24年資本開支最低季度，全年CapEx支出或超560億美元（對應yoy+16%）；Meta再次上調(diào)全年CapEx指引至350-400億美元（高于此前的300-370億美元），按指引中值計算，預計同比增長37%。AI需求1：云廠商加速MaaS布局，滿足外供訓練&推理外供視角看，云廠商的AI算力建設主要通過滿足企業(yè)的大模型訓練及推理需求。23年開始，云廠商加速MaaS（ModelasaService，模型即服務）服務布局，構(gòu)建大模型端到端服務體系。目前MaaS服務架構(gòu)主要包括算力層、模型層、工具層、應用層。1）算力層：包括外購算力（英偉達、AMD等）與自研芯片（MicrosoftMaia100芯片、GoogleTPU芯片、AmazonTrainium芯片）兩類方案；2）模型層：主要包括獨家模型/自研模型、第三方模型兩類方案，云廠商可提供百余種模型選擇；3）工具層：主要提供模型微調(diào)、數(shù)據(jù)接地、安全監(jiān)測、Agent定制等模型訓練、應用開發(fā)工具；4）應用層：主要提供代碼助手、云助手、辦公助手等云廠商AI服務，同時支持企業(yè)級的定制應用部署。成熟大模型運營有望帶來3,169億美元的服務器增量市場，云托管仍是海外企業(yè)的主流選擇方案。對比各家公司MaaS的最新進展，1）工具層：軟件能力正逐步趨同，數(shù)據(jù)質(zhì)量與數(shù)據(jù)規(guī)模的重要性日益凸顯；2）應用層：主要與各家公司原有產(chǎn)品布局相關；3）模型層：獨家供應的優(yōu)質(zhì)模型與自研小模型成為重要發(fā)力點；4）算力層：重點在可用算力規(guī)模及算力使用效率。總結(jié)來看，我們認為，算力規(guī)模與模型能力是后續(xù)的競爭重點。根據(jù)研究預測，全球成熟大模型運營有望帶來3,169億美元的服務器增量市場，較2023年211億美元的AI服務器市場而言，仍有較大成長空間（具體測算參考計算機團隊2024年4月12日專題報告《全球AI算力需求繼續(xù)向上》）。根據(jù)a16z調(diào)查，海外企業(yè)的大模型部署中72%的企業(yè)選擇使用模型API服務，其中52%來自云廠商托管。Amazon：云計算先發(fā)者，23年加速AI追趕Amazonre:Invent2023大會展示AI布局。Amazon作為云計算服務的先發(fā)布局者，2017-2023年公有云服務市占率始終保持行業(yè)第一。2023年11月28日Amazonre:Invent2023大會召開，針對AmazonMaaS服務布局展開全面介紹。1）算力層：發(fā)布自研AI芯片Trainium2，提到Anthropic計劃用Trainium2芯片構(gòu)建模型；宣布Amazon成為在云端配備英偉達GH200GraceHopper芯片的首家云大廠；2）模型層：宣布擴大與Anthropic（投資40億美元）的合作；3）工具層：通過AmazonBedrock提供模型微調(diào)、RAG、持續(xù)預訓練、Agents開發(fā)、安全防護等能力；4）應用層：推出AmazonQ問答助手，定價20美元/人/月，可應用在企業(yè)云服務、代碼開發(fā)、數(shù)據(jù)分析等場景，并支持Salesforce、Microsoft、Google、Slack等40多家公司的商業(yè)應用程序開箱即用。立足云業(yè)務客戶優(yōu)勢，B端業(yè)務拓展順利。得益于云計算客戶的多年合作積累，Amazon的MaaS服務盡管推出時間相對較晚，但仍然取得了較好的實質(zhì)進展。根據(jù)公司2023年股東信內(nèi)容，Amazon的MaaS服務已實現(xiàn)在Amgen（安進公司）、Merck（默克）、Salesforce（賽富時）、Accor（雅高酒店集團）、MUFG（三菱日聯(lián)金融集團）、AxiataGroupBerhad（亞通集團）等多行業(yè)企業(yè)客戶的合作落地。根據(jù)Amazonre:Invent2023大會介紹，AmazonMaaS服務已合作超10,000家成熟企業(yè)。2024年，Amazon的AI布局進一步推進，24Q1發(fā)布Rufus（AI購物助理）、FitInsightsTool（個性化尺碼推薦）等AI工具；2024年4月宣布吳恩達博士加入Amazon董事會，負責生成式AI相關技術落地。Microsoft：MaaS轉(zhuǎn)型順利，商業(yè)化逐步落地戰(zhàn)略投資OpenAI掌握商業(yè)化先機，MaaS服務布局完善。微軟成為生成式AI商業(yè)落地的先行者，原因有二：一是，憑借對OpenAl的投資，微軟天然掌握先進模型的接觸與應用機會，早在2021年微軟就發(fā)布了初代版本的GithubCopilot助手，開展了產(chǎn)品化試點；二是，作為以企業(yè)客戶為核心客群的軟件廠商，微軟的SaaS應用全面覆蓋了企業(yè)的業(yè)務管理流程，具備廣泛的Al+產(chǎn)品整合觸點，實現(xiàn)了商業(yè)化落地內(nèi)部驗證。2023年11月16日微軟Ignite大會介紹了MaaS服務整體布局。1）算力層：發(fā)布自研AI芯片Maia100；2）模型層：提供OpenAI模型的獨家供應；3）工具層：提供完善的端到端工具，推出CopilotStudio允許客戶自定義AI助手；4）應用層：進一步明確Copilot商業(yè)版圖，分為Copilot（免費版）、CopilotPro（個人版，20美元/人/月）、CopilotforMicrosoft365（企業(yè)版，30美元/人/月）、CopilotforSales/Service（升級版，50美元/人/月）四類訂閱方案。商業(yè)化進展順利，24Q1AI貢獻的Azure收入占比達7%。根據(jù)公司業(yè)績說明會，AI業(yè)務已在云收入中初步體現(xiàn)，F(xiàn)Y23Q4（23Q2）AI占Azure收入比重為1%，F(xiàn)Y24Q1（23Q3）提升至3%，F(xiàn)Y24Q2（23Q4）提升至6%，F(xiàn)Y24Q3（24Q1）提升至7%。根據(jù)23Q4業(yè)績說明會，AzureAI客戶數(shù)已從23Q3的18,000家提升至23Q4的53,000家。不同于Amazon、Google，Microsoft具有良好的B端SaaS應用產(chǎn)品基礎，自有應用的AI整合觸點更加豐富。目前Microsoft365全線產(chǎn)品基本實現(xiàn)Copilot升級。Google：MaaS布局日趨完善，初創(chuàng)AI企業(yè)熱門選擇應用+工具服務全面升級，GoogleMaaS能力提升。2024年4月9日，GoogleCloudNext2024大會舉辦“Thenewwaytocloud”開幕演講，對于GoogleMaaS服務布局進行更新。1）算力層：發(fā)布新一代AI芯片TPUv5p，計算能力相較上一代提升4倍，Character.AI開始使用TPU實現(xiàn)大模型的訓練、推理；推出搭載NVIDIAH100芯片的全新A3MegaVM虛擬機，預計將于24年5月上市；2）模型層：發(fā)布Gemini1.5Pro，上下文窗口從128Ktokens提升到1Mtokens（約等于70萬個單詞或3萬行代碼），是目前已發(fā)布的上下文窗口最大的閉源模型；3）工具層：強化工具層功能布局，推出GoogleSearchGrounding（通過Google搜索實現(xiàn)聯(lián)網(wǎng)數(shù)據(jù)接地）、AutoSxS（模型能力對比）、PromptManagement（提示此優(yōu)化）、AgentBuilder（智能體創(chuàng)建）等功能；4）應用層：全面升級GeminiforGoogleCloud，實現(xiàn)AI助手與Workspace、Bigquery、數(shù)據(jù)庫、云安全、代碼開發(fā)等云服務的全面整合。成為初創(chuàng)AI企業(yè)的熱門選擇，加速成熟B端客戶拓展。根據(jù)GoogleCloudNext2024大會介紹，超多60%的GenerativeAI初創(chuàng)企業(yè)以及接近90%的GenAI獨角獸企業(yè)都是GoogleCloud客戶。同時，GoogleMaaS服務已經(jīng)在Bayer（拜耳）、BestBuy（百思買）、DiscoverFinancial（發(fā)現(xiàn)金融服務公司）、IHGHotels&Resorts（洲際酒店集團）、Mercedes-Benz（梅賽德斯-奔馳）、CoveredCalifornia（加州全保）等各行業(yè)客戶落地。AI需求2：大模型滲透基礎業(yè)務，大廠自用需求或放量從自用視角看，大模型向搜索/推薦/廣告等互聯(lián)網(wǎng)傳統(tǒng)業(yè)務滲透，或帶動自用AI算力需求加速釋放。除提供MaaS服務外，海外科技廠商積極探索大模型在搜索/廣告/推薦場景的技術落地，自用算力需求旺盛。從收入結(jié)構(gòu)上看，搜索/廣告/推薦相關業(yè)務在Meta、Google、Amazon收入占比均超過50%，算法效果提升對于企業(yè)經(jīng)營來說意義重大；從技術迭代上看，相較于傳統(tǒng)推薦模型，大模型具備更好的外部知識與泛化能力，可實現(xiàn)跨域個性化推薦，優(yōu)化算法效果；從業(yè)務進展上看，23年5月Microsoft開放BingChat功能，23年10月Google推出生成搜索體驗（SearchGenerativeExperience，SGE），24年2月Amazon推出RufusAI購物助手，24年3月Meta在電話會（MorganStanley2024Technology,Media&TelecomConference）中介紹公司正在打造跨產(chǎn)品的AI推薦模型。大模型發(fā)揮增強數(shù)據(jù)特征、強化語義理解、優(yōu)化交互范式等作用，有助于算法效果提升。搜索/廣告/推薦算法存在需求共性（匹配用戶的興趣和需求）與技術共性（分為過濾候選、排序候選、個性化輸出），大模型與搜索/廣告/推薦等業(yè)務融合，具備較強的技術可行性。1）增強數(shù)據(jù)特征：大模型相較于傳統(tǒng)推薦模型，具有更強的外部通用知識和邏輯推理能力，可以對用戶畫像、項目內(nèi)容進行有效的特征補充；2）強化語義理解：在過濾候選階段，大模型可發(fā)揮自然語言理解能力，可以更好地理解用戶的查詢/行為意圖，實現(xiàn)更精準的內(nèi)容篩選；3）優(yōu)化交互范式：大模型可同時發(fā)揮多輪對話、情緒感知等能力，通過生成式方式，將傳統(tǒng)的列表式輸出轉(zhuǎn)變?yōu)閷υ捠捷敵?，提供更具個性化、交互感的反饋結(jié)果。本章節(jié)以推薦系統(tǒng)為例，針對大模型+推薦系統(tǒng)的理論、實踐、潛在影響進行了深度分析。理論：大模型落地推薦系統(tǒng)，具備技術可行性大模型落地推薦系統(tǒng)具備技術可行性，擁有豐富的理論研究基礎。為了深入解答大模型如何實現(xiàn)在搜索/廣告/推薦場景的技術落地，我們以推薦系統(tǒng)為例，詳細總結(jié)了大模型在傳統(tǒng)推薦系統(tǒng)的落地方向與研究進展。方向一：不改變推薦系統(tǒng)的分層推薦架構(gòu)，實現(xiàn)LLM與傳統(tǒng)CRM的單點/多點融合，強化推薦系統(tǒng)某項步驟的效果，2021-2023年期間的論文研究多為此類研究方向；方向二：從數(shù)據(jù)建模、模型結(jié)構(gòu)等方向全面重塑推薦系統(tǒng)，打造生成式推薦系統(tǒng)，2024年多篇論文轉(zhuǎn)向此類研究方向?？偨Y(jié)來看，傳統(tǒng)架構(gòu)下LLM的融合作用仍存在局限性，新技術架構(gòu)有望更好地釋放大模型的技術潛能。傳統(tǒng)架構(gòu)：大模型與CRM的單點/多點整合，效能優(yōu)化是重點傳統(tǒng)架構(gòu)下，大模型可實現(xiàn)與傳統(tǒng)推薦模型的優(yōu)勢互補。參考論文《HowCanRecommenderSystemsBenefitfromLargeLanguageModels:ASurvey》（JIANGHAOLIN，2024-02），傳統(tǒng)推薦模型（ConventionalRecommendationModel，CRM），只能利用數(shù)據(jù)集內(nèi)的知識，缺乏對于語義信息及深度意圖的推理能力，同時跨域推薦能力較弱；大語言模型通過大規(guī)模預訓練語料和自監(jiān)督訓練，引入了外部世界知識，具備較強語義理解與泛化能力，可有效補充傳統(tǒng)推薦模型的不足，有望提升推薦性能，優(yōu)化用戶體驗。傳統(tǒng)推薦架構(gòu)下，LLM可實現(xiàn)單點或多點整合。基于深度學習的推薦系統(tǒng)包括六個階段。1）數(shù)據(jù)采集：主要通過線上收集用戶行為和記錄，得到原始數(shù)據(jù)（Rawdata）；2）特征工程：主要對原始數(shù)據(jù)進行篩選加工，將原始數(shù)據(jù)進一步處理為結(jié)構(gòu)化數(shù)據(jù)（Structureddata）；3）特征編碼：對結(jié)構(gòu)化數(shù)據(jù)進行編碼，得到對應的向量表示（Neuralembeddings）；4）打分排序：對候選物品進行打分排序，得到要呈現(xiàn)給用戶的排序列表（Rankeditemslist）；5）用戶交互：向目標用戶展示推薦項目的方式及用戶向推薦系統(tǒng)提供反饋的方式；6）流程控制：作為中央控制器，把控推薦系統(tǒng)的整體流程。根據(jù)已有研究，LLM可實現(xiàn)以上階段的單點或多點整合。伴隨基礎模型的能力提升，大模型+推薦系統(tǒng)呈現(xiàn)出從單點到多點、從輔助環(huán)節(jié)到核心環(huán)節(jié)、從淺層融合到深度應用的轉(zhuǎn)變。特征工程：利用LLM外部知識實現(xiàn)原始數(shù)據(jù)補充。在特征工程階段，LLM可以將原始特征（如項目描述、用戶畫像、用戶行為等）作為輸入，生成輔助的文本特征，實現(xiàn)原始數(shù)據(jù)的特征增強，豐富模型的訓練數(shù)據(jù)。此部分研究工作主要分為兩類：1）用戶（user）級和項目（item）級特征增強：利用LLM的外部知識完善用戶畫像、項目畫像，更好地進行用戶偏好建模及項目內(nèi)容理解；2）實例級訓練樣本生成：利用LLM的推理能力直接生成項目樣本，豐富訓練數(shù)據(jù)集。特征編碼：利用LLM作為文本編碼器，為文本信息提供更好的語義理解。在特征編碼階段，LLM發(fā)揮強大的語義理解能力，實現(xiàn)用戶表征、物品表征的文本特征增強。除此之外，LLM還可以以自然語言為橋梁，對齊不同領域的異構(gòu)信息，實現(xiàn)模型的跨域推薦。傳統(tǒng)的推薦模型多基于ID進行item的表征學習和推薦，大語言模型轉(zhuǎn)而使用自然語言描述item，解決過去依賴ID的問題，可以更好地實現(xiàn)模型的跨域推薦，基于ItemSequence（將item所有相關內(nèi)容，如標題、品牌、價格等屬性拼接成句子）推薦即為典型代表。打分排序：使用LLM作為打分/排序工具，得到相關性更好的輸出列表。打分排序是推薦系統(tǒng)中較為關鍵的部分，LLM可作為項目的打分/排序工具，目前多通過在LLM訓練中引入打分/排序等任務來實現(xiàn)。1）項目評分：利用LLM對候選項目進行逐一評分，最后根據(jù)分數(shù)排序得到最終的項目列表；2）項目生成：通過生成式的方式直接生成排序列表；3）混合任務：LLM天然適合多任務場景（包括評分任務、生成任務等），可以規(guī)范不同推薦場景的輸入輸出，并在跨域樣本上進行預訓練，使用者后續(xù)可通過Prompt執(zhí)行對應任務。用戶交互：使用LLM提供多輪對話的交互體驗，實現(xiàn)用戶需求的深度挖掘。傳統(tǒng)的推薦模式下，推薦多為單回合交互，僅對推薦后的單次用戶行為（是否點擊、是否購買）進行監(jiān)控?；贚LM的推薦交互多以多輪對話的形式呈現(xiàn)，可以通過整合對話中的上下文并應用廣泛的開放世界知識，豐富對于用戶偏好、項目建議、定制化需求等內(nèi)容的理解。根據(jù)用戶交互模型不同，可分為任務導向型用戶交互、開放式用戶交互。1）任務導向型：假設用戶具有明確的意圖，而推薦系統(tǒng)需要支持用戶的決策過程或協(xié)助用戶找到相關的項目，LLM被集成為推薦系統(tǒng)的一個組件，專門用于分析用戶的意圖；2）開放式：假設用戶的意圖不明確，系統(tǒng)需要逐漸獲取用戶的興趣或通過交互（包括主題對話、閑聊、問答等）引導用戶最終實現(xiàn)推薦目標，LLM不局限于對話生成功能，而是兼具意圖引導與獲取功能。流程控制：LLM不再僅應用于推薦系統(tǒng)中的某一部分，而是參與到推薦流程的整體控制。隨著基礎模型的參數(shù)量擴大，LLM開始表現(xiàn)出上下文學習、指令遵循、逐步推理、工具使用等能力，因此使用LLM作為推薦系統(tǒng)的流程控制器（可以看作是推薦場景下的Agent），可以使推薦過程更具交互性與可解釋性。以Google發(fā)布的RecLLM為例，LLM實現(xiàn)在推薦系統(tǒng)的多點落地，并成為整體流程運行的決策單元，LLM能夠管理對話、理解用戶偏好、實現(xiàn)項目排名，甚至提供可控的基于LLM的用戶模擬器生成合成對話。LLM落地呈現(xiàn)出從單點到多點、從輔助環(huán)節(jié)到核心環(huán)節(jié)的演進趨勢。從工程實踐的角度來看，LLM+RS落地存在兩類變量因素，一是大模型是否需要微調(diào)（TuneorNottuneLLM），二是推理階段是否需要引入傳統(tǒng)推薦模型（Withorw/oCRM）。回顧學術研究發(fā)展趨勢（從第一象限到第三象限到第二、四象限再到第一象限），我們得到兩大結(jié)論，一是LLM與推薦系統(tǒng)協(xié)同至關重要，二是LLM基礎能力決定其在推薦系統(tǒng)中的應用深度。1）LLM與推薦系統(tǒng)協(xié)同至關重要：伴隨基礎模型參數(shù)量擴大與通用能力提升，LLM+RS研究從“微調(diào)LLM+CRM參與”（第一象限）向“不微調(diào)LLM+CRM不參與”（第三象限）演進，但從實踐結(jié)果看，第三象限模型效果普遍落后于其他象限結(jié)果，證明盡管大模型具備通用知識，但推薦系統(tǒng)域內(nèi)專有知識仍然具有重要作用。因此后續(xù)延續(xù)研究向“不微調(diào)LLM+CRM參與”（第二象限，引入CRM進行協(xié)同），“微調(diào)LLM+CRM不參與”（第四象限，引入CRM數(shù)據(jù)進行協(xié)同）演進，通用能力+垂直數(shù)據(jù)的技術路徑成為主流共識。2）LLM基礎能力決定其應用深度：伴隨基礎模型的能力提升，LLM在推薦系統(tǒng)中的應用深度愈發(fā)深入；以第一象限為例（相同象限內(nèi)對應相似的工程方案），早期使用規(guī)模較小的LLM時，LLM主要用在特征編碼等輔助環(huán)節(jié)場景；后續(xù)隨基礎模型參數(shù)量及泛化能力變化，LLM開始應用于打分排序等核心環(huán)節(jié)，并逐步實現(xiàn)特征工程、特征編碼、打分排序等多點融合，后續(xù)演進出將LLM作為流程控制器的全環(huán)節(jié)部署架構(gòu)。新興架構(gòu)：重塑范式，打造基于Transformer的第三代推薦系統(tǒng)新興架構(gòu)有助于充分釋放LLM的跨域推薦能力。傳統(tǒng)架構(gòu)下，LLM被視為基于深度學習的推薦系統(tǒng)的賦能工具，核心在于發(fā)揮LLM的文本理解與生成能力，通過文本特征增強以提升推薦內(nèi)容的相關性，本質(zhì)上是在特定環(huán)節(jié)使用LLM替代傳統(tǒng)深度學習模型。新興架構(gòu)下，生成式推薦模型全面參考大語言模型的訓練方法與應用范式，用文本統(tǒng)一表示，用Prompt統(tǒng)一任務，構(gòu)建全新的統(tǒng)一生成式推薦范式。1）用文本統(tǒng)一表示：將項目信息構(gòu)造成序列（Sequence）形式，形成模型的訓練語料，同時解決了傳統(tǒng)推薦模型下數(shù)據(jù)異構(gòu)問題，可以更好地實現(xiàn)跨域推薦；2）用Prompt統(tǒng)一任務：Promptlearning思想非常簡單，即對每一個任務使用一個Prompt去進行描述，推薦模型經(jīng)過大量語料訓練同樣具有較好的泛化能力，用戶可以通過構(gòu)造不同的Prompt描述，引導模型完成特定的工作。生成式推薦模型有望成為基于深度學習推薦系統(tǒng)之后的第三代推薦系統(tǒng)。推薦系統(tǒng)的技術迭代受到數(shù)據(jù)體量、個性化需求、泛化能力要求等因素變化驅(qū)動。第一代推薦系統(tǒng)（以1992年提出協(xié)同過濾概念為重要標志）主要解決信息過載問題；第二代推薦系統(tǒng)（以2016年Google推出Wide&Deep推薦框架為重要標志）主要解決推薦的個性化問題；第三代推薦系統(tǒng)（以Meta提出GenerativeRecommendations為重要標志）旨在構(gòu)建具備泛化能力的統(tǒng)一推薦模型，同時提升用戶意圖理解與項目推薦效果。實踐：Meta、Google加速探索大模型的推薦場景落地Meta：“三步走”戰(zhàn)略明確，統(tǒng)一推薦系統(tǒng)或?qū)?6年落地Meta重視推薦系統(tǒng)AI升級，戰(zhàn)略布局進入第三階段。根據(jù)Meta在MorganStanley2024Technology,Media&TelecomConference的公開采訪紀要，Meta正改變過去將為每個產(chǎn)品單獨設計推薦模型的做法，轉(zhuǎn)而構(gòu)建跨產(chǎn)品線（Reels、Feed、Groups等）的統(tǒng)一AI推薦模型。全新的AI推薦系統(tǒng)已成為Meta2026年技術路線圖的重要組成部分，預計分為三個階段逐步落地。階段一：將現(xiàn)有推薦系統(tǒng)由CPU推理轉(zhuǎn)向GPU推理，優(yōu)化推薦系統(tǒng)性能與體驗；階段二：完成AI推薦模型在FacebookReels的功能測試與技術驗證，相較于傳統(tǒng)推薦模型（同樣運行在GPU上），新推薦模型下用戶在Reels的觀看時長增加約8-10%；階段三：為AI推薦模型提供更多的學習數(shù)據(jù)，并將AI推薦系統(tǒng)推廣至更多產(chǎn)品，正式完成生成式推薦大模型的跨產(chǎn)品線落地，用統(tǒng)一大模型代替原有的獨立模型。首個生成式推薦系統(tǒng)大模型有望帶來新一輪技術革新。2024年4月，Meta發(fā)布首個生成式推薦系統(tǒng)論文《ActionsSpeakLouderthanWords:Trillion-ParameterSequentialTransducersforGenerativeRecommendations》，開創(chuàng)性提出了基于Transformer的生成式推薦（GenerativeRecommenders,GRs）架構(gòu)，并驗證了ScalingLaw同樣適用。我們認為，Meta在推薦系統(tǒng)上的技術創(chuàng)新有望帶動推薦系統(tǒng)向更通用、更個性、更安全的方向演進。1）更通用：GRs將異構(gòu)特征統(tǒng)一編碼為單一的時間序列，從特征建模的源頭解決不同推薦場景下的特征異構(gòu)問題，奠定了跨域推薦能力基礎；2）更個性：GRs將用戶的長期行為序列作為新的生成建模模式，相較于傳統(tǒng)序列推薦系統(tǒng)（僅考慮用戶交互）可以更好地捕捉用戶的興趣和行為；3）更安全：通過減少對大量異構(gòu)特征的依賴，GRs可以更好地保護用戶隱私，同時有助于降低平臺與用戶價值觀不一致的問題。Meta生成式推薦系統(tǒng)突破三大技術問題，ScalingLaw同樣適用。1）特征簡化：GRs將異構(gòu)特征（用戶ID、歷史行為、關注列表、地理位置等多類特征）統(tǒng)一編碼為時間序列，相較于傳統(tǒng)序列推薦，Meta構(gòu)建的長序列具備更強的特征交叉能力，有效降低了信息損失，同時將后續(xù)的召回和排序統(tǒng)一定義為序列建模任務；2）計算效率：Meta提出新的HSTU（HierarchicalSequentialTransductionUnits）模型架構(gòu)與M-FALCON算法；采用HSTU結(jié)構(gòu)，GRs處理長序列（8192長度）的速度相較傳統(tǒng)深度學習模型提高5.3-15.2倍；采用M-FALCON算法，GRs能夠在相同的推理成本下，服務于285倍復雜的模型，并將吞吐量提升1.5倍；3）模型擴展性：驗證了ScalingLaw同樣適用于大規(guī)模推薦模型，通過序列長度、embedding維數(shù)的擴大，能夠有效實現(xiàn)GRs模型的Scaling。生成式推薦系統(tǒng)實踐面臨計算+數(shù)據(jù)挑戰(zhàn)，Meta算力建設有望持續(xù)擴大。1）計算能力：推薦系統(tǒng)的應用場景是十億級用戶與十億級內(nèi)容的計算與匹配，以Meta為例，截至23年僅Facebook月活用戶接近30億，僅Instagram探索頁面每秒需要完成9,000萬次推理，推薦大模型單日的Token推理量大于普通語言模型1-2月的推理量，計算能力拓展是實踐落地的重點；2）訓練數(shù)據(jù)：傳統(tǒng)推薦系統(tǒng)詞匯表體量達數(shù)十億級，如何構(gòu)建更多、更長的序列是提升模型推薦效果的關鍵，同時根據(jù)ScalingLaw定律，需要同步增加序列長度和計算資源，以此確保模型在更大規(guī)模數(shù)據(jù)下的性能和質(zhì)量。綜合來看，在計算與數(shù)據(jù)的雙重挑戰(zhàn)下，自用推理算力有望成為又一建設重點。根據(jù)Meta的電話會中表述，Meta正積極配置新數(shù)據(jù)中心以支持新的推薦模型，我們認為，自用AI算力規(guī)模有望加速擴大。技術革新落地，AI推薦系統(tǒng)未來可期。根據(jù)論文可知，Meta已經(jīng)實現(xiàn)生成式推薦大模型在自有產(chǎn)品（擁有數(shù)十億用戶的大型互聯(lián)網(wǎng)平臺）的技術落地，根據(jù)試驗結(jié)果可知，相較于傳統(tǒng)推薦模型，在線A/B測試中，GRs用戶參與度（E-Task）提升12.4%，消費事件（C-Task）參與度提升4.4%。我們認為，GRs后續(xù)有望朝兩大方向加速推進。1）更強的用戶理解：通過增加序列長度、引入多模態(tài)信號，生成式推薦系統(tǒng)有望更加深入地挖掘和建模用戶的行為模式，進一步強化推薦系統(tǒng)的個性化程度與用戶滿意度；2）更廣泛的應用場景：統(tǒng)一的推薦模型可以有效提升跨產(chǎn)品線用戶的使用體驗，同時可以將所有項目納入統(tǒng)一排名系統(tǒng)，實現(xiàn)推薦內(nèi)容的快速擴充。Meta已布局AI視頻推薦系統(tǒng)，成長可期。Google：生成式大模型迭代搜索算法，SGE進展順利生成式大模型迭代Google搜索算法，SGE塑造全新搜索體驗?；仡橤oogle搜索算法迭代歷程，可以看到搜索場景是AI應用的重要領域。2001年起，AI模型開始逐步滲透搜索場景。2001年Google使用機器學習技術為網(wǎng)絡搜索提供拼寫建議；2015年Google推出搜索領域首個深度學習系統(tǒng)RankBrian，實現(xiàn)用戶意圖的深入理解；2018年Google將神經(jīng)網(wǎng)絡技術引入搜索場景，幫助理解用戶查詢和頁面概念的模糊表示并完成相關性匹配；2019年Google將Bert模型應用于搜索的檢索與排序；2022年Google發(fā)布搜索領域多任務統(tǒng)一模型MUM，MUM使用T5text-to-text框架，擁有75種語言理解能力，可完成多模態(tài)信息理解；2023年Google發(fā)布生成式搜索體驗（SearchGenerativeExperience，SGE），旨在通過大模型重塑搜索體驗，為用戶提供更精準、更個性、更智能的搜索結(jié)果。SGE以大模型為技術底座，提供更精準、更個性、更智能的搜索體驗。根據(jù)GoogleI/O2024大會