從AI云底座到AI原生云加速AIGC應用落地

從AI云底座到AI原生云加速AIGC應用落地李力騰訊云

副總裁LUI誕生AI與產業(yè)深度融合深度學習、NLP、CVAI原生應用設計理念與技術棧發(fā)生變化開發(fā)團隊在云原生基礎上，更關注AI原生AI原生正在重新定義產品設計、技術范式安全策略：模型安全、內容合規(guī)、倫理、版權等工具鏈：通過Pytorch等AI框架實現(xiàn)訓練、評估、監(jiān)控和應用集成基礎設施：更高性能的硬件，AI加速套件GUI為主AI作為產業(yè)輔助Java、Python、Node.js安全策略：防火墻、入侵檢測、權限控制工具鏈：通過K8S等工具實現(xiàn)持續(xù)集成/持續(xù)交付(CI/CD)基礎設施：通用的算力、存儲及網絡云原生應用三大關鍵能力組成的全棧能力AI原生云平臺，是企業(yè)的正確與共同選擇。高效訓推的勝任力 開發(fā)增質的支持力 廣泛應用的承載力靈活接入

/

實踐經驗訓練長穩(wěn)

/

推理效率

/

算力供需數(shù)據(jù)治理

/

開發(fā)質量

/

安全防護AI原生驅動云廠商自我變革，從AI云底座到AI原生云AI云底座AI原生應用承載 反哺AI原生云公有云分布式云基礎設施基礎大模型行業(yè)大模型模型層開發(fā)工具AI輔助工程層產業(yè)互聯(lián)網消費互聯(lián)網應用層騰訊云全棧升級，攜手行業(yè)伙伴提供場景化、模塊化的AI原生工具鏈攜手伙伴共建行業(yè)垂直場景方案&應用金融醫(yī)療泛互教育零售能源全棧安全防護模型訓練提效

200%，加速應用開發(fā)充分利用GPU，資源利用率99%訓練job訓練job訓練job訓練jobAI框架：pyTorch

/

oneflow/

deepspeed等AI加速引擎：TACO-LLM

/

Pipefusion云原生調度星脈網絡：3.2

Tbps

RDMA，提效200%CFS

turboGoosefs+

COS設備監(jiān)控機器異常自研任務日志監(jiān)控任務異常自研計算存儲開源生態(tài)騰訊自研網絡無縫集成內外AI生態(tài)訓練任務異?；謴鸵绘I創(chuàng)建訓練集群訓練節(jié)點異常恢復一云多芯：提供豐富的GPU和國產芯片選擇基礎設施：AI原生訓練與推理的超級底座智能運維OrcaTerm助手代碼生成AI代碼助手技術問答OrcaTerm助手工程平臺：AI賦能AI開發(fā)工具，為原生應用的研發(fā)提效增質GPU開發(fā)空間HAI+CloudStudio應用模板

|

一鍵部署數(shù)據(jù)檢索增強向量數(shù)據(jù)庫千億索引

|

RAG套件一站式精調TI平臺定制模型

|

數(shù)據(jù)標注AI+工程能力基礎大模型參數(shù)規(guī)模

萬億率先采用MOE架構已接入騰訊內部

600+產品醫(yī)療大模型同級SOTA（最優(yōu)效果）水平，覆蓋98%醫(yī)學知識智能應用與模型：自研模型體系國內領跑，具備內外部豐富的AI原生實踐行業(yè)大模型金融行業(yè)大模型 醫(yī)學行業(yè)大模型教育行業(yè)大模型文旅行業(yè)大模型汽車行業(yè)大模型政務行業(yè)大模型……金融大模型百億參數(shù)效果超越千億參數(shù)模型安全防護：“打自己”凝聚安全穩(wěn)固的模型全方位防護賦能安全AI應用安全AI本體安全AI內容安全Prompt安全測評模擬攻擊者行為風險收斂自動化攻擊樣本生成自動化風險研判能力攻防演練第一輪安全演習AI基礎設施安全第二輪安全演習核心數(shù)據(jù)安全第三輪安全演習安全有效性驗證第四輪安全演習 未來上線前風險收斂 常態(tài)化演練數(shù)據(jù)準備模擬訓練模型部署業(yè)務運營模型使用方 模型建設方AI推理AI原生云支持任意位置、任意方式構建AI原生應用客戶使用應用直接使用已具備AI能力的應用API集成在開發(fā)應用時集成AI能力的APIRAG利用數(shù)據(jù)檢索為AI模型提供輔助提示微調通過微調擴展已有的AI模型自訓練從零開始訓練自定義AI模型訓練AI原生云本地專有集群

CDC專屬可用區(qū)

CDZ專有云

TCE邊緣可用區(qū)

TEZ任意位置、任意方式部署軟件AI

Infra騰訊云智算套件HCC[CVM/CBM]高可用，超100小時連續(xù)訓練高性能計算集群IHN高帶寬，3.2T

RDMA網絡智能高性能網絡TurboFS高并發(fā)，千卡并發(fā)讀寫高性能文件系統(tǒng)Taco高加速比，提升1.5x-2.5x硬件多元設備豐富GPU和國產芯片適配 支持自研與第三方交換機一云多芯

軟硬協(xié)同硬件多元設備公有云管控同源同構，向外延展中心IDCCDZTCETCS接入公有云管控專有云管控靈活部署全棧智算一云多芯軟件加速框架支持專有云、分布式云多種部署形態(tài)滿足客戶自有GPU、自建智算中心需求經歷公有云和自研混元大模型打磨沉淀應對智算木桶效應，推出算存網全棧方案適配多種GPU芯片和網絡交換機支持混合部署，對硬件保持開放兼容重磅發(fā)