軟件定義重塑認(rèn)知時(shí)代的HPC

1、軟件定義重塑認(rèn)知時(shí)代的HPC2 IBM 2018AI，讓HPC無(wú)處不在技術(shù)的發(fā)展 - 算力IBM 量子計(jì)算機(jī)原型解決高度復(fù)雜的計(jì)算問(wèn)題目前最強(qiáng)大的AI超級(jí)計(jì)算機(jī)滿足AI和HPC的應(yīng)用需求IBM 類(lèi)腦芯片IBM 最小計(jì)算機(jī)低功耗的AI系統(tǒng)邊緣計(jì)算和區(qū)塊鏈應(yīng)用現(xiàn)在不遠(yuǎn)的將來(lái)技術(shù)的發(fā)展 - 算法Project Debater思維與決策能力AI OpenScale無(wú)偏見(jiàn)的人工智能晶格加密量子時(shí)代的加密算法IBM DLI 深度學(xué)習(xí)平臺(tái)大幅提高訓(xùn)練速度現(xiàn)在不遠(yuǎn)的將來(lái)技術(shù)的發(fā)展 - 數(shù)據(jù)IBM 新磁帶技術(shù)330TB 高密度磁帶IBM 相變存儲(chǔ)芯片比目前閃存快100倍存儲(chǔ)密度提高1000倍以上IBM 原子級(jí)存

2、儲(chǔ)技術(shù)Elastic Storage ServerTB/s 級(jí)的高速高速訪問(wèn)現(xiàn)在不遠(yuǎn)的將來(lái)認(rèn)知時(shí)代，重塑 HPC數(shù)據(jù)洞察分析 /模擬仿真HPC自動(dòng)化(ML/DL)AI傳感器/物聯(lián)網(wǎng)新的數(shù)據(jù)滿足新一代數(shù)據(jù)驅(qū)動(dòng)的應(yīng)用需求推理應(yīng)用訓(xùn)練好的模型應(yīng)用將訓(xùn)練好的模型部署到生產(chǎn)環(huán)境幾秒數(shù)據(jù)準(zhǔn)備數(shù)據(jù)清洗與預(yù)處理訓(xùn)練 數(shù)據(jù)集測(cè)試 數(shù)據(jù)集幾周到 幾月頻繁的數(shù)據(jù)訪問(wèn)反復(fù)迭代建模與優(yōu)化人工智能/深度學(xué)習(xí) 應(yīng)用框架 (Tensorflow & Caffe)訓(xùn)練可視化分布式的彈性深度學(xué)習(xí)平臺(tái)并行的超參數(shù)搜索與優(yōu)化監(jiān)控與 建議神經(jīng)網(wǎng)絡(luò) 模型超參數(shù)幾天到幾周數(shù)據(jù)收集傳統(tǒng)業(yè)務(wù)物聯(lián)網(wǎng) 與傳感器合作伙伴移動(dòng)應(yīng)用 社交媒體原有數(shù)據(jù)幾

3、年目前面臨的主要挑戰(zhàn)人員效率相關(guān)技術(shù)人員供不應(yīng)求，人力成本水漲船高數(shù)據(jù)效率AI應(yīng)用的數(shù)據(jù)量平均是傳統(tǒng)型分析應(yīng)用的八到十倍資源效率GPU和異構(gòu)集群環(huán)境帶來(lái)的管 理和調(diào)度問(wèn)題9Days4 HoursRecognitionShapeAttenuationBoundaryRecognitionShapeAttenuationBoundary4 Hours4 Hours4 Hours4 Hours.4 Hours節(jié)約的時(shí)間可以用于通過(guò)更多次數(shù)的迭代，創(chuàng)建更準(zhǔn)確的模型 或是創(chuàng)建更多的模型來(lái)滿足應(yīng)用的需求(216 hours)提高AI模型訓(xùn)練效率和準(zhǔn)確率- Spectrum Conductor Deep L

4、earning ImpactSpectrum DLI 深度學(xué)習(xí)應(yīng)用平臺(tái)DLI 作為深度學(xué)習(xí)的集成開(kāi)發(fā)環(huán)境，支持各種開(kāi)放的應(yīng)用 框架，并提供包括數(shù)據(jù)導(dǎo)入/轉(zhuǎn)換、可視化訓(xùn)練、超參數(shù) 優(yōu)化在內(nèi)的各種工具來(lái)大幅度提高人員效率和模型準(zhǔn)確率大幅度提高數(shù)據(jù)訪問(wèn)效率和可用性Spectrum Scale/ESS & Cloud Object Storage大幅度提高I/O和元數(shù)據(jù)性能客戶環(huán)境實(shí)測(cè) 2.5TB/s 數(shù)據(jù)訪問(wèn)帶寬客戶環(huán)境實(shí)測(cè) 16GB/s 單節(jié)點(diǎn)順序讀寫(xiě)帶寬客戶環(huán)境實(shí)測(cè)每秒創(chuàng)建260萬(wàn)個(gè)小文件客戶環(huán)境實(shí)測(cè)單目錄每秒創(chuàng)建5萬(wàn)個(gè)文件支持混合工作負(fù)載在同一個(gè)文件系統(tǒng)中同時(shí)支持大、小數(shù)據(jù)塊的應(yīng)用提高性能、空

5、間利用率支持最新的高性能硬件環(huán)境，如 NVMe和云對(duì)象存儲(chǔ)無(wú)縫集成，提供永遠(yuǎn)在線的數(shù)據(jù)訪問(wèn)提供豐富的企業(yè)級(jí)數(shù)據(jù)管理功能SSDFast DiskSlow DiskTapePOSIXSwift/S3NFSSMB HDFSCompute farmClient workstations簡(jiǎn)化、自動(dòng)化、智能化的資源管理與調(diào)度AdminChartsDefines Application (Chart)scheduler: lsfresources:mem: 256Mcpu: 100mDeploys ApplicationLSF K8s SchedulerIBM Cloud Private Redhat Op

6、enShiftPendingBsubReservationJobDeployedLSFJob Host AllocatedQueryPendingUpdate host支持 Docker、Shifter和Singularity等容器環(huán)境作業(yè)級(jí)的 I/O 計(jì)量與調(diào)度基于AI的智能資源使用預(yù)測(cè)自動(dòng)化的作業(yè)流程管理提供高級(jí) GPU 管理與調(diào)度功能elimelimHost AHost BGPU configuration管理GPU自配置GPU狀態(tài)監(jiān)控使用簡(jiǎn)化并可配置的提交語(yǔ)法規(guī)則作業(yè)級(jí)的 GPU 資源需求查詢GPU 作業(yè)分配情況查詢通過(guò) DCGM 支持 GPU 故障轉(zhuǎn)移報(bào)表計(jì)費(fèi)通過(guò) DCGM 支持 G

7、PU 作業(yè)報(bào)表GPU 調(diào)度指定 GPU型號(hào)GPU 顯存預(yù)留GPU NVLINK 調(diào)度CPU-GPU 關(guān)聯(lián)調(diào)度GPU 分布調(diào)度獨(dú)占式 GPU 作業(yè)調(diào)度GPU 控制按作業(yè)提供 MPS 支持按作業(yè)提供 GPU 模式支持NVIDIA 工具包支持支持最新 CUDA 和 DCGM 版本工作負(fù)載管理應(yīng)用資源調(diào)度GPU 資源CPU 資源專有系統(tǒng)云資源Spectrum Computing MultiCluster在必要時(shí)實(shí)現(xiàn)計(jì)算資源的彈性擴(kuò)展Data Manager在確保安全的前提下實(shí)現(xiàn)透明的數(shù)據(jù)遷移Resource Connector 根據(jù)策略實(shí)現(xiàn)計(jì)算資源的 自動(dòng)化部署和伸縮支持多云環(huán)境部署GoogleIBM

8、 CloudMicrosoftAmazon軟件定義的新一代人工智能超算平臺(tái)異構(gòu)的多云環(huán)境DiskFlashTapePowerx86dockerVMLinux on z Sparc ARMAI/深度學(xué)習(xí)生命科學(xué)材料高性能計(jì)算制造石油金融分析社交媒體高性能分析大數(shù)據(jù)商業(yè)智能公有/私有云部分國(guó)內(nèi)的 HPC轉(zhuǎn)型案例會(huì)車(chē)燈光遮蔽夜晚交通標(biāo)志防眩暈路口自動(dòng)開(kāi)啟廣角照明Application CenterLSF On-Cloud ClusterResource ConnectorData Managerscp rsy ncPredefined VM imageFlexLM ServerData ManagerLSF On-Premise ClusterOn-demand Provision and DestroyObjective StorageBlock ServiceNASHPC + 云HPC + AIHPC + 大數(shù)據(jù)某電子行業(yè)客戶某醫(yī)療健康行業(yè)客戶某氣象衛(wèi)星客戶智能大燈控制跟車(chē)燈光遮蔽某汽車(chē)行業(yè)客戶專業(yè)服務(wù)培訓(xùn)支持IBM 軟件定義在國(guó)內(nèi)近500人的本地開(kāi)發(fā)、支持與專業(yè)服務(wù)團(tuán)隊(duì)專業(yè)的 7 x 24