鯤鵬智能計算導論 課件 第1章 緒論

第1章

緒論1.1計算產業(yè)發(fā)展歷程1.2智能計算時代1.3鯤鵬計算生態(tài)學習要點1.1.1 計算時代1.0：專用計算大型計算機大型計算機又稱為大型主機，最早是指裝在體積較大的鐵框盒中的大型計算機系統(tǒng)。大型計算機使用專用處理器及配套指令集、專用操作系統(tǒng)和專用應用軟件。通常，業(yè)界提到的大型計算機特指國際商業(yè)機器（InternationalBusinessMachines，IBM）公司從System/360開始生產的系列計算機，有時也指由幾個特定廠商，如日立數(shù)據(jù)系統(tǒng)（HitachiDataSystems，HDS）、阿姆達爾（Amdahl）制造的兼容計算機。1.1.1 計算時代1.0：專用計算20世紀80年代以來，一部分大型計算機和小型計算機的供應商順應市場變化，放棄原有模式，加入以客戶端/服務器（Client/Server，C/S）架構為主導的服務器陣營。隨著時間的推移，在個人計算機（PersonalComputer，PC）集群的沖擊下，無法適應這種變化的小型計算機已經完全被淘汰，唯獨大型計算機（特指IBM系列產品）一息尚存，其核心原因在于，大型計算機具備極高的可靠性、可用性和可服務性（Reliability，AvailabilityandServiceability，RAS）特性及輸入/輸出（Input/Output，I/O）處理能力?？煽啃裕捍笮陀嬎銠C能長時間正常運轉可用性：大型計算機的重要數(shù)據(jù)都有備份機制，能進行一定的數(shù)據(jù)恢復，大型計算機能及時檢測到可能出現(xiàn)的問題，并提前轉移正在運行的計算任務到其他計算設備上可服務性：大型計算機能實時在線診斷，精確定位問題所在，做到準確無誤地快速修復，進而快速恢復業(yè)務，降低故障影響RAS1.1.2 計算時代2.0：通用計算x86是英特爾通用計算機系列的標準編號縮寫，也表示一套通用的計算機指令集，x與處理器本身沒有任何關系，只是對所有型號帶86系統(tǒng)的簡單的通配符定義。經過多年發(fā)展，x86架構成為PC的主流選擇。x86與i386、i486、i586、i686等86系列或80x86泛指英特爾開發(fā)、制造的一種微處理器體系結構。最早的名稱都是以數(shù)字來表示的，并以“86”結尾，包括英特爾8086、80186、80286、80386及80486，因此其架構被稱為x86。1965年，英特爾創(chuàng)始人戈登·摩爾提出“摩爾定律”，即“當價格不變時，集成電路上可容納的晶體管數(shù)目大約每隔18～24個月便會增加一倍，性能也將提升一倍”。英特爾的通用計算機指令集x86架構使計算從專用走向了通用，開啟了計算時代2.0。在個人計算機發(fā)展的歷程中，x86架構幾乎遍布整個計算生態(tài)系統(tǒng)，尤其是對服務器市場的發(fā)展而言，x86架構做出了重大貢獻，并最終使得x86服務器市場成為全球最龐大的IT產品市場之一。在計算時代2.0，計算產業(yè)迎來更加開放、標準化和小型化的巨大變革。與此同時，單一計算架構（x86架構）也因其自身的局限帶來了一些問題。1.1.3 計算時代3.0：智能計算該時代最顯著的特征是計算架構從通用演變到異構。從通用計算開始，計算的核心應用場景經歷了從桌面互聯(lián)到移動互聯(lián)的變革，目前正走向萬物互聯(lián)。隨著下一代移動互聯(lián)網(wǎng)、物聯(lián)網(wǎng)（InternetofThings，IoT）和云計算技術的日趨成熟，當前的應用創(chuàng)新頻率越來越高，數(shù)量和種類也越來越多，云計算加邊緣計算配合移動端載體的“端、邊、云”協(xié)同方式逐漸成為主流模式，綜合應用的創(chuàng)新與變革對計算平臺提出了新挑戰(zhàn)。自2018年起，全球眾多廠商陸續(xù)推出基于高級精簡指令集機器（AdvancedRISCMachine，ARM）架構的服務器產品，打破了長期被x86架構主導的服務器市場。依賴單一CPU架構的時代已迎來變革，計算正在邁入“多樣性時代”。當前，多種計算架構同時存在，包括CPU、數(shù)字信號處理（DigitalSignalProcessing，DSP）、通用處理器（GeneralProcessUnit，GPU）、AI場景下的現(xiàn)場可編程門陣列（FieldProgrammableGateArray，F(xiàn)PGA）、網(wǎng)絡處理器（NetworkProcessor，NP）等。1.1計算產業(yè)發(fā)展歷程1.2智能計算時代1.3鯤鵬計算生態(tài)學習要點1.2.1 后“摩爾定律”時代“摩爾定律”提出后的近60年里，計算產業(yè)的發(fā)展軌跡驗證了其相對科學性，但它也有一定的局限性。2016年5月，《麻省理工科技評論》刊發(fā)的《摩爾定律終結》—文提出，要使摩爾定律繼續(xù)有效，就必須使用復雜的制造工藝，而該工藝高昂的成本超過了由此帶來的成本節(jié)約，在更快的速度、更低的能耗和更低的成本這3個因素中，芯片廠商只能三選二。雖然制造工藝還有一定的提升空間，但也將在15年后達到極限。在2018年“未來科學大獎頒獎典禮暨F2科學峰會”上，美國加利福尼亞大學洛杉磯分校電子工程系的薩勃拉曼尼亞·斯瓦米和杰森·吳兩位專家也談到了“摩爾定律終結”的問題，其中薩勃拉曼尼亞·斯瓦米提出使用系統(tǒng)級封裝（SysteminPackage，SIP）技術來實現(xiàn)“MorethanMoore”。與此同時，業(yè)界也在積極探索碳基半導體材料，并研究其他計算技術，如量子計算、脫氧核糖核酸（DeoxyribonucleicAcid，DNA）計算、自旋波計算等，尋求后“摩爾定律”時代的發(fā)展。1.2.2 計算產業(yè)新時代計算產業(yè)是IT的基礎，是每一次產業(yè)變革的驅動力，從云計算、大數(shù)據(jù)、AI到邊緣計算、IoT，都離不開強大的算力支撐。當前，隨著智慧場景的增加，智慧應用越來越普及，對算力的需求也日趨多樣化，不僅有端、邊、云不同的場景，還有更關注性能的、更關注能耗的、更關注時延的，以及更關注產品耐受性的場景。服務器的算力形態(tài)已經從傳統(tǒng)應用自上而下的“前端主機-應用主機-數(shù)據(jù)庫主機”的煙囪架構，發(fā)展到以共享為核心的虛擬化、云化架構，進而發(fā)展到現(xiàn)在的AI計算、邊緣計算、高性能計算（HighPerformanceComputing，HPC）。計算架構正面臨越來越多不同類型的計算需求，既要能適應不同的算力需求，又要在部署、管理、運維等方面予以優(yōu)化和適配。在此情形下，計算產業(yè)面臨著兩大挑戰(zhàn)：一是如何突破傳統(tǒng)服務器的算力瓶頸，二是如何有效降低運維管理成本。1.2.2 計算產業(yè)新時代華為“無邊界計算”服務器戰(zhàn)略1.2.2 計算產業(yè)新時代華為智能計算通過加速部件來實現(xiàn)整個系統(tǒng)的性能優(yōu)化，從計算到數(shù)據(jù)讀寫，再到網(wǎng)絡的各個環(huán)節(jié)，都有相應的加速部件來實現(xiàn)系統(tǒng)層面的優(yōu)化，具體包括以下3個層面。ACB處理器層面數(shù)據(jù)讀寫層面網(wǎng)絡層面通過節(jié)點互連控制器，實現(xiàn)多個CPU互連、協(xié)同工作。通過研發(fā)智能固態(tài)硬盤（SolidStateDisk，SSD）控制器，提升讀寫I/O性能、降低讀寫時延。網(wǎng)絡層面：通過研發(fā)智能網(wǎng)絡控制器，把之前需要在CPU上完成的工作移交給網(wǎng)絡控制器，從而提升系統(tǒng)整體性能。1.1計算產業(yè)發(fā)展歷程1.2智能計算時代1.3鯤鵬計算生態(tài)學習要點1.3 鯤鵬計算生態(tài)鯤鵬計算生態(tài)是基于鯤鵬處理器的基礎軟硬件設施、行業(yè)應用及服務，涵蓋從底層硬件、基礎軟件到行業(yè)應用的全產業(yè)鏈條。面向智能計算時代，華為和行業(yè)參與者一起構建鯤鵬計算生態(tài)，共同為各行業(yè)提供基于鯤鵬處理器的領先IT基礎設施及行業(yè)應用。1.3.1

鯤鵬計算硬件體系概覽智能加速引擎和智能管理引擎包含華為自研的SSD和智能網(wǎng)卡，以及跨平臺管理的FusionDirector智能管理軟件。鯤鵬通用計算平臺包括鯤鵬處理器的TaiShan服務器、鯤鵬開發(fā)套件（KunpengDevKit）、鯤鵬主板和開源系列軟件。其中，TaiShan服務器是華為自有品牌產品，而鯤鵬主板用于供應給參與鯤鵬計算生態(tài)建設的合作廠商。Atlas人工智能計算平臺可為不同應用場景提供AI算力，包括板卡部件級產品Atlas200/300系列、小型工作站Atlas500系列、邊緣和數(shù)據(jù)中心Atlas800系列、集群產品Atlas900系列等。1.3.2 鯤鵬開源軟件概覽openEuler操作系統(tǒng)01OPTION操作系統(tǒng)EulerOS的名稱源自著名數(shù)學家萊昂哈德·歐拉，它是一款基于Linux內核的操作系統(tǒng)，支持x86和ARM等多種處理器架構。在十多年的發(fā)展歷程中，EulerOS始終以安全、穩(wěn)定、高效為目標，成功支持了華為的計算產品和解決方案，成為國際上頗具影響力的操作系統(tǒng)。EulerOS在華為內部已有十多年的技術積累，廣泛應用于華為內部產品，并且華為已基于對鯤鵬處理器的深刻理解，在性能、可靠性、安全性等方面對其進行了深度優(yōu)化，以保證這一操作系統(tǒng)為鯤鵬計算生態(tài)提供足夠的支撐。為促進鯤鵬計算生態(tài)建設，華為將EulerOS開源為openEuler，簡稱“歐拉”，它適用于數(shù)據(jù)庫、大數(shù)據(jù)、云計算、AI等應用場景，同時，它也是一個面向全球的操作系統(tǒng)開源社區(qū)。1.3.2 鯤鵬開源軟件概覽openEuler操作系統(tǒng)01OPTIONopenEuler操作系統(tǒng)主要面向服務器，通過創(chuàng)新架構、全棧優(yōu)化，打造全場景協(xié)同的統(tǒng)一操作系統(tǒng)，為多樣化架構釋放算力。openEuler的主要組件包括基礎加速庫、虛擬化、內核、驅動、編譯器、操作系統(tǒng)工具、OpenJDK等，具體介紹如下。應用中間層：提供了多種類型的中間件，提供數(shù)據(jù)庫、桌面、機密計算等系統(tǒng)軟件，支持openEuler上的應用軟件共享資源。運行時及加速庫：層提供了程序運行時庫（如華為畢昇JDK）和加速庫。其中，JDK是Java開發(fā)工具包的簡稱。虛擬化及容器層：提供了虛擬化和容器能力，用戶可以根據(jù)需求選擇使用。iSulad通用容器引擎是一種新容器技術，可提供統(tǒng)一架構設計來滿足通信技術（CommunicationTechnology，CT）和IT領域的不同需求。內核層：為應用程序提供了多種對計算機硬件進行安全訪問的系統(tǒng)調用，負責管理系統(tǒng)的進程、內存、設備驅動程序、文件和網(wǎng)絡系統(tǒng)等。(1)(2)(3)(4)1.3.2 鯤鵬開源軟件概覽openGauss數(shù)據(jù)庫02OPTIONopenGauss是一款開源關系數(shù)據(jù)庫管理系統(tǒng)（RelationalDatabaseManagementSystem，RDBMS），采用木蘭寬松許可證v2發(fā)行，支持鯤鵬和x86處理器，支持openEuler、Ubuntu等Linux操作系統(tǒng)。openGauss的內核源自PostgreSQL。openGauss深度融合華為在數(shù)據(jù)庫領域多年的經驗，結合企業(yè)級場景需求，持續(xù)構建競爭力特性。同時，它作為一個開源、免費的數(shù)據(jù)庫平臺，鼓勵社區(qū)貢獻與合作。openGauss是典型的單機數(shù)據(jù)庫，支持一主多備部署，最多可支持8臺備機。1.3.2 鯤鵬開源軟件概覽openGauss數(shù)據(jù)庫02OPTIONopenGauss系統(tǒng)架構如圖所示，業(yè)務數(shù)據(jù)存儲在單個物理節(jié)點上，數(shù)據(jù)訪問任務被推送到服務節(jié)點執(zhí)行，通過服務器的高并發(fā)，實現(xiàn)對數(shù)據(jù)處理的快速響應。同時，可以通過日志復制把數(shù)據(jù)復制到備機上，提供數(shù)據(jù)的高可靠性和讀擴展能力。1.3.2 鯤鵬開源軟件概覽openLooKeng數(shù)據(jù)虛擬化引擎03OPTIONopenLooKeng的LooKeng取自我國著名數(shù)學家華羅庚的英文名（威妥瑪拼寫）Loo-kengHua。同時，LooKeng的發(fā)音也與英文Looking相近，意為查詢、分析各種數(shù)據(jù)，使大數(shù)據(jù)分析更簡單。openLooKeng能支持數(shù)據(jù)探索、即席查詢和批處理等操作，具有100+毫秒～1分鐘級的近實時時延且無須移動數(shù)據(jù)。openLooKeng還支持層次化部署，使地理上遠程的openLooKeng集群能參與同一個查詢。利用跨區(qū)域查詢的優(yōu)化能力，openLooKeng使遠程數(shù)據(jù)的查詢可以接近本地查詢的性能。openLooKeng是一個“開箱即用”的引擎，支持在任何地點（包括遠程數(shù)據(jù)源）對任何數(shù)據(jù)進行原位分析。它通過SQL2003接口提供所有數(shù)據(jù)的全局視圖。openLooKeng具有高可用性（HighAvailability，HA）、自動伸縮特性，支持內置緩存和索引等功能，為企業(yè)級工作負載提供所需的可靠性。openLooKeng使用業(yè)界著名的開源SQL引擎Presto來提