鯤鵬原生開發(fā)技術(shù)白皮書 2024

3 19 22 23 26 26 45 53 53 58 61 63 65 70 71 76技術(shù)白皮書1鯤鵬原生開發(fā)的機(jī)遇和挑戰(zhàn)鯤鵬計(jì)算產(chǎn)業(yè)聚焦計(jì)算架構(gòu)創(chuàng)新和開源基礎(chǔ)軟件的研發(fā)，以及華為云服動鯤鵬生態(tài)發(fā)展。通過戰(zhàn)略性、長期性的研發(fā)投入，吸納全球計(jì)算產(chǎn)業(yè)先進(jìn)技術(shù)，持續(xù)推進(jìn)全棧計(jì)算技術(shù)的創(chuàng)新發(fā)展，加快構(gòu)筑面向多樣化計(jì)體系與產(chǎn)業(yè)標(biāo)準(zhǔn)?；凇坝布_放、軟件開源、使能伙伴、發(fā)展人才”何保證伙伴應(yīng)用鯤鵬版本的持續(xù)發(fā)布，是鯤鵬計(jì)算產(chǎn)業(yè)面臨的一大問題支撐高效率地持續(xù)開發(fā)高性能、多平臺兼容的應(yīng)用的用戶訴求，也是目●伙伴期望一套流水線支持多套架構(gòu)，但流水線改造繁瑣、工作量大。●如何使能鯤鵬微架構(gòu)等優(yōu)化，獲得性能提升；使能安全合規(guī)掃描，提升多算力版技術(shù)白皮書2鯤鵬原生開發(fā)的核心2鯤鵬原生開發(fā)的核心技術(shù)理念技術(shù)白皮書3鯤鵬原生開發(fā)能力介紹加速庫函數(shù)字典、智能提示、高亮、聯(lián)想字典中可以替換的庫和函數(shù)。技術(shù)白皮書●鯤鵬應(yīng)用工程：只需要在創(chuàng)建鯤鵬應(yīng)用工程頁面進(jìn)行簡單的輸入和選擇，便可以實(shí)現(xiàn)自動化構(gòu)建鯤鵬應(yīng)用工程，包括空工程、通用計(jì)算應(yīng)●字典管理：支持加速庫函數(shù)字典管理，可線上（自動）和線下更新。提供場景化的鯤鵬應(yīng)用工程模板，快速輔助工程環(huán)境構(gòu)建、配置檢查、技術(shù)白皮書技術(shù)白皮書步驟2開啟加速庫提示，開啟后，用戶編碼過程中將會步驟3開啟編譯選項(xiàng)智能聯(lián)想，開啟后，工具將會根步驟4設(shè)置跳過證書驗(yàn)證的網(wǎng)站，設(shè)置后的網(wǎng)站無需進(jìn)行證支持鯤鵬加速庫函數(shù)的懸浮提示、函數(shù)搜索，支持編碼時智能聯(lián)），性能開源組件、基礎(chǔ)加速軟件包和應(yīng)用加速軟件包，使能應(yīng)用極致性能芯片級特性，如內(nèi)存管理、計(jì)算調(diào)度等方面的技術(shù)優(yōu)勢，通過預(yù)置的架，賦能開發(fā)者輕松構(gòu)建適應(yīng)鯤鵬架構(gòu)的高性能應(yīng)用。在同一個構(gòu)建技術(shù)白皮書技術(shù)白皮書），（以托管場景為例，云手機(jī)并發(fā)密度取決于客戶云手機(jī)實(shí)際應(yīng)用），具有高密視頻流云手機(jī)方案基于視頻流的端云協(xié)同引擎，提供了低時延的云的畫面，并進(jìn)行視頻的壓縮流化后，發(fā)送到終端播放顯示。視頻流編碼能力、視頻解碼播放能力、云手機(jī)圖像截屏等核心功能，客戶可以基于這些引擎進(jìn)行二次開發(fā)，實(shí)現(xiàn)在移動終技術(shù)白皮書現(xiàn)云端復(fù)制應(yīng)用和游戲的渲染指令，并進(jìn)行渲染指令和紋理數(shù)據(jù)壓渲染、紋理數(shù)據(jù)視頻流化、觸控和音頻抓取/放些引擎進(jìn)行二次開發(fā)，實(shí)現(xiàn)在移動終端上進(jìn)行操控應(yīng)用和游戲等操流引擎技術(shù)，可以支持云手機(jī)全系統(tǒng)渲染，并提供近乎無在通過插件化的形式，端到端提升數(shù)據(jù)加載、數(shù)據(jù)計(jì)算和數(shù)據(jù)交換技術(shù)白皮書），法原理和芯片特征針對機(jī)器學(xué)習(xí)和圖分析算法進(jìn)行深入優(yōu)化，從技術(shù)白皮書適用于塊存儲服務(wù)數(shù)據(jù)壓縮和對象存儲服務(wù)數(shù)據(jù)壓縮，與主流開統(tǒng)標(biāo)量編碼的高階有限域乘法，配合編碼調(diào)度，復(fù)用中間計(jì)算通過大數(shù)求余算法和配合鯤鵬向量化指令實(shí)現(xiàn)編碼加速，與主），技術(shù)白皮書通過消除補(bǔ)零對齊操作帶來的數(shù)據(jù)浪費(fèi)問題，結(jié)合壓緊封裝、空間成本性能雙收益。數(shù)據(jù)壓緊可將數(shù)據(jù)壓縮率再提高務(wù)寫性能，提高數(shù)據(jù)可靠性；讀緩存通過數(shù)據(jù)預(yù)取提前將熱點(diǎn)數(shù)據(jù)更便捷地為行業(yè)客戶構(gòu)建機(jī)密計(jì)算解決方案，從而為用戶的關(guān)鍵數(shù)據(jù)提技術(shù)白皮書●TEEOS：華為自研安全操作系統(tǒng)，為可信應(yīng)用案通過隊(duì)列方式管理任務(wù)，所有的任務(wù)先放入等待執(zhí)行隊(duì)列，按系技術(shù)白皮書優(yōu)的加速庫，自動配置全棧最佳參數(shù)。通過收集應(yīng)用負(fù)載信息自動升流表的查找速度，提高虛擬化網(wǎng)絡(luò)的處理能力，可實(shí)現(xiàn)虛擬化網(wǎng)技術(shù)白皮書自研、基礎(chǔ)軟件優(yōu)化和行業(yè)應(yīng)用性能調(diào)優(yōu)等技術(shù)構(gòu)建全棧高性能計(jì)算源管理功能，串聯(lián)整個工作流程，幫助用戶合理地進(jìn)行作業(yè)調(diào)度和資源分加速庫，為大數(shù)據(jù)加解密、分布式存儲壓縮、視頻技術(shù)白皮書），此分配器分為單線程和多線程應(yīng)用場景，最大限度地減少內(nèi)部緩用戶級線程庫。用于解決內(nèi)核級線程大量使用時，應(yīng)用性能下降、的問題，尤其解決嵌套并行場景下性能極低的問題。在保障減少資形式的一套標(biāo)準(zhǔn)，是描述數(shù)據(jù)的表示、編碼、技術(shù)白皮書其在鯤鵬計(jì)算平臺上的壓縮和解壓縮速率，尤其對文本類型文件的網(wǎng)絡(luò)傳輸和實(shí)時數(shù)據(jù)處理等領(lǐng)域，為用戶提供包括向量緩沖區(qū)的分配與釋放、向量初始化、向量數(shù)學(xué)運(yùn)算與統(tǒng)計(jì)），能數(shù)學(xué)函數(shù)庫，主要完成標(biāo)量、矢量、矩陣上的數(shù)學(xué)計(jì)算，包括基本的技術(shù)白皮書過使用網(wǎng)絡(luò)技術(shù)、處理技術(shù)和存儲技術(shù)來提升效率和性能。通過運(yùn)匹配命中該集成流表，則直接執(zhí)行綜合行為，相比開源的處理流程），技術(shù)白皮書●字節(jié)對齊檢查：在需要考慮字節(jié)對齊時，檢查源碼中結(jié)構(gòu)體類型變量的字節(jié)對齊●計(jì)算精度分析：精度分析工具對應(yīng)用函數(shù)插樁后，分別在x86平臺和鯤鵬平臺運(yùn)技術(shù)白皮書技術(shù)白皮書過上述鯤鵬親和編譯器，在不修改用戶應(yīng)用源碼的情況下，提供鯤鵬平畢昇編譯器是華為編譯器實(shí)驗(yàn)室針對通用處理器架構(gòu)構(gòu)建，增強(qiáng)●高性能編譯算法，基于鯤鵬架構(gòu)深度調(diào)優(yōu)，內(nèi)存優(yōu)化、循環(huán)優(yōu)化、自動向量化等技術(shù)白皮書GCCforopenEuler技術(shù)白皮書通用應(yīng)用調(diào)試提供鯤鵬、飛騰平臺遠(yuǎn)程調(diào)試能力，提供圖形化界面，大步驟2進(jìn)行通用應(yīng)用調(diào)試，如圖3-28所技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書系統(tǒng)性能分析是針對基于鯤鵬的服務(wù)器的性能分析工具，能收集服件、操作系統(tǒng)、進(jìn)程/線程、函數(shù)等各層次的性能數(shù)系統(tǒng)瓶頸點(diǎn)及熱點(diǎn)函數(shù)，給出優(yōu)化建議。該工具可以輔助用戶快速定位調(diào)優(yōu)助手是針對基于鯤鵬的服務(wù)器的調(diào)優(yōu)工具，能系統(tǒng)化組織性能指調(diào)優(yōu)助手通過系統(tǒng)化組織和分析性能指標(biāo)、熱置等信息，形成系統(tǒng)資源消耗鏈條，引導(dǎo)用戶根析性能瓶頸，并針對每條優(yōu)化路徑給出優(yōu)化建議點(diǎn)間進(jìn)行比較，從而快速獲得不同分析結(jié)果之間集群中各節(jié)點(diǎn)軟硬件配置的一致度報(bào)告。檢查對維度。對于不符合鯤鵬平臺最佳實(shí)踐的配置，工誤次數(shù)等指標(biāo)，以此識別系統(tǒng)性能瓶頸。針這些信息，用戶便可以有針對性地修改自己的訪問統(tǒng)計(jì)矩陣，識別節(jié)點(diǎn)間內(nèi)存訪問不平衡狀析性能瓶頸。針對部分指標(biāo)項(xiàng)，根據(jù)當(dāng)前已有的基驗(yàn)提供優(yōu)化建議。針對單個進(jìn)程，還支持分析它數(shù)和全局占比等指標(biāo)，以此識別性能瓶頸。支持），數(shù)據(jù)庫和大數(shù)據(jù)場景進(jìn)行自動優(yōu)化，自動調(diào)優(yōu)后技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書的性能分析，如調(diào)用鏈分析，熱點(diǎn)函數(shù)，鎖分析，引用關(guān)系鏈，幫助定位潛在的內(nèi)存問題；對刻的堆快照，給出堆使用與分配變化，輔助庫調(diào)用時間、耗時和堆棧跟蹤，幫助用戶定化和當(dāng)前線程轉(zhuǎn)儲，根據(jù)線程轉(zhuǎn)儲圖形化地或數(shù)量分配最多的對象，發(fā)現(xiàn)潛在問題；通技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書系統(tǒng)診斷是針對基于鯤鵬的服務(wù)器的性能分析工具，通過分析系統(tǒng)運(yùn)常點(diǎn)，例如：內(nèi)存泄漏、內(nèi)存越界、網(wǎng)絡(luò)丟包等，并給出優(yōu)化建議，分析應(yīng)用程序存在的內(nèi)存泄漏點(diǎn)(包括內(nèi)存未技術(shù)白皮書分析應(yīng)用程序的內(nèi)存異常訪問點(diǎn)，給出異常訪問考數(shù)據(jù)；診斷網(wǎng)絡(luò)，定位網(wǎng)絡(luò)疑難問題，解決因網(wǎng)絡(luò)配置和異常而導(dǎo)致的網(wǎng)絡(luò)IO性能問題。具體包括：網(wǎng)絡(luò)撥測、丟包診斷同階段數(shù)據(jù)流在不同處理核上執(zhí)行的情況。技術(shù)白皮書技術(shù)白皮書技術(shù)白皮書碼規(guī)范檢查，可攔截不適配鯤鵬服務(wù)器的代碼、提供鯤鵬親和代碼優(yōu)化●軟件遷移評估：自動掃描并分析軟件包（非源碼包）、已安裝的軟件，提供可遷技術(shù)白皮書技術(shù)白皮書字節(jié)對齊檢查就是在需要考慮字節(jié)對齊時，檢查源碼中結(jié)構(gòu)體類型變矩陣化檢查功能用于對可矩陣化片段進(jìn)行檢查，并提供矩陣化修改建議技術(shù)白皮書質(zhì)量的開放平臺，涵蓋了架構(gòu)設(shè)計(jì)、注釋、編碼規(guī)范、潛在缺陷、代碼代碼等多個維度的質(zhì)量分析。幫助檢查代碼缺陷、改善代碼質(zhì)量以及提高開發(fā)速）：）：）：技術(shù)白皮書鯤鵬原生開發(fā)在流水線調(diào)優(yōu)階段提供了自動反饋優(yōu)化功能，通過流水線技術(shù)白皮書序運(yùn)行時信息進(jìn)行優(yōu)化決策。編譯器根據(jù)這些運(yùn)行時信息指導(dǎo)各種編譯技術(shù)白皮書鯤鵬原生開發(fā)提供了一系列兼容測試用例集，實(shí)現(xiàn)了鯤鵬兼容測試自動試通過待測試應(yīng)用軟件在鯤鵬環(huán)境啟動前后資源波動異常檢軟件啟動和停止，自動檢測應(yīng)用軟件在鯤鵬平臺上的可試在異常終止測試場景檢測應(yīng)用運(yùn)行，自動評估應(yīng)用軟件在鯤鯤鵬原生開發(fā)兼容性測試工具安裝部署詳細(xì)內(nèi)容請參見《鯤鵬原生開發(fā)用戶指南鯤鵬原生開發(fā)Java性能測試工具安裝部署詳細(xì)內(nèi)容請參見《鯤鵬原生開發(fā)用戶指南》鯤鵬原生開發(fā)在版本發(fā)布階段提供了病毒掃描能力，實(shí)現(xiàn)了版本安全技術(shù)白皮書3.3OS底座（openEuler系操作系統(tǒng)）3.3.1openEuler簡介算、嵌入式等應(yīng)用場景，支持多樣性計(jì)算，致力于提供安全、穩(wěn)定、易用技術(shù)白皮書技術(shù)白皮書●系統(tǒng)容器：在普通容器的基礎(chǔ)上進(jìn)行功能擴(kuò)展，相比于普通容器，系統(tǒng)容器具備由以及卷。系統(tǒng)容器主要應(yīng)用在重計(jì)算、高性能、大并發(fā)的場●安全容器：安全容器是虛擬化技術(shù)和容器技術(shù)的結(jié)合，相比于普通容器共用同一臺宿主機(jī)內(nèi)核存在的安全隱患，安全容器通過虛擬化層實(shí)現(xiàn)容器間個安全容器都有一個自己單獨(dú)的內(nèi)核和輕量級虛擬機(jī)運(yùn)行環(huán)境，保統(tǒng)虛擬化的隔離能力和安全能力的同時，降低了內(nèi)存資源消耗，提高了技術(shù)白皮書openEulerAI軟件棧行環(huán)境。通過將不同AI算力平臺的軟件棧進(jìn)●模型應(yīng)用鏡像：在AI框架鏡像的基礎(chǔ)上，包含完整的工具鏈和模型置，因此無法充分發(fā)揮系統(tǒng)最佳性能。然而，針對特定的應(yīng)用場景進(jìn)●每個應(yīng)用的負(fù)載也復(fù)雜多樣，不同負(fù)載對應(yīng)的最優(yōu)參數(shù)值也不同。技術(shù)白皮書●智能決策的基本原理是通過采集系統(tǒng)數(shù)據(jù)，并通過AI引擎中的聚類和分類算法對采集到的數(shù)據(jù)進(jìn)行負(fù)載識別，得到系統(tǒng)中當(dāng)前正