計算機系統(tǒng)性能評價

計算機系統(tǒng)性能評價第1頁，共65頁，2023年，2月20日，星期四 1.基本概念 2.Benchmarks 3.實例1：通信LogP評價模型 4.實例2：Web應(yīng)用性能評價 5.實例3：Email應(yīng)用性能評價 6.總結(jié)內(nèi)容第2頁，共65頁，2023年，2月20日，星期四評價計算機系統(tǒng)價格、服務(wù)、應(yīng)用軟件、質(zhì)量、功能、升級能力、性能第3頁，共65頁，2023年，2月20日，星期四桌面系統(tǒng)性能評價處理器主頻、內(nèi)存大小、內(nèi)存總線帶寬、I/O總線性能、圖形卡指標(biāo)、OS指標(biāo)運行WinBench測試軟件客戶端系統(tǒng)第4頁，共65頁，2023年，2月20日，星期四計算機系統(tǒng)組成MemoryCPUOSNetwork，StorageApplication性能評測性能分析第5頁，共65頁，2023年，2月20日，星期四執(zhí)行時間（CPU時間、墻上時間、ElapsedTime）峰值速度PeakPerformance負(fù)載load開銷Overhead利用率UtilizationRatio飽和性能 SaturatePerformance概念第6頁，共65頁，2023年，2月20日，星期四帶寬Bandwidth延遲Latency吞吐率Throughput加速比SpeedupAmdahl定律AmdahlLaw效率 Efficiency概念第7頁，共65頁，2023年，2月20日，星期四基準(zhǔn)測試Benchmark微基準(zhǔn)測試Micro-benchmark宏基準(zhǔn)測試Macro-benchmark機器平衡值SystemBalanceNumber概率分布PossibilityDistribution響應(yīng)時間 ResponseTime概念第8頁，共65頁，2023年，2月20日，星期四用性能評價軟件包，了解系統(tǒng)性能，對用戶選型和配置提出建議針對不同應(yīng)用，不同軟硬件配置能進行性能評價和優(yōu)化，對用戶使用系統(tǒng)提出性能上的建議建立理論模型，對系統(tǒng)的性能進行預(yù)測基本作用第9頁，共65頁，2023年，2月20日，星期四沒有一個標(biāo)準(zhǔn)能反映計算機系統(tǒng)的全部性能，它們代表的只是性能的一個側(cè)面。常用的標(biāo)準(zhǔn)定點性能浮點性能Web服務(wù)性能數(shù)據(jù)處理性能系統(tǒng)軟件性能科學(xué)與工程計算性能Benchmarks第10頁，共65頁，2023年，2月20日，星期四SPECint95SPEC：StandardPerformanceEvaluationCorporation反映評測系統(tǒng)的單處理器的定點運算性能8個真實的應(yīng)用：仿真技術(shù)、人工智能、圖像處理、壓縮算法、編譯器、解釋器、數(shù)據(jù)庫用運行8個應(yīng)用的標(biāo)準(zhǔn)時間，除以實際運行時間得到一個比值，SPEC_int95是這8個比值乘積的開8次方得到的值SPECint_base95采用最保守的優(yōu)化策略

定點性能第11頁，共65頁，2023年，2月20日，星期四SPECint_rate95反映具有多個處理器系統(tǒng)的性能的可擴展性，允許每個應(yīng)用同時運行多個實例比值的計算方法：運行次數(shù)*（應(yīng)用標(biāo)準(zhǔn)運行時間*1天中的秒數(shù)/8個應(yīng)用中最長的標(biāo)準(zhǔn)運行時間）/多次運行的總時間，SPECint_rate95是這8個比值的乘積開8次方。SPECint_base_rate95采用最保守的編譯優(yōu)化策略定點性能第12頁，共65頁，2023年，2月20日，星期四SPECint2000

12個應(yīng)用：壓縮算法、編譯器、優(yōu)化組合、棋類游戲、字處理、可視化、PERL語言、群論解釋器、面向?qū)ο髷?shù)據(jù)庫、仿真技術(shù).Dhrystone發(fā)布于1984年，主要包含兩類語句，字符串賦值和字符串比較。定點性能第13頁，共65頁，2023年，2月20日，星期四SPECfp95評測系統(tǒng)的單處理器的浮點運算性能10個真實的應(yīng)用：流體力學(xué)、天氣預(yù)報、量子物理、天文、電子SPECfp_base95采用最保守的編譯優(yōu)化策略SPECfp_rate95反映具有多個處理器系統(tǒng)的浮點性能的可擴展性SPECfp_base_rate95采用最保守的編譯優(yōu)化策略

浮點性能第14頁，共65頁，2023年，2月20日，星期四SPECfp200014個應(yīng)用：量子色動、淺水模型、三維電勢場、拋物線/橢圓偏微分方程、三維圖像庫、計算流體力學(xué)、圖像識別/神經(jīng)網(wǎng)絡(luò)、地震波傳播仿真、圖像處理/人臉識別、計算化學(xué)、數(shù)論、有限元碰撞仿真、高性能物理加速器設(shè)計、污染分布計算Flops反映系統(tǒng)單處理器的峰值浮點運算能力通過指令的不同組合來得到浮點加、減、乘、除的計算能力，盡量使用寄存器，少與內(nèi)存交互浮點性能第15頁，共65頁，2023年，2月20日，星期四Web服務(wù)性能SPECweb96評價Web響應(yīng)用戶Web點擊的性能由客戶端向服務(wù)器發(fā)送HTTPGET請求SPECweb96值是服務(wù)器每秒能夠支持的連接數(shù)量SPECweb99評價了Web服務(wù)器綜合性能每個客戶端運行于400Kb/s的線路上服務(wù)器最多支持320Kb/s以上的客戶端連接數(shù)不僅支持HTTPGET操作，還支持POST和Cookie第16頁，共65頁，2023年，2月20日，星期四WebstoneSGI在1995年開發(fā)，評測系統(tǒng)在不同環(huán)境、不同負(fù)載模式下的Web服務(wù)性能模擬的多個客戶端向服務(wù)器上的指定頁面發(fā)送HTTPGET請求負(fù)載由客戶端數(shù)量和文件集確定，每個文件集由一定數(shù)量的文件組成，幾個文件組成一個頁面，代表頁面內(nèi)容由圖像、動畫、聲音、文本多個文件構(gòu)成每個頁面有與之相關(guān)的權(quán)重，權(quán)重越高，被訪問的機會越大Webstone結(jié)果：系統(tǒng)吞吐量（MB/s）、延遲（完成一個頁面請求的時間）、每分鐘傳送的頁面數(shù)目、平均連接率、失效率Web服務(wù)性能第17頁，共65頁，2023年，2月20日，星期四數(shù)據(jù)處理性能DebitCredit1984年Tandem公司的JimGray提出模擬一個具有多家分支機構(gòu)銀行的出納操作，采用California銀行1970年的數(shù)據(jù)只包含銀行存款帳戶行為一種類型的事務(wù)存款行為記錄文件：帳戶文件、分支機構(gòu)文件、出納文件、操作順序的歷史數(shù)據(jù)文件帳戶的規(guī)模、分支機構(gòu)數(shù)據(jù)是系統(tǒng)吞吐量函數(shù)，例如：每個TPS應(yīng)配置10個分支機構(gòu)，100個出納員，100000個帳戶信息規(guī)定每次出納操作的時間固定為100秒，合法的結(jié)果應(yīng)有95%的事務(wù)在1秒內(nèi)完成

第18頁，共65頁，2023年，2月20日，星期四TPC：Transaction.ProcessingPerformanceCouncil，成立于1988年評測計算機系統(tǒng)進行事務(wù)處理和數(shù)據(jù)庫操作的性能TPC-A使用不同的輸入和查詢數(shù)據(jù)修改密集型事務(wù)評價聯(lián)機事務(wù)處理（OLTP）的性能1995年后不再使用TPC-B集中式數(shù)據(jù)庫處理不需要終端和網(wǎng)絡(luò)數(shù)據(jù)庫操作有大量的磁盤I/O中等量級的系統(tǒng)和應(yīng)用執(zhí)行時間有很多處理之間的集成操作數(shù)據(jù)處理性能第19頁，共65頁，2023年，2月20日，星期四TPC-C1992年開發(fā)用遠程終端模擬器模擬大量的終端用戶模擬存在大量地理上分散部門的企業(yè)的行為數(shù)據(jù)庫結(jié)構(gòu)復(fù)雜，多種事務(wù)處理模型、執(zhí)行模式，熱點現(xiàn)象，全屏終端I/O格式化數(shù)據(jù)，透明的數(shù)據(jù)分區(qū)和事務(wù)處理的回滾一般表示為tpmC和$/tpmC（TransactionsPerMinuteComputer）五種事務(wù)：付款(payment)、訂單狀態(tài)查詢(order-status)、發(fā)貨(delivery)、庫存級別(stock-level)、新訂單(new-order)每種事務(wù)都有響應(yīng)時間的要求，如new-order設(shè)置為5秒tpmC是系統(tǒng)在滿足其它4類事務(wù)響應(yīng)時間要求的前題下，在1分鐘內(nèi)處理new-order事務(wù)的數(shù)量數(shù)據(jù)處理性能第20頁，共65頁，2023年，2月20日，星期四TPC-D決策支持應(yīng)用，用于測試系統(tǒng)支持耗時的、只讀的數(shù)據(jù)庫操作的性能每個復(fù)雜的查詢都要存取數(shù)據(jù)庫的大部分?jǐn)?shù)據(jù)，進行多次join,sort,group,scan等操作17個復(fù)雜查詢和2個修改操作極大程度地依賴于查詢的優(yōu)化、數(shù)據(jù)庫表格的劃分方法、SQL的效率、和高級索引技術(shù)

數(shù)據(jù)處理性能第21頁，共65頁，2023年，2月20日，星期四LmbenchSGI開發(fā)，測試操作系統(tǒng)性能操作系統(tǒng)指標(biāo)：空系統(tǒng)調(diào)用時間，進程切換時間，pipe、UDP、TCP、RPC的延遲和帶寬，內(nèi)存、Cache、TLB的讀寫性能，存儲映射的性能既能反映計算機系統(tǒng)的一些基本性能指標(biāo)，也能反映操作系統(tǒng)實現(xiàn)的優(yōu)劣系統(tǒng)軟件性能第22頁，共65頁，2023年，2月20日，星期四Netperf評測計算機系統(tǒng)的網(wǎng)絡(luò)性能，也可用來評測DLPI（DataLinkProviderInterface），UnixDomainSocket的性能TCP、UDP的帶寬和請求應(yīng)答數(shù)按照客戶機/服務(wù)器模式設(shè)計，結(jié)果數(shù)據(jù)是在用戶設(shè)定的時間段內(nèi)，兩者之間傳遞的最大數(shù)據(jù)量

系統(tǒng)軟件性能第23頁，共65頁，2023年，2月20日，星期四SPECsfs97評測系統(tǒng)的NFS性能采用客戶機/服務(wù)器模式，客戶機向服務(wù)器發(fā)送特定的NFS請求，得到NFS文件服務(wù)器的吞吐量和響應(yīng)時間SPECjvm98使用8個應(yīng)用來評測JAVA虛擬機的性能系統(tǒng)軟件性能第24頁，共65頁，2023年，2月20日，星期四LinpackLINearalgebraPACKages解線性方程組和線性最小二乘問題1000x1000標(biāo)準(zhǔn)計算飽和峰值Top500科學(xué)與工程計算性能第25頁，共65頁，2023年，2月20日，星期四NAS美國NASA的NAS(NumericalAerodynamicSimulation)研究組開發(fā)8個空氣動力學(xué)計算類應(yīng)用：5個核心程序和3個偽應(yīng)用，EP、多重網(wǎng)格求解、共軛梯度方程求解、三維FFT、整數(shù)排序早期的巨型機和向量機都采用NASBenchmark并行版本NPBPerfectPERFormanceEvaluationforCost-effectiveTransformationsHPCG組織開發(fā)，用于評測傳統(tǒng)的向量巨型機

科學(xué)與工程計算性能第26頁，共65頁，2023年，2月20日，星期四SPLASHStanford大學(xué)開發(fā)，評測共享存儲系統(tǒng)性能7個完整的應(yīng)用和5個計算核心程序科學(xué)與工程計算，計算機圖形學(xué)方面的并行程序ParkBench評價大型可擴展系統(tǒng)的計算性能micro-benchmark：獲取單處理器的有關(guān)體系結(jié)構(gòu)和編譯器的基本性能參數(shù)；測試內(nèi)容包括時鐘調(diào)用、算術(shù)運算、內(nèi)存帶寬和延遲、通信延遲和帶寬、全局同步操作性能等kernel-benchmark：矩陣運算、FFT、偏微分方程、NAS核心，I/OBenchmarkcompactapplication：氣候模型、計算流體動力學(xué)、財務(wù)模型、分子動力學(xué)、等離子物理、量子化學(xué)、水庫模型compiler：評價HPF編譯器科學(xué)與工程計算性能第27頁，共65頁，2023年，2月20日，星期四基本性能參數(shù)：CPU、內(nèi)存、I/O、網(wǎng)絡(luò)、操作系統(tǒng)、文件系統(tǒng)、編譯器、數(shù)據(jù)庫核心Benchmark：SPECweb,TPC-C,TPC-D,TPC-W,Linpack，MM5，PRIS，F(xiàn)FT，Guass98實際應(yīng)用：較真實的硬件配置和軟件環(huán)境下，用實際應(yīng)用或簡化的、規(guī)?？s小的實際應(yīng)用評價系統(tǒng)的真實性能評價服務(wù)器性能的基本方法第28頁，共65頁，2023年，2月20日，星期四誤區(qū)一：處理器主頻越高的系統(tǒng)性能越好。誤區(qū)二：SPEC值越高系統(tǒng)性能越好。誤區(qū)三：用戶A的應(yīng)用運行效果很好，所以計算機系統(tǒng)的性能很好。誤區(qū)四：系統(tǒng)配置越大，性能越好。誤區(qū)五：采用最新先進技術(shù)的系統(tǒng)，性能越好。評價計算機系統(tǒng)的常見誤區(qū)第29頁，共65頁，2023年，2月20日，星期四1.求1..80M(83,886,080)之間的所有質(zhì)數(shù)2.遞歸法求解Ackerman(3,10)3.使用DES算法加密160K的內(nèi)存文件16次4.起泡法排序10,000個整數(shù)5.兩個1000x1000的整數(shù)方陣相乘6.分解質(zhì)因數(shù)

定點性能評測算法選擇第30頁，共65頁，2023年，2月20日，星期四定點性能評測結(jié)果第31頁，共65頁，2023年，2月20日，星期四1.使用atan(1)的級數(shù)展開來求無理數(shù)π2.用高斯消元法求解線性方程組3.兩個1000x1000的浮點方陣相乘4.使用牛頓迭代法求解方程的根5.判斷sin，cos，exp等函數(shù)的性能浮點性能評測算法選擇第32頁，共65頁，2023年，2月20日，星期四浮點性能評測結(jié)果第33頁，共65頁，2023年，2月20日，星期四內(nèi)存拷貝帶寬第34頁，共65頁，2023年，2月20日，星期四只關(guān)心系統(tǒng)的性能，不關(guān)心評測結(jié)果的產(chǎn)生原因，無法探知系統(tǒng)的瓶頸，只能為用戶選擇系統(tǒng)提供幫助，不能對優(yōu)化提供幫助。

只局限于計算機系統(tǒng)的某一層次，不能得到系統(tǒng)整體的性能特征。評測程序缺陷第35頁，共65頁，2023年，2月20日，星期四 1.Point-to-Point 2.性能指標(biāo) 3.對應(yīng)用的影響實例1：通信性能評測第36頁，共65頁，2023年，2月20日，星期四LogP通信模型ogooLt0發(fā)送結(jié)點接收結(jié)點發(fā)送發(fā)送接收第37頁，共65頁，2023年，2月20日，星期四LogGP通信模型在LogP上增加了塊間隔（bulkgap）GG=1/r∞四個參數(shù)網(wǎng)絡(luò)時延L處理器開銷o間隔g帶寬1/G第38頁，共65頁，2023年，2月20日，星期四LogGP對性能的影響應(yīng)用對開銷o最敏感當(dāng)開銷由2.9μs增至100μs，應(yīng)用減慢50倍應(yīng)用對間隔g敏感，但不如開銷o當(dāng)間隔由5.8μs增至105μs，有的應(yīng)用不受影響，有的減慢16倍大多數(shù)應(yīng)用對網(wǎng)絡(luò)時延L不敏感大多數(shù)應(yīng)用對通信系統(tǒng)的塊帶寬1/G不敏感第39頁，共65頁，2023年，2月20日，星期四 1.WebService性能 2.性能因素分解 3.經(jīng)驗預(yù)測實例2：Web應(yīng)用性能評價第40頁，共65頁，2023年，2月20日，星期四Web服務(wù)器客戶端……客戶端客戶端400kb/s400kb/s400kb/s……SpecWeb99的結(jié)構(gòu)第41頁，共65頁，2023年，2月20日，星期四SpecWeb99在曙光2000-II上的評測結(jié)果第42頁，共65頁，2023年，2月20日，星期四分析步驟步驟一：功能分解步驟二：性能評測步驟三：性能分析第43頁，共65頁，2023年，2月20日，星期四步驟一：功能分解Web服務(wù)請求接受連接讀請求獲取頁面發(fā)送頁面關(guān)閉連接acceptopenreadwriteclose第44頁，共65頁，2023年，2月20日，星期四操作系統(tǒng)層次計算性能層次應(yīng)用程序?qū)哟蜭mbenchSpecIntSpecWeb99計算機系統(tǒng)性能評價第45頁，共65頁，2023年，2月20日，星期四步驟二：性能評測項目結(jié)果硬件配置CPU(MHz)網(wǎng)卡(Mb)內(nèi)存大小(MB)333100512OS結(jié)果內(nèi)存拷貝(MB/s)調(diào)用延遲(μs)803.9定點運算結(jié)果2.5第46頁，共65頁，2023年，2月20日，星期四SpecWeb99的經(jīng)驗公式單節(jié)點：Web=Min(C1N,C2Ms+C3FP)-ψ(F,Mc,Ms,Ds)Web：SpecWeb99中定義的結(jié)果N:網(wǎng)卡性能，Mb/s C1=2.5Ms:內(nèi)存拷貝，MB/s C2=1.3FP:定點運算性能， C3=15第47頁，共65頁，2023年，2月20日，星期四ψ(F,Mc,Ms,Ds)=0Mc>=FC4(F–Mc)(Ms/Ds)Mc<FF:文件集大小,MB Mc：內(nèi)存大小，MBMs:內(nèi)存拷貝速度，MB/s Ds:磁盤讀寫速度，MB/sC4=2SpecWeb99的經(jīng)驗公式第48頁，共65頁，2023年，2月20日，星期四步驟三：性能分析網(wǎng)卡：100Mb/400Kb=250拷貝：80MB/600KB=133調(diào)用延遲：3.9μs忽略

定點運算：

滿足需要

預(yù)測結(jié)果：130實際結(jié)果：139第49頁，共65頁，2023年，2月20日，星期四SpecWeb99的經(jīng)驗公式多節(jié)點Cluster結(jié)構(gòu)：Webpr為PowerRouter的Web值，Webcl為Cluster節(jié)點Web值第50頁，共65頁，2023年，2月20日，星期四 1.Benchmark設(shè)計 2.EmailService性能 3.理論模型實例3：Email應(yīng)用性能評價第51頁，共65頁，2023年，2月20日，星期四Email評測程序結(jié)構(gòu)客戶端客戶端…...Email服務(wù)器DaemonTCPTCPSMTP/POP3SMTP/POP3第52頁，共65頁，2023年，2月20日，星期四Mail評測程序詳細結(jié)構(gòu)圖客戶端主控線程統(tǒng)計負(fù)載產(chǎn)生負(fù)載產(chǎn)生客戶端主控線程統(tǒng)計負(fù)載產(chǎn)生負(fù)載產(chǎn)生主客戶端Daemon客戶端主控線程統(tǒng)計負(fù)載產(chǎn)生負(fù)載產(chǎn)生Mail服務(wù)器TCP/IPSMTP/POP3客戶端服務(wù)器第53頁，共65頁，2023年，2月20日，星期四EmailBenchmark狀態(tài)流轉(zhuǎn)圖等待創(chuàng)建同步預(yù)熱評測結(jié)束第54頁，共65頁，2023年，2月20日，星期四EmailBenchmark在曙光2000-II上的評測結(jié)果第55頁，共65頁，2023年，2月20日，星期四Email評測程序經(jīng)驗公式Email=C1Mc+C2(Dw+Dr)+C3FPEmail:DawningEmail2000定義的結(jié)果，Op/HrMc:內(nèi)存大小，MBDw:磁盤讀帶寬，MB/s Dr:磁盤寫帶寬，MB/sFP:定點運算性能C1=32(Op/Hr)/MB C2=700(Op/Hr)/(MB/s) C3=150(Op/Hr)第56頁，共65頁，2023年，2月20日，星期四

①物理模型

1.DC：目錄服務(wù)器2.SMTP：SMTP服務(wù)器3.Pass：中繼服務(wù)器4.mail：郵件服務(wù)器，用作處理郵件中心域DCSMTPPass3Pass1子域1Mail11Mail12Client1Clientn子域2Pass2Mail21Mail22Client1Clientn第57頁，共65頁，2023年，2月20日，星期四

②排隊論理論基礎(chǔ)

組成：1.輸入過程；2.排隊規(guī)則；3.服務(wù)機構(gòu)；到達者隊列服務(wù)機構(gòu)離開第58頁，共65頁，2023年，2月20日，星期四定義：1.輸入強度：λ指相繼顧客到達的時間間隔的強度2.服務(wù)強度：μ指在系統(tǒng)存在顧客時，相繼離開系統(tǒng)的2個顧客的時間間隔的強度求解：WS顧客在系統(tǒng)中的逗留平均時間λ，μ均服從負(fù)指數(shù)分布，排隊為無限長的單隊列，服務(wù)機構(gòu)為單服務(wù)臺WS=1μ-λ第59頁，共65頁，2023年，2月20日，星期四

③資源依賴

發(fā)信強度為：λ1收信強度為：λ2查詢強度為：λ3

λ2λ3λ1λ2λ3mail網(wǎng)卡網(wǎng)卡λ3λ3+λ2λ1+