系統(tǒng)圖性能評估難點詳解

1、 后續(xù) 一篇文章詳解性能評估難點 在上篇文章收藏 深入淺出存儲性能評估方法論中，我們介紹了性能評估相關(guān)概念和原理，但是在項目實戰(zhàn)中，要根據(jù)業(yè)務(wù)真實訴求給出切合實際的性能配置，還需要針對業(yè)務(wù)模型進行最佳實踐分析和洞察，從主機端口、存儲系統(tǒng)、后端磁盤等端到端進行分析和評估，在本文中把常見的性能評估過程中的難點依次羅列，希望對大家有所幫助。IO聚合成滿分條寫優(yōu)化寫懲罰 IO聚合成滿分條大小的情況下，無需做預(yù)讀操作，不會觸發(fā)RAID寫懲罰，RAID寫懲罰在不是滿分條寫的時候，才會觸發(fā)預(yù)讀的流程。以RAID5-5小寫為例，寫一個數(shù)據(jù)位，需要預(yù)讀兩次，寫校驗位一次。可以認(rèn)為是一個IO被放大成了四個IO。

2、而滿分條寫的時候，同時寫四個數(shù)據(jù)位，不需要預(yù)讀，只需要額外寫一次校驗位，可以認(rèn)為是四個IO被放大成了五個IO。對比非滿分條寫，效率大大提高。 存儲的IO合并能力對于數(shù)據(jù)庫業(yè)務(wù)是否各家都能做到IO合并呢？一般存儲針對不同類型的IO有不同的合并能力；數(shù)據(jù)庫業(yè)務(wù)主要是隨機IO，各廠商都做不到完全滿分條IO合并。存儲收到的IO是否能夠合并，主要取決于兩個方面。 1、主機側(cè)發(fā)下來的業(yè)務(wù)IO模型：IO是否順序，是否連續(xù)，與主機業(yè)務(wù)軟件本身、主機側(cè)塊設(shè)備、卷管理策略、HBA卡拆分策略等相關(guān)。主機下發(fā)的IO越順序、越連續(xù)，到達陣列后的合并效果越好。 2、存儲側(cè)對IO的合并能力：IO路徑上的Cache、存儲塊設(shè)

3、備、硬盤等模塊都會對IO進行排序與合并的操作，試圖盡可能將小IO合成大IO下盤。 對于順序小IO而言，基本上能夠?qū)崿F(xiàn)將IO都合并成滿分條后下盤。而對于IO隨機程度較高的數(shù)據(jù)庫業(yè)務(wù)，各廠商都無法確保所有IO都能夠合并，只能盡量通過排序和合并，將相鄰地址的小IO合成大IO，但合并程度由于算法實現(xiàn)和內(nèi)存大小等因素可能會有所差異。OLTP、OLAP、VDI和SPC-1業(yè)務(wù)模型 OLTP、OLAP、VDI和SPC-1是當(dāng)前性能評估中常見的三類業(yè)務(wù)場景。SPC-1是業(yè)界通用的隨機IOPS型的IO模型，在不清楚實際業(yè)務(wù)類型的條件下，常用此模型來進行性能評估。四種模型的簡單IO特征如下表所示。 下面將分別介紹

4、四種模型的業(yè)務(wù)特性與IO特征：一、OLTP業(yè)務(wù)模型和特征： 1、業(yè)務(wù)特征：每個事務(wù)的讀，寫，更改涉及的數(shù)據(jù)量非常小，同時有很多用戶連接到數(shù)據(jù)庫，使用數(shù)據(jù)庫，要求數(shù)據(jù)庫有很快的響應(yīng)時間，通常一個事務(wù)在幾秒內(nèi)完成，時延要求一般在10-20ms。 2、IO特征：針對DATA LUN，隨機小IO，IO大小主要為8KB（IO大小與數(shù)據(jù)庫的Block塊大小一致），讀寫比約為3:2，讀全隨機，寫有一定合并。 針對LOG LUN，多路順序小IO，大小不定，幾乎都是寫IO。二、OLAP業(yè)務(wù)模型和特征： 1、業(yè)務(wù)特征：一般很少有數(shù)據(jù)修改，除非在批量加載數(shù)據(jù)時；系統(tǒng)調(diào)用非常復(fù)雜的查詢語句，同時掃描非常多的行；一個查

5、詢將花費數(shù)小時，甚至數(shù)天；主要取決于查詢語句的復(fù)雜程度；查詢的輸出通常是一個統(tǒng)計值，由group by與order by得出；當(dāng)讀取操作進行時，發(fā)生的寫操作通常在臨時表空間內(nèi)；平常對在線日志寫入很少，除非在批量加載數(shù)據(jù)時；分析型業(yè)務(wù)，一般對時延沒有要求。 2、IO特征：針對DATA LUN，多路順序大IO（可以近似認(rèn)為是隨機大IO），IO大小與主機側(cè)設(shè)置的分條大小有關(guān)（如512KB），90%以上為讀業(yè)務(wù)，混合間斷讀寫。針對TMP LUN，隨機IO，讀寫混合（先寫后讀，計算時寫，讀臨時表時讀，大部分是寫，占整個業(yè)務(wù)中很少部分的IO），IO大小基本為200KB以上大IO。三、VDI業(yè)務(wù)模型和特征

6、1、業(yè)務(wù)特性：可以分為啟動風(fēng)暴、登錄風(fēng)暴和平穩(wěn)狀態(tài)幾個常見場景，在不同的狀態(tài)下，業(yè)務(wù)壓力相差很大。啟動風(fēng)暴，即大量虛擬機同時啟動時的突發(fā)狀態(tài)，是讀密集型操作，可以通過VSA（View Storage Accelerator可以降低70%的讀負(fù)載）、分批錯峰等操作規(guī)避。登錄風(fēng)暴，即大量用戶同時登錄到桌面，導(dǎo)致共享存儲產(chǎn)生大量爆發(fā)性負(fù)載的情況，是寫密集型的，很難通過技術(shù)方式避免。平穩(wěn)狀態(tài)，即所有用戶在同時使用桌面時，產(chǎn)生負(fù)載波動較小的狀態(tài)。不同的用戶類型，平穩(wěn)狀態(tài)的負(fù)載有所不同。時延要求一般在10ms左右。 2、IO特征：平穩(wěn)狀態(tài)下，讀寫比例約為2:8，多路順序小IO，主要是寫，存在一定的合并，I

7、O大小從512B到16KB都有；少量的讀IO，基本都是16KB，在負(fù)載穩(wěn)定之后，Cache命中率在80%以上（采用鏈接克隆技術(shù)的情況下，如果是完整克隆的情況，命中率有所下降）。四、SPC-1業(yè)務(wù)模型和特征 1、業(yè)務(wù)特性：SPC-1設(shè)計一個專門為測試存儲系統(tǒng)在典型業(yè)務(wù)應(yīng)用場合下的負(fù)載模型，這個負(fù)載模型連續(xù)不斷地對業(yè)務(wù)系統(tǒng)并發(fā)的做查詢和更新的工作，因此其主要由隨機I/O組成。這些隨機I/O的操作主要涉及數(shù)據(jù)庫型的OLTP應(yīng)用以及E-mail系統(tǒng)應(yīng)用，能夠很好地衡量存儲系統(tǒng)的IOPS指標(biāo)。 2、IO特征：它抽象的測試區(qū)域稱為ASU，包括ASU1臨時數(shù)據(jù)區(qū)域，ASU2用戶數(shù)據(jù)區(qū)域和ASU3日志區(qū)域。對

8、整體而言，讀寫比約為4:6，順序IO與隨機IO的比例約為3:7，IO大小主要為4KB，有較明顯的熱點訪問區(qū)域。SSD、SAS、NL-SAS的性能特點、優(yōu)勢對比你知道FC鏈路帶寬是如何計算的呢？ 今天就跟你一起詳細解析一下。FC協(xié)議是主機服務(wù)器與存儲系統(tǒng)連接傳輸?shù)某Ｓ脜f(xié)議之一。在評估存儲系統(tǒng)整體帶寬時，F(xiàn)C鏈路的帶寬是計算前端帶寬的最重要的因素之一。8G FC鏈路的理論帶寬計算方法如下： 8Gbps FC參考時鐘：8.5G Hz 8Gbps FC協(xié)議編碼：8b/10b編碼 協(xié)議幀的傳輸如上圖所示。8Gbps FC協(xié)議傳輸效率計算如下： ACK在FC協(xié)議中是class 1和class 2服務(wù)（面向

9、連接）使用的，class 3服務(wù)不使用ACK幀，因此可以獲得更高的傳輸效率。通常使用的是class 3服務(wù)，按照class 3服務(wù)計算實際傳輸效率為97.15%。 單向理論數(shù)據(jù)傳輸帶寬計算公式如下： 鏈路時鐘*鏈路編碼效率* FC協(xié)議層傳輸效率/8 /1024 /1024，即8Gbps FC單向理論數(shù)據(jù)傳輸帶寬=(8.5*1000*1000*1000) * (8/10) * 97.15%/8 /1024 /1024 = 787.5MB/s 由于傳輸命令請求也要開銷鏈路帶寬，幀與幀之間的傳輸還需要協(xié)議的原語開銷，故單向鏈路的數(shù)據(jù)帶寬無法超越理論值787.5MB/s。雙向帶寬理論上為單向鏈路的兩倍

10、，但是由于光模塊和上層模塊的處理調(diào)度開銷等因素，實際測試時達不到兩倍的理論值。當(dāng)前產(chǎn)品中常見的FC鏈路為8G FC和4G FC鏈路，它們的極限帶寬如下表所示： 例如，某客戶采購了一臺陣列，此款產(chǎn)品能夠提供的最大讀帶寬為3000MB，客戶規(guī)劃配置48塊600GB 15k SAS盤（推薦單盤讀帶寬為40MB），前端雙控各配置1張8G FC卡，分別連接了1根光纖到A、B控，估算當(dāng)前場景下能夠提供的最大讀帶寬。 硬盤提供的有效讀帶寬=單盤順序讀帶寬*硬盤數(shù)量= 40MB * 48 = 1920 MB。 前端鏈路提供的最大讀帶寬= 780MB * 2 = 1560 MB。 該場景能提供的最大讀帶寬= M

11、IN（產(chǎn)品能提供的最大讀帶寬，硬盤提供的有效寫帶寬，前端鏈路提供的最大讀帶寬）= MIN（3000MB，1920MB , 1560MB）= 1560 MB。帶寬計算中如何考慮校驗的影響 對于順序?qū)憳I(yè)務(wù)，IO經(jīng)過cache的IO合并后下發(fā)到RAID層，基本能夠確保都是滿分條寫。對于RAID5-5（4D+1P）這種配置來說，每4個數(shù)據(jù)IO（D）下盤同時會有一個校驗IO（P）需要下盤。校驗IO下盤所占的硬盤帶寬用于保障數(shù)據(jù)的可靠性，而對于用戶上層業(yè)務(wù)來說并沒有提供可用帶寬，因此需要扣除掉校驗位下盤所占的帶寬開銷。 對于順序讀業(yè)務(wù)，在滿分條的情況下，在每個分條內(nèi)部只需要讀數(shù)據(jù)位所在的磁盤，不需要讀校驗

12、位所在的磁盤。 例如，某一款產(chǎn)品，能夠提供的最大寫帶寬為3200MB，規(guī)劃配置96塊600GB 15k SAS盤（推薦單盤寫帶寬為30MB），部署RAID6-6（4D+2P），估算這款產(chǎn)品能夠提供的有效寫帶寬。 硬盤提供的有效寫帶寬=單盤順序?qū)憥?硬盤數(shù)量* (RAID數(shù)據(jù)盤數(shù)量/RAID總盤數(shù)）= 30MB * 96 *（4/6）= 1920 MB 產(chǎn)品能提供的有效寫帶寬= MIN（產(chǎn)品能提供的最大寫帶寬，硬盤提供的有效寫帶寬）= MIN（3200MB，1920MB）= 1920 MB什么是讀寫比和對性能影響 讀寫比（Read/Write）：指的是上層應(yīng)用下發(fā)的讀IO和寫IO的比例分布。此

13、數(shù)據(jù)是存儲規(guī)劃的重要參考依據(jù)。讀業(yè)務(wù)與寫業(yè)務(wù)消耗的存儲資源差異很大。下面是一些典型業(yè)務(wù)模型的常見讀寫比例 確切了解上層應(yīng)用的讀寫比例直接影響到對cache策略、RAID級別和LUN配置的選擇。寫業(yè)務(wù)比讀業(yè)務(wù)會消耗更多的存儲系統(tǒng)資源： 1、在回寫的場景下，寫IO下發(fā)到cache之后需要通過交換通道“鏡像”到對端控制器，IO路徑更長，并需要占用交換通道的帶寬； 2、為保證寫數(shù)據(jù)的可靠性和一致性，智能存儲通常會采用一些可靠性技術(shù)，例如writehole方案，需要將寫數(shù)據(jù)額外保存一份在cache或磁盤上； 3、對于不同的RAID級別而言，寫懲罰的存在會造成更大的時延和資源的開銷；此外，對于磁盤（包括S

14、SD盤）而言，寫速度低于讀速度。 而對于讀業(yè)務(wù)來說，通常消耗較少的系統(tǒng)資源。例如，讀業(yè)務(wù)不需要生成額外的數(shù)據(jù)來保證數(shù)據(jù)一致。此外，絕大部分存儲設(shè)備的讀速度都比寫速度要快。當(dāng)讀IO發(fā)現(xiàn)它所需讀取的數(shù)據(jù)已經(jīng)在Cache中（讀命中）時，可以直接返回而不需要再下盤讀取。在讀命中的情況下，通常意味著最短的響應(yīng)時延。 同樣數(shù)量的主機IO，如果讀寫比例不同，最終需要下盤的IO數(shù)量不同，意味著需要提供的磁盤能力不同。 例如，RAID6單次寫入需要分別對數(shù)據(jù)位和校驗位進行3次讀和3次寫，即寫懲罰是6。在RAID6的場景下，如果有1000個隨機的主機IO，讀寫比為2:8，則需要下盤的IO數(shù)量為1000*0.2 +

15、 1000*0.8*6 = 5000；而如果讀寫比例為8:2的話，則需要下盤的IO數(shù)量為1000*0.8 + 1000*0.2*6 = 2000。不同RAID級別對性能和容量影響 由于各RAID級別的寫懲罰不同，對于相同的業(yè)務(wù)類型、同樣數(shù)量的硬盤而言，選擇不同的RAID算法，能夠提供給主機的性能是不相等的。 針對各種典型場景的RAID10、RAID5和RAID6的性能對比，其中假設(shè)某存儲設(shè)備上所有硬盤能夠提供的性能為100%，按照各個應(yīng)用場景的讀寫比例，經(jīng)過寫懲罰系數(shù)的折算，得到配置成各個RAID級別后能提供給用戶的實際性能。 從數(shù)據(jù)中也可以看出，對于不同的業(yè)務(wù)類型、同樣數(shù)量的硬盤、相同的RA

16、ID算法，寫比例越大，性能越差。以SPC-1場景配置RAID6為例，假設(shè)用戶實際性能為x（0.4x + 0.6x * 6 = 100%），實際性能只是磁盤能提供的x = 25%。 由于RAID算法的實現(xiàn)原理不同（RAID10的鏡像、RAID5/6的校驗盤），對于同樣大小的裸容量來說，選擇不同的RAID算法，可提供給用戶的可用容量是不同的（不考慮熱備空間和系統(tǒng)預(yù)留的影響）。 從可靠性的層面來看，RAID6的可靠性最佳，RAID10次之，RAID5最差。RAID6和RAID10都支持同時壞2塊盤不丟數(shù)據(jù)，但是RAID10對壞的2塊盤是有條件要求的。如何區(qū)分順序IO和隨機IO IO的尋址方式是IO特

17、性的一個重要方面，分為順序、隨機或混合，這取決于上層應(yīng)用程序獲取數(shù)據(jù)的方式。例如，數(shù)據(jù)庫OLTP業(yè)務(wù)是典型的隨機讀寫，視頻監(jiān)控業(yè)務(wù)是典型的順序讀，SPC-1模型是混合讀寫。 在通常情況下，如果數(shù)據(jù)的讀寫是在連續(xù)的磁盤空間上，可以認(rèn)為是順序IO；如果應(yīng)用讀取的數(shù)據(jù)分布在不連續(xù)的磁盤空間，且無固定的順序，則視為隨機IO；如果一部分?jǐn)?shù)據(jù)是順序讀寫，一部分?jǐn)?shù)據(jù)是隨機讀寫，則視為混合類型IO。順序/隨機特性對性能的影響 在磁盤層面，順序IO的性能優(yōu)于隨機IO。這是由于傳統(tǒng)的機械磁盤讀寫數(shù)據(jù)需要盤片轉(zhuǎn)動和磁頭移動，使得隨機讀寫的盤片旋轉(zhuǎn)和磁頭尋道時間要遠大于順序讀寫。 在智能存儲系統(tǒng)層面，通常情況下，順序

18、IO的性能同樣大大優(yōu)于隨機IO，特別是對于小IO的IOPS性能而言： 1、小IO讀：通過順序流識別和預(yù)取算法，系統(tǒng)提前在磁盤上讀取大塊的連續(xù)數(shù)據(jù)存放在cache中，后續(xù)的大量順序小IO在cache中命中，無需下盤處理。而隨機小IO在cache中命中率極低，只能逐個下盤讀。 2、小IO寫：通過IO合并，系統(tǒng)將多個順序小IO合并成一個較大的IO下盤。如果在RAID5或RAID6場景，IO聚合成滿分條大小的情況下，無需做預(yù)讀操作，不會觸發(fā)RAID寫懲罰，效率很高。而隨機小IO無法合并，只能逐個下盤寫，且會觸發(fā)寫懲罰，導(dǎo)致性能更為低下。典型業(yè)務(wù)場景的順序/隨機特性，以下是一些典型業(yè)務(wù)場景的順序/隨機特

19、性。如何區(qū)分大IO和小IO 在做性能評估和討論IO模型時，經(jīng)常會遇到是大IO還是小IO的問題。我們通常把=32KB的IO認(rèn)為是大IO（典型的如256KB、1MB），處于16K和32K間的IO也認(rèn)為是小IO。例如，典型的OLTP數(shù)據(jù)業(yè)務(wù)是小IO，而數(shù)據(jù)倉庫業(yè)務(wù)是大IO。典型業(yè)務(wù)場景的IO大小，以下是一些典型業(yè)務(wù)場景的IO大小。IO大小對性能的影響 IO的大小取決于上層應(yīng)用程序本身。對性能而言，小IO一般用IOPS來衡量，大IO一般用帶寬來衡量。例如我們熟悉的SPC-1，主要衡量存儲系統(tǒng)在隨機小IO負(fù)荷下的IOPS，而SPC-2則主要衡量在各種高負(fù)荷連續(xù)讀寫應(yīng)用場合下存儲系統(tǒng)的帶寬。 就單個IO而

20、言，大IO從微觀角度相比小IO會需要更多的處理資源。對于隨機IO而言，隨著隨機IO塊大小的增加，IOPS會隨之降低。例如，當(dāng)隨機IO大小大于16KB時，機械硬盤的IOPS會呈線性下降。因此，我們通常SPC-1測試的IOPS值很高，但因為用戶業(yè)務(wù)模型不同，IO大小不同，性能值也是變化的。 不過對于智能存儲系統(tǒng)來說，會盡可能通過排序、合并、填充等方法對IO進行整合，將多個小IO組合成單個大IO。例如，典型的Web Server Log業(yè)務(wù)，一般是8KB大小的順序小IO，在分條大小設(shè)置為128KB的存儲設(shè)備上，最終會將16個8KB大小的小IO合并成一個128KB的大IO下發(fā)到硬盤上。在這種情況下，對比處理多個小IO，處理單個大IO的速度更快、開銷更小。 IO的大小，影響到磁盤選型，緩存、RAID類型、LUN的一些屬性和策略的調(diào)優(yōu)。例如，隨機小IO的場景，由于SSD盤具有快速