存儲性能瓶頸的成因定位與排查

介紹

企業(yè)數(shù)據(jù)存儲性能瓶頸常常會發(fā)生在端口，控制器和磁盤，難點在于找出引起擁塞的單元，往往需要應(yīng)用多重工具以及豐富的經(jīng)驗來查找并解決。本文詳細(xì)闡述存儲瓶頸發(fā)生最常見的四種情況，可能發(fā)生的擁塞點，需要監(jiān)控的參數(shù)指標(biāo)，以及部署存儲系統(tǒng)的最佳實踐。

更多信息

數(shù)據(jù)存儲瓶頸的四個常見場景：

以下是儲瓶頸發(fā)生最常見的四種典型情況：

1.當(dāng)多個用戶同時訪問某一業(yè)務(wù)應(yīng)用，無論是郵件服務(wù)器，企業(yè)資源規(guī)劃（ERP）系統(tǒng)或數(shù)據(jù)庫，數(shù)據(jù)請求會累積在隊列中。單個I/O的響應(yīng)時間開始增長，短暫延時開始轉(zhuǎn)變成為漫長的等待。這類響應(yīng)時間敏感型應(yīng)用的特征是，很多隨機請求，讀取比寫入更多，I/O較小。最好的方法是：將負(fù)載分布在多塊磁盤上，否則可能造成性能瓶頸。如果應(yīng)用增加了更多用戶，或應(yīng)用IOPS請求增加，則可能需要在RAID組中添加更多磁盤，或數(shù)據(jù)可能需要跨越更多磁盤，在更多層級做條帶化。存儲在這樣的情況下往往首先被懷疑，但大多數(shù)情況下并非存儲引發(fā)，原因可能在于網(wǎng)絡(luò)、應(yīng)用或服務(wù)器。

2.帶寬敏感型應(yīng)用——如數(shù)據(jù)備份，視頻流或安全登錄，這類應(yīng)用當(dāng)多個用戶同時訪問大型文件或數(shù)據(jù)流時可能造成瓶頸。定位這一問題存儲管理員應(yīng)當(dāng)從備份服務(wù)器開始一路向下檢查至磁盤，原因可能存在于這一通路的任何地方。問題不一定發(fā)生在存儲，可能是由于備份應(yīng)用創(chuàng)建的方式或是磁帶系統(tǒng)的工作方式引起的。如果瓶頸定位于存儲，那么可能是由于服務(wù)I/O的磁盤數(shù)量不足，在控制器造成爭用，或是陣列前端口帶寬不足。性能調(diào)優(yōu)需要針對不同應(yīng)用程序負(fù)載來完成。針對大型文件和流數(shù)據(jù)的調(diào)優(yōu)并不適合于小型文件，反之亦然。這也就是為什么在大多數(shù)存儲系統(tǒng)中往往做一個平衡，需要用戶嘗試并找出系統(tǒng)的折中。用戶通常需要優(yōu)化吞吐量或IOPS，但并不需要對兩者同時優(yōu)化。

3.RAID組中的磁盤故障。特別是在RAID5中會造成性能的下降，因為系統(tǒng)需要重建校驗數(shù)據(jù)。相比數(shù)據(jù)讀寫操作，重建會對性能造成更大影響。即便壞盤是造成故障的根源，但控制器還是可能成為瓶頸，因為在重建過程中它需要不停地服務(wù)數(shù)據(jù)。當(dāng)重建完成時，性能才會恢復(fù)正常。

4.部署了一種新的應(yīng)用，而卷存在于處理繁忙郵件系統(tǒng)的同一磁盤。如果新的應(yīng)用變得繁忙，郵件系統(tǒng)性能將會遭受影響。額外的流量最終會將磁盤完全覆蓋。

存儲瓶頸常發(fā)區(qū)域:存儲區(qū)域網(wǎng)絡(luò)（Storage-areanetwork,SAN）/陣列前端口存儲部署于集中化SAN環(huán)境時，需考慮服務(wù)器和SAN之間的潛在網(wǎng)絡(luò)瓶頸。例如，運行多部虛擬機的整合服務(wù)器可能不具備支持工作負(fù)載要求的足夠網(wǎng)絡(luò)端口。添加網(wǎng)絡(luò)端口或轉(zhuǎn)移網(wǎng)絡(luò)密集型工作負(fù)載至其他服務(wù)器可解決這一問題。如前所述，對于帶寬集中型應(yīng)用，需考慮NFS有多少FiberChannel

端口,or

iSCSI

端口

or

Ethernet

端口，需要用戶站在帶寬的角度來考量整個架構(gòu)?？赡馨l(fā)生的問題包括：如果陣列中端口數(shù)量不夠，就會發(fā)生過飽和/過度使用。虛擬服務(wù)器環(huán)境下的過量預(yù)定端口間負(fù)載不均衡交換機間鏈路爭用/流量負(fù)荷過重如某一HBA端口負(fù)載過重將導(dǎo)致HBA擁塞。使用虛擬機會導(dǎo)致問題更加嚴(yán)重。

存儲控制器一個標(biāo)準(zhǔn)的主動——被動或主動——主動控制器都有一個性能極限。接近這條上限取決于用戶有多少塊磁盤，因為每塊磁盤的IOPS和吞吐量是固定的?？赡艹霈F(xiàn)的問題包括：控制器I/O過飽和，使得從緩存到陣列能夠處理的IOPS受到限制吞吐量“淹沒“處理器CPU過載/處理器功率不足性能無法跟上SSD

Cache

由于服務(wù)器內(nèi)存和CPU遠(yuǎn)比機械磁盤快得多，需為磁盤添加高速內(nèi)存以緩存讀寫數(shù)據(jù)。例如，寫入磁盤的數(shù)據(jù)存儲在緩存中直到磁盤能夠跟上，同時磁盤中的讀數(shù)據(jù)放入緩存中直到能被主機讀取。Cache比磁盤快1000倍，因此將數(shù)據(jù)寫入和讀出Cache對性能影響巨大。智能緩存算法能夠預(yù)測你需要查找的數(shù)據(jù)，你是否會對此數(shù)據(jù)頻繁訪問，甚至是將訪問頻繁的隨機數(shù)據(jù)放在緩存中?？赡馨l(fā)生的問題包括：Cachememory不足Cache寫入過載，引起性能降低頻繁訪問順序性數(shù)據(jù)引起cache超負(fù)荷Cache中需要持續(xù)不斷地寫入新數(shù)據(jù)，因此如果cache總是在refill，將無法從cache獲益。

磁盤

磁盤瓶頸與磁盤轉(zhuǎn)速有關(guān),

慢速磁盤會引入較多延時。存儲性能問題的排查首先考慮的因素就是磁盤速度，同時有多少塊磁盤可進(jìn)行并發(fā)讀寫。而另一因素是磁盤接口。采用更快的接口能夠緩解磁盤瓶頸，但更重要的是在快速接口與相應(yīng)更大的緩存大小以及轉(zhuǎn)速之間取得平衡。同樣，應(yīng)避免將快速和慢速磁盤混入同一接口，因為慢速磁盤將會造成快速接口與快速磁盤的性能浪費?？赡芤l(fā)的問題包括：過多應(yīng)用命中磁盤磁盤數(shù)量不足以滿足應(yīng)用所需的IOPS或吞吐量磁盤速度過慢無法滿足性能需求及支持繁重工作負(fù)荷Diskgroup往往是classic存儲架構(gòu)的潛在性能瓶頸，這種結(jié)構(gòu)下RAID最多配置在16塊磁盤。Thin結(jié)構(gòu)通常每個LUN擁有更多磁盤，從而數(shù)據(jù)分布于更多spindle，因增加的并發(fā)性而減少了成為瓶頸的可能。

需要監(jiān)控的指標(biāo)：曾經(jīng)一度存儲廠商們強調(diào)的是IOPS和吞吐量，但現(xiàn)在重點逐漸轉(zhuǎn)變成為響應(yīng)時間。也就是說，不是數(shù)據(jù)移動的速度有多快，而在于對請求的響應(yīng)速度有多快。正常情況下，15,000rpm

FibreChannel磁盤響應(yīng)時間為4ms，SAS磁盤響應(yīng)時間約為5ms至6ms，SATA為10ms，而SSD少于1ms。如果發(fā)現(xiàn)FibreChannel磁盤響應(yīng)時間為12ms，或SSD響應(yīng)時間變成5ms，那么就說明可能產(chǎn)生了爭用，可能芯片發(fā)生了故障。除了響應(yīng)時間，其他需要監(jiān)控的指標(biāo)包括：隊列長度，隊列中一次積累的請求數(shù)量，平均磁盤隊列長度；平均I/O大小千字節(jié)數(shù)；IOPS

（讀和寫，隨機和順序，整體平均IOPS）；每秒百萬字節(jié)吞吐量；讀寫所占比例；容量（空閑，使用和保留）。

數(shù)據(jù)存儲性能最佳實踐：

性能調(diào)優(yōu)和改進(jìn)的方式有很多種，用戶當(dāng)然可以通過添加磁盤，端口，多核處理器，內(nèi)存來改善，但問題是：性價比，以及對業(yè)務(wù)是否實用。本文建議的方式是在預(yù)算范圍內(nèi)找尋性能最大化的解決方案。另外一個需要考慮的方面是環(huán)境并非一塵不變，系統(tǒng)部署方案要能夠適應(yīng)環(huán)境的改變需求。首先需要考慮刷數(shù)據(jù)的性能特征，需要了解IO工作情況是怎樣的。是否是cache友好型？是否是CPU集中型？業(yè)務(wù)數(shù)據(jù)很大數(shù)量很少，還是很小但數(shù)量很多？另外一方面就是構(gòu)成存儲環(huán)境的組件。包括應(yīng)用，存儲系統(tǒng)本身，網(wǎng)絡(luò)。。。瓶頸可能在哪里，改善哪里最有效？以下是一些常規(guī)建議：不要僅僅根據(jù)空閑空間來分配存儲，而需要結(jié)合考慮性能需求，確保為吞吐量或IOPS分配足夠多的磁盤。在磁盤間均衡分布應(yīng)用負(fù)載，以減少熱點地區(qū)的產(chǎn)生。理解應(yīng)用負(fù)載類型，并針對負(fù)載選擇匹配的RAID類型。例如，寫密集型應(yīng)用建議使用RAID1而不是RAID5。因為當(dāng)寫入RAID5時，需要計算校驗位，需耗費較多時間。而RAID1，寫入兩塊磁盤速度快得多，無需計算。磁盤類型（FibreChannel,SAS,SATA）與期望性能相匹配。對于關(guān)鍵業(yè)務(wù)應(yīng)用部署高性能磁盤，例如15,000rpmFibreChannel。對于I/O密集型應(yīng)用考慮采用SSD，但并不適用于寫性能重要型應(yīng)用。只要沒有達(dá)到控制器瓶頸，SSD對讀性能提升顯著，但對寫性能提升并沒有明顯效果。采用端對端的監(jiān)控工具，特別是虛擬服務(wù)器環(huán)境。虛擬端與物理端之間