存儲性能的監(jiān)控分析及四種優(yōu)化手段

隨著云計算、大數(shù)據(jù)以及新興的區(qū)塊鏈等技術體系的迅猛發(fā)展，數(shù)據(jù)中心的擴容建設進入高峰期，針對金融行業(yè)互聯(lián)網(wǎng)金融、云化、容器化、分布式改造等數(shù)字化轉(zhuǎn)型在金融行業(yè)不斷發(fā)展，金融業(yè)務向移動、普惠、敏捷和創(chuàng)新方向發(fā)展，存儲作為關鍵基礎設施依然承擔著非常關鍵的作用，越來越多的存儲資源逐漸由傳統(tǒng)存儲轉(zhuǎn)化為云存儲。越來越多應用運行在我們的存儲服務器上，存儲性能直接影響應用性能，應用需要進行持續(xù)優(yōu)化，提高業(yè)務支撐能力，同時，存儲也需要進行持續(xù)優(yōu)化，提高對應用程序性能的支持能力，這對存儲管理人員在運維過程中，利用監(jiān)控數(shù)據(jù)進行存儲優(yōu)化的能力提出了更多要求。一、存儲性能監(jiān)控和分析進入云服務時代后，站在存儲的角度，集中式存儲和分布式存儲并存的云存儲池具備了更強的云化和服務化特性，提供云存儲的最終存儲的形態(tài)包括集中式存儲和分布式存儲兩種。無論是集中式還是分布式存儲，存儲的監(jiān)控通常關注存儲的硬件和集群指標監(jiān)控，硬件監(jiān)控關注存儲設備的物理構(gòu)件有沒有出現(xiàn)故障損壞，而性能指標監(jiān)控是存儲服務器服務能力的直觀體現(xiàn)，用戶可以通過性能指標了解系統(tǒng)的運行狀態(tài)，數(shù)據(jù)中心內(nèi)部的存儲使用量和讀寫速度。我們可以將存儲監(jiān)控分為存儲性能監(jiān)控、存儲系統(tǒng)監(jiān)控及存儲設備監(jiān)控。存儲性能監(jiān)控方面，塊存儲通常監(jiān)控塊的讀寫速率、IOPS、讀寫延遲、磁盤使用量等；文件存儲通常監(jiān)控文件系統(tǒng)inode、讀寫速度、目錄權限等。分布式存儲系列通過開放接口與上層云管平臺集成，上層云管平臺可以通過相關接口對存儲系統(tǒng)資源（比如存儲集群資源、存儲池、卷等）進行監(jiān)控管理。分布式存儲系統(tǒng)監(jiān)控方面，不同的存儲系統(tǒng)有不同的指標，包含集群基本信息監(jiān)控、性能監(jiān)控等。集群基本信息監(jiān)控主要查看包括集群管理服務、狀態(tài)、節(jié)點信息、節(jié)點進程信息等，集群性能監(jiān)控主要查看CPU利用率、內(nèi)存利用率、帶寬、IOPS、時延、磁盤利用率、存儲池利用率統(tǒng)計。存儲的硬件監(jiān)控通常通過存儲設備自檢能力可以體現(xiàn)，例如機頭、磁盤、端口等屬于易損件，我們可以通過存儲的自帶監(jiān)控界面以及告警燈發(fā)現(xiàn)問題。此外也需要關注環(huán)境和系統(tǒng)關鍵溫度點監(jiān)控，對環(huán)境溫度和系統(tǒng)內(nèi)的關鍵溫度點都進行了實時監(jiān)控，會根據(jù)各監(jiān)控點的信息，對風扇進行動態(tài)調(diào)速，保證系統(tǒng)及各組件工作在正常的溫度范圍內(nèi)。當由于環(huán)境溫度增高或者器件異常，風扇調(diào)速無法保證系統(tǒng)或者組件工作在正常范圍時，存儲系統(tǒng)持續(xù)高溫，容易導致部件損壞。獲取了存儲的監(jiān)控數(shù)據(jù)后，存儲管理員可以周期性的對健康監(jiān)控數(shù)據(jù)進行分析，對于監(jiān)控數(shù)據(jù)，我們要形成一定的運行基線，如果存儲設備監(jiān)控數(shù)據(jù)在基線基礎上持續(xù)攀升，或者達到存儲能支撐的最大值，則需要引起警惕。例如發(fā)現(xiàn)CPU性能持續(xù)升高或者高位運行，則需要考慮存儲機頭處理能力可能會影響IOPS吞吐能力面臨瓶頸，例如發(fā)現(xiàn)緩存命中率低，或者熱數(shù)據(jù)層長時間使用率非常高，則可能是緩存層的容量不夠用，如果端口持續(xù)告警，可能是存儲的端口帶寬不足等，則通常需要進行相應的機頭處理器升級、緩存容量擴容或者端口個數(shù)或者端口速率的升級擴容，以便化解風險。二、存儲性能優(yōu)化存儲性能優(yōu)化工作具有一定的策略性，科學的優(yōu)化策略才能指導制定更加合理的存儲性能優(yōu)化方案。存儲優(yōu)化可以分為規(guī)劃、交付、維護幾個階段的優(yōu)化進行闡述，每個階段可以考慮的方案有一定區(qū)別。如果是在規(guī)劃階段，需要分析業(yè)務系統(tǒng)的需求，根據(jù)需求確定交付的方案。需要提前使用性能規(guī)劃工具對業(yè)務場景做好性能評估工作，并根據(jù)評估結(jié)果匹配硬件配置，如當前配置不滿足則需要及時調(diào)整硬件配置。如業(yè)務對性能要求比較高，那么業(yè)務數(shù)據(jù)應該規(guī)劃使用SSD盤，對性能要求不高的業(yè)務可以規(guī)劃SAS盤；對于端口速率規(guī)劃，根據(jù)實際的業(yè)務帶寬情況評估，選擇合適的端口速率。如果是在交付階段，可以根據(jù)產(chǎn)品的最佳實踐完成從主機到存儲的標準化配置，比如系統(tǒng)業(yè)務網(wǎng)絡和管理網(wǎng)絡的隔離，交換網(wǎng)絡使用雙交換的標準冗余組網(wǎng)，防止單點故障導致業(yè)務中斷；如果是在業(yè)務上線前，需要完成針對性場景的性能測試和可靠性測試，確保端到端的業(yè)務性能能夠滿足業(yè)務需求，可靠性滿足冗余標準，在各種器件故障或者異常場景能夠正常切換業(yè)務且不影響上層業(yè)務；如果已經(jīng)進入維護階段，需要定期對系統(tǒng)做巡檢，及時識別系統(tǒng)風險并及時處理。持續(xù)監(jiān)控存儲性能，并與前期的性能測試報告和業(yè)務性能基線進行對比，提前發(fā)現(xiàn)性能風險，提前擴容或優(yōu)化硬件配置。存儲性能分析與優(yōu)化是一項長期、復雜而重要的工作，需要明晰存儲性能優(yōu)化目標，做好詳細性能分析，并制定階段性的優(yōu)化方案和驗證方案，以確保存儲性能優(yōu)化工作的持續(xù)開展。常見的性能優(yōu)化手段包括上層應用優(yōu)化、調(diào)整性能負載、數(shù)據(jù)緩存優(yōu)化、存儲擴容優(yōu)化等手段。2.1上層應用優(yōu)化上層應用優(yōu)化手段比較豐富，主要目標是減少上層應用帶給存儲的IO負載，比如數(shù)據(jù)傳輸前啟用重復數(shù)據(jù)刪除或數(shù)據(jù)壓縮；優(yōu)化IO并發(fā)，將大量的小IO聚合成大IO；數(shù)據(jù)庫的索引優(yōu)化、SQL語句優(yōu)化。2.2調(diào)整性能負載調(diào)整性能負載主要針對的存儲性能熱點問題，方案包括優(yōu)化磁盤分布方式，調(diào)整磁盤負載；調(diào)整存儲網(wǎng)絡端口負載；避免過多的流量集中在存儲的某幾個端口上，相對來說容易出現(xiàn)流量集中的是數(shù)據(jù)庫服務器使用的端口，在進行跑批、備份等操作時，容易出現(xiàn)帶寬爭用。調(diào)整存儲控端口負載，盡量均衡存儲端口的流量。2.3數(shù)據(jù)緩存優(yōu)化數(shù)據(jù)緩存是存儲系統(tǒng)中非常重要的性能模塊，一般緩存都采用內(nèi)存或閃存等速度更快的存儲介質(zhì)，遠遠快于一般的磁盤。很多存儲性能問題都因緩存而起，也經(jīng)緩存優(yōu)化而終結(jié)。數(shù)據(jù)緩存分為客戶端本地緩存和存儲緩存。比如客戶端本地緩存對于一些分布式文件系統(tǒng)非常重要，增加緩存大小，可以有效提高緩存命中率；存儲的緩存也極為重要，多層級的數(shù)據(jù)緩存技術可將熱點數(shù)據(jù)存放在更快的存儲介質(zhì)上，降低存儲延時。2.4存儲擴容優(yōu)化如果以上手段都已經(jīng)使用，但是存儲