云平臺存儲項目實施配置方案

云平臺存儲項目實施配置方案

云平臺存儲項目實施過程中，做好規(guī)劃可以避免后續(xù)實施中出現(xiàn)的問題和困難，在實施規(guī)劃時要充分考慮哪些方面，該如何思考和設(shè)計？本議題將從性能、故障隔離、安全、擴展能力等多個方面加以闡述，希望給同行們一些借鑒。云平臺存儲項目實施過程中的配置關(guān)鍵問題（如性能、故障隔離、安全）如何解決？

社區(qū)專家主張張鵬某金融科技公司高級技術(shù)主管：本議題由我本人、某金融系統(tǒng)高級主管趙海、某股份制銀行運維工程師陳宇對關(guān)鍵點進行觀點主張，這些主張在民生銀行科技部數(shù)據(jù)庫架構(gòu)師孔再華、某金融科技公司資深集成工程師孫偉光、無錫農(nóng)商行科技管理部系統(tǒng)管理團隊長高曉峰等專家的復議之后，最終形成了一定的共識，希望可以為同行帶來參考。張鵬某金融科技公高級技術(shù)主管：云平臺基礎(chǔ)架構(gòu)在配置前對計算、存儲、網(wǎng)絡(luò)等資源需要進行統(tǒng)一規(guī)劃，云平臺存儲在配置前需要在穩(wěn)定可靠、擴展靈活、性能平衡、冗余保障、故障隔離、安全防護幾個方面達到一定的要求。云平臺基礎(chǔ)架構(gòu)層的存儲通常有哪些？從云平臺對外提供的云服務(wù)劃分，可以大概歸納為塊存儲、文件存儲、對象存儲。塊存儲主要面向云主機提供云硬盤的服務(wù)，通常通過集中式SAN存儲或者分布式存儲部署。文件存儲主要面向基于IP網(wǎng)絡(luò)的文件類型數(shù)據(jù)的存儲，通常通過傳統(tǒng)NAS存儲或者NAS網(wǎng)關(guān)結(jié)合分布式存儲的方式部署。對象存儲主要面向基于HTTP/HTTPS協(xié)議的Web服務(wù)接口，用于數(shù)據(jù)湖、網(wǎng)站、移動應(yīng)用程序、備份和恢復、歸檔、企業(yè)應(yīng)用程序、IoT設(shè)備和大數(shù)據(jù)分析等應(yīng)用場景的存儲服務(wù)，通常由對象存儲控制單元和分布式數(shù)據(jù)存儲單元組合部署。云平臺基礎(chǔ)架構(gòu)在配置前，計算、存儲、網(wǎng)絡(luò)等資源需要統(tǒng)一規(guī)劃。傳統(tǒng)IT系統(tǒng)配置中，各資源耦合性相對低，界面分層比較明顯。云平臺環(huán)境中，各個資源高度耦合，存儲和計算可分為存算一體和存算分離兩種分布式架構(gòu)，配置規(guī)劃時要分別考慮。存儲和網(wǎng)絡(luò)的聯(lián)系更加緊密，集中式SAN存儲配置時要考慮光纖通道網(wǎng)絡(luò)、存儲、計算的互聯(lián)以及云平臺納管，分布式存儲配置時要考慮業(yè)務(wù)網(wǎng)絡(luò)、存儲網(wǎng)絡(luò)、管理網(wǎng)絡(luò)和有災備要求情況下數(shù)據(jù)復制網(wǎng)絡(luò)的規(guī)劃。云平臺的存儲配置時需要在穩(wěn)定可靠、擴展靈活、性能平衡、冗余保障、故障隔離、安全防護等幾個方面達到一定要求。穩(wěn)定可靠基礎(chǔ)架構(gòu)的穩(wěn)定性對于一個云平臺是至關(guān)重要的。包括存儲、網(wǎng)絡(luò)、計算節(jié)點自身的軟硬件穩(wěn)定性，和它們之間通信的穩(wěn)定性。在云平臺運維管理側(cè)，還要考慮監(jiān)控、日志、告警、流程、自動化等功能的部署，增加平臺的故障自愈，故障溯源的能力。擴展靈活擴展包含兩個方面：橫向擴展和縱向擴展。集群橫向擴展主要包括計算節(jié)點、存儲、網(wǎng)絡(luò)資源“節(jié)點級別”的擴展，例如新存儲節(jié)點設(shè)備新加入集群后，其上的所有業(yè)務(wù)均能在新節(jié)點正常運行，同時新節(jié)點的加入對普通用戶來說是透明的，即用戶不會感知到集群的橫向擴展。云平臺的分布式存儲的橫向擴展能力比較強，部署也比較靈活，需要在網(wǎng)絡(luò)規(guī)劃方面充分預留網(wǎng)絡(luò)資源?？v向擴展即是在整機中加入新的CPU、內(nèi)存、硬盤、網(wǎng)卡等組件以提高單機性能。云平臺中的集中式存儲通常容量的擴展屬于縱向擴展方式。分布式架構(gòu)下的存儲擴展配置和集中式架構(gòu)的存儲擴展配置完成后，關(guān)注點不同，例如分布式存儲關(guān)注節(jié)點級的重平衡，集中式存儲關(guān)注磁盤級的重平衡。性能平衡云平臺可以提供性能型、容量型等不同規(guī)格的存儲服務(wù)。在配置云平臺基礎(chǔ)架構(gòu)層的時候，要根據(jù)不同的應(yīng)用場景，通過不同的存儲來實現(xiàn)。對于性能要求比較高的應(yīng)用場景，例如交易型應(yīng)用，在分布式存儲的磁盤配置中考慮SASSSD或者NVMeSSD磁盤。對于容量要求比較高的應(yīng)用場景，例如備份歸檔應(yīng)用，在分布式存儲中可以考慮大容量的SATA磁盤。對于一些安全性、性能性、業(yè)務(wù)連續(xù)性要求更高的應(yīng)用，例如數(shù)據(jù)庫應(yīng)用，可以考慮裸金屬服務(wù)器，和SAN光纖通道存儲配置SASSSD或者NVMeSSD磁盤，并結(jié)合SAN存儲的復制和快照特性進行災備配置。冗余保障對于云平臺而言，冗余性有兩方面需要考慮，一方面是能力冗余，即盡量保持不同資源上容量和性能的平衡，最大程度地減少潛在風險，所以通常在部署時要預估一定的余量。另一方面是故障冗余，和傳統(tǒng)架構(gòu)中高可用性有區(qū)別，傳統(tǒng)架構(gòu)中，各個部件、各個連接通道通常采用雙冗余的高可用架構(gòu)，存儲自身是高可用架構(gòu)設(shè)計的，存儲和服務(wù)器之間也是通過冗余的鏈路進行連接，目的是盡可能消除單點故障的隱患。在云平臺的分布式存儲部署時，存儲集群中采用節(jié)點冗余的部署架構(gòu)，單一的存儲節(jié)點故障不會影響整個集群的正常運行，單一的存儲節(jié)點的部件和連接通道配置時非冗余部署的方式居多。故障隔離SAN存儲通過Zoning和LUNMasking技術(shù)實現(xiàn)的是資源的隔離和訪問控制，能在一定程度上做到故障隔離，但是不全面，因為LUN是在存儲池或者RAID組上抽象出來的，存儲池和RAID組的故障，會影響到上層抽象的所有LUN；同時某個租戶對LUN的高性能訪問，產(chǎn)生熱點數(shù)據(jù)可能會影響整個存儲的性能。分布式存儲的軟件在設(shè)計時考慮了均勻分布，性能平衡，隔離故障，節(jié)點異構(gòu)等方面，盡可能在資源隔離和故障隔離方面做了考慮，需要在實施配置時，盡可能的在存儲節(jié)點硬件的配置和性能達到統(tǒng)一，數(shù)據(jù)分布的均衡方面特別注意，盡量減少故障發(fā)生或局部熱點數(shù)據(jù)對整個存儲集群產(chǎn)生影響。安全防護云平臺存儲的安全風險，一是由于身份認證和訪問控制的問題有可能造成數(shù)據(jù)被假冒或竊?。欢怯捎跀?shù)據(jù)在云端存儲和傳輸過程中的保密問題有可能導致數(shù)據(jù)被篡改或隱私泄露；三是由于云平臺存儲缺乏傳統(tǒng)網(wǎng)絡(luò)的物理隔離和防護邊界的問題（云平臺存儲利用虛擬化技術(shù)的結(jié)果）有可能造成數(shù)據(jù)被越界訪問；四是由于云平臺存儲之上的應(yīng)用導致的數(shù)據(jù)非法訪問和破壞等（例如在SaaS提供的接口上進行二次軟件開發(fā)，存在多用戶對同一應(yīng)用進行開發(fā)，有可能存在代碼監(jiān)管缺失的安全隱患）。如何減少風險，在配置時需要采用一些措施。加密是云平臺存儲系統(tǒng)中實施數(shù)據(jù)保護的最常用也是最重要的方法，租戶可以在對數(shù)據(jù)進行加密后，直接把密文傳輸?shù)皆贫诉M行存儲，租戶保管密鑰，且只有自身才能進行解密。針對關(guān)鍵數(shù)據(jù)的加密傳輸和加密存儲技術(shù)，是配置時需要重點考慮的。加固技術(shù)是云安全存儲的一項重要技術(shù)，主要保障云平臺操作系統(tǒng)安全，首先要確保存儲底座操作系統(tǒng)的安全性，盡可能減少不必要的軟件漏洞。通過主動防御功能，應(yīng)能抵抗內(nèi)外網(wǎng)絡(luò)對操作系統(tǒng)的拒絕服務(wù)攻擊以及阻止內(nèi)部網(wǎng)絡(luò)對外網(wǎng)的攻擊。通過存儲分離，確保虛擬機或容器只能訪問已分配給自身的存儲空間。

趙海某金融系統(tǒng)高級主管：云平臺存儲項目建設(shè)過程中，針對不同的存儲類型有不同的優(yōu)化方法。企業(yè)存儲性能優(yōu)化時主要考慮規(guī)劃時的優(yōu)化配置、存儲引擎硬件配置、存儲引擎端口資源、存儲軟件參數(shù)策略等方面；分布式存儲性能優(yōu)化時主要考慮業(yè)務(wù)區(qū)分、數(shù)據(jù)管理、容錯設(shè)計、網(wǎng)絡(luò)通訊、數(shù)據(jù)分布、配置參數(shù)、硬件配置幾個方面?？v觀存儲的發(fā)展，從最原始的DAS架構(gòu)發(fā)展到NAS和SAN并存的架構(gòu)，從NAS&SAN并存的架構(gòu)發(fā)展到基于互聯(lián)網(wǎng)基因和云計算基因的云平臺存儲架構(gòu)，其架構(gòu)變得越來越復雜。這必然帶來性能上的損耗，這與我們大部分數(shù)據(jù)業(yè)務(wù)場景追求性能的目標是相悖的，那么如何解決這個矛盾呢？一、企業(yè)存儲優(yōu)化思路總結(jié)企業(yè)存儲主要包括集中式架構(gòu)的SAN存儲和NAS存儲。企業(yè)經(jīng)歷集中式存儲的時間相對而言比較長，那么在面臨性能優(yōu)化的問題也有一套相對比較完善的思路，總結(jié)來看主要從以下幾個方面實現(xiàn)：1.規(guī)劃時的優(yōu)化配置大部分的性能優(yōu)化問題都歸根于規(guī)劃設(shè)計不夠精細準確，所以解決性能的非常關(guān)鍵的因素就在于規(guī)劃，存儲卷的數(shù)量、分布、分區(qū)（Zone）映射等相關(guān)配置。如果DBA對數(shù)據(jù)庫數(shù)據(jù)文件使用的存儲卷規(guī)劃不夠均衡準確，必然造成某些卷的高熱點IO訪問，如果這個卷所依附的分區(qū)映射又不是非常合理均衡，那么這個問題就會無限放大。因此傳統(tǒng)存儲實踐前的規(guī)劃，需要架構(gòu)師在上層應(yīng)用的存儲使用容量、數(shù)目、負載等各方面進行梳理和分析，本著均衡分布的原則將卷的使用映射到存儲資源上，這樣才能最大限度減少后續(xù)性能優(yōu)化問題。2.存儲引擎硬件配置主要通過觀察存儲運行過程當中關(guān)鍵指標（CPU、Cache）的峰值以及平均值的情況，來衡量當前控制器內(nèi)的硬件配置是否已經(jīng)成為系統(tǒng)性能的瓶頸，通常傳統(tǒng)集中式存儲支持單獨升級CPU、Cache硬件的場景較少，一般都是通過增加Cache卡或者控制器擴展的方式來解決。當然，在具體分析的時候需要根據(jù)其他指標的評估來判斷是否因為其他特殊狀況引起的資源占用問題，這種情況并非需要增加硬件資源。3.存儲引擎端口資源主要通過觀察存儲運行過程當每一個前端端口和后端端口的使用情況（使用率、均衡性、吞吐量）等相關(guān)指標在一定周期內(nèi)的平均數(shù)值，來評估板卡端口容量以及配置是否有性能問題。如果端口數(shù)量容量沒有問題，只是出現(xiàn)了負載不均衡的狀況，那么就需要手動調(diào)整Zone映射的配置來調(diào)整其平衡性。4.存儲軟件參數(shù)策略所謂與性能問題息息相關(guān)的存儲軟件策略，主要是指存儲產(chǎn)品開放出來的一系列軟件參數(shù)以及分層策略。通常是通過觀察存儲運行過程當中的系列關(guān)鍵指標（IOPS、Latency、Throughout等），來判斷軟件層面的隊列參數(shù)、存儲單元參數(shù)、讀寫控制參數(shù)、緩存控制參數(shù)等來實現(xiàn)一部分優(yōu)化。如果是針對個別存儲卷的問題，可能需要將數(shù)據(jù)反饋到系統(tǒng)管理員和DBA層面進行操作系統(tǒng)及數(shù)據(jù)層面的優(yōu)化。所謂分層策略是指存儲資源池當中有SSD、SAS、SATA等多種磁盤的資源池的自動平衡策略，一般通過觀察預留資源池容量大小、分層時間窗口策略、分層容量閾值策略、SSD磁盤數(shù)量增加等手段實現(xiàn)分層的優(yōu)化。二、分布式存儲性能優(yōu)化思路對于分布式存儲來講，它的架構(gòu)復雜度要高于傳統(tǒng)的集中式存儲，從前期的架構(gòu)配置規(guī)劃到后期的運維監(jiān)控優(yōu)化都要比傳統(tǒng)的集中式存儲付出更多的精力和工作。首先，我們從整個的讀寫流程來看。圖1：兩種存儲讀寫流程圖如圖1所示，上半部分是傳統(tǒng)SAN存儲的落盤路徑，下半部分是分布式存儲的落盤路徑，相對于SAN存儲的落盤路徑，分布式存儲的這個鏈路就復雜了。應(yīng)用發(fā)出的IO請求會經(jīng)過以太網(wǎng)絡(luò)到達云平臺存儲的路由節(jié)點、接口服務(wù)層；接口服務(wù)層又會將應(yīng)用特定的服務(wù)接口數(shù)據(jù)格式，轉(zhuǎn)換為底層分布式存儲平臺接受的文件或者對象格式；在具體寫入的時候又會訪問元數(shù)據(jù)，通過元數(shù)據(jù)的映射表再找到數(shù)據(jù)節(jié)點數(shù)據(jù)空間，然后完成冗余性復制，才能完成一個真正的IO。也就是說在存儲數(shù)據(jù)服務(wù)接口到底層分布式存儲平臺這個環(huán)節(jié)會有延時（Latency），從分布式存儲平臺接受請求、到數(shù)據(jù)落盤、到數(shù)據(jù)節(jié)點并完成冗余復制這個過程也會有延時。因此分布式存儲的性能問題相對更復雜，更需要有系統(tǒng)的思路去執(zhí)行。1.業(yè)務(wù)區(qū)分存儲資源是為數(shù)據(jù)業(yè)務(wù)服務(wù)的，數(shù)據(jù)業(yè)務(wù)表現(xiàn)在IOPS、吞吐帶寬、容量方面的需求和寬容度是不一樣的。因此我們在針對不同數(shù)據(jù)業(yè)務(wù)場景進行分布式存儲項目實踐的時候，從軟件層面到硬件層面的配置都應(yīng)該有針對性的標準。例如我們可以按照以下的標準（表1）進行業(yè)務(wù)的區(qū)分：表1：存儲指標與業(yè)務(wù)場景映射表經(jīng)過對業(yè)務(wù)場景的精細化梳理分析之后，可以將存儲空間的分配對應(yīng)到按照不同的業(yè)務(wù)需求劃分設(shè)計的存儲資源池當中，然后再根據(jù)資源池的技術(shù)指標（IOPS、Throughout、Capacity）去規(guī)劃資源池對應(yīng)的軟硬件配置。2.數(shù)據(jù)管理通常的分布式存儲系統(tǒng)，會把數(shù)據(jù)分散在大量的存儲服務(wù)器上，而存儲服務(wù)器本身都會安裝Linux操作系統(tǒng)，并且有自己的本地文件系統(tǒng)。例如HDFS、Luster、Ceph等分布式存儲系統(tǒng)的存儲節(jié)點都會使用POSIX接口的本地文件系統(tǒng)EXT、BTRFS、XFS等來存儲數(shù)據(jù)。本地文件系統(tǒng)不能很好地適配對象存儲需求的擴展性要求：1）數(shù)據(jù)和元數(shù)據(jù)分離不徹底，目錄樹結(jié)構(gòu)的元數(shù)據(jù)管理方式等導致大規(guī)模的對象數(shù)據(jù)尋址非常慢。2）為了支持事務(wù)特性的日志重復寫問題，也就是分布式文件系統(tǒng)日志和本地文件系統(tǒng)日志重復寫的問題。3）本地文件系統(tǒng)日志的事務(wù)性寫導致了寫的放大。那么在存儲節(jié)點本地文件系統(tǒng)的選型設(shè)計上，如果我們能選擇優(yōu)化的而非默認的配置，那么就會解決掉存儲節(jié)點本身帶來的IO深度和復雜度延時的問題，從而提高整個分布式存儲的讀寫性能。當然，這個是需要在每一種分布式存儲數(shù)據(jù)節(jié)點支持的文件系統(tǒng)或者文件管理方式范圍內(nèi)去平衡和決策。3.容錯設(shè)計存儲介質(zhì)故障發(fā)生的頻率無論是在傳統(tǒng)存儲當中還是在分布式存儲系統(tǒng)當中都非常高。而解決這個問題的方式基本上有兩種：多副本和糾刪碼。多副本采用的是多份數(shù)據(jù)鏡像的方式來保護，數(shù)據(jù)糾刪碼采用的是校驗計算的方式來保護數(shù)據(jù)。前者使用空間成本換容錯，后者使用計算成本換容錯。通常傳統(tǒng)集中式存儲采用的是后者，而分布式存儲采用的是前者。但是很多分布式存儲也支持糾刪碼。因此在容錯設(shè)計的時候需要考慮數(shù)據(jù)業(yè)務(wù)場景對IOPS、Throughout、Capacity的需求，然后設(shè)計合乎性能和成本要求的容錯策略，同時在副本策略當中也要選擇合適的副本數(shù)目、分布策略。4.網(wǎng)絡(luò)通訊分布式存儲系統(tǒng)中，節(jié)點間需要通過網(wǎng)絡(luò)通信來交換節(jié)點及集群狀態(tài)信息和具體的數(shù)據(jù)文件，整體的數(shù)據(jù)通訊量級是非常大的。因此，在網(wǎng)絡(luò)通訊的配置方面也需要關(guān)注幾個重點問題。1）通訊網(wǎng)絡(luò)隔離：通常我們需要將管理網(wǎng)絡(luò)、數(shù)據(jù)網(wǎng)絡(luò)、服務(wù)網(wǎng)絡(luò)進行隔離。管理網(wǎng)絡(luò)通常用來傳遞控制信息，數(shù)據(jù)量小但是比較重要；數(shù)據(jù)網(wǎng)絡(luò)通常是存儲節(jié)點之間進行交互的網(wǎng)絡(luò)，其通訊量大而且重要；服務(wù)網(wǎng)絡(luò)通常是向上層提供存儲服務(wù)的網(wǎng)絡(luò)，是數(shù)據(jù)服務(wù)業(yè)務(wù)通道。這幾個網(wǎng)絡(luò)不僅僅要隔離，而且還要根據(jù)數(shù)據(jù)業(yè)務(wù)評估設(shè)計合適帶寬。2）通訊模式的選擇：以Ceph為例，三種類型的通信模式分別是Simple、Async、XIO。Simple線程模式對每個網(wǎng)絡(luò)連接都創(chuàng)建了兩個線程分別用于接收和發(fā)送。隨著集群規(guī)模的增長，創(chuàng)建的連接數(shù)和線程數(shù)會呈指數(shù)級增長，而且需要消耗更多的CPU和內(nèi)存資源。所以應(yīng)對不同規(guī)模或者未來擴展規(guī)模的分布式存儲集群，要選擇合適的通信模式。3）網(wǎng)絡(luò)類型的選擇：關(guān)于網(wǎng)絡(luò)類型的選擇要考慮到未來擴展性需求以及網(wǎng)絡(luò)通訊質(zhì)量的需求。比如VXLAN和VLAN的選擇要考慮到VLAN諸多的數(shù)量和功能限制。比如高速網(wǎng)絡(luò)的選擇要考慮到網(wǎng)絡(luò)通訊質(zhì)量的需求。5.數(shù)據(jù)分布數(shù)據(jù)分布主要是針對無中心架構(gòu)的分布式存儲而言，這類系統(tǒng)主要是通過哈希算法來實現(xiàn)數(shù)據(jù)分布和檢索。雖然系統(tǒng)本身的分布算法已經(jīng)確定，但是數(shù)據(jù)分布算法所需要的計算因子是需要我們在實踐配置的時候輸入的。比如說Ceph的數(shù)據(jù)桶的組織結(jié)構(gòu)類型有四種：Uniform、List、Tree、Straw。每一種類型針對數(shù)據(jù)檢索、節(jié)點變化導致的數(shù)據(jù)變化等方面都有不同的表現(xiàn)（如表2）：表2：數(shù)據(jù)桶結(jié)構(gòu)性能對比通常來講，Straw在各個維度都比較均衡的類型，也更適合大規(guī)模的分布式存儲系統(tǒng)，因此通常都會采用Straw來作為Bucket的數(shù)據(jù)結(jié)構(gòu)類型來使用。但是如果存儲節(jié)點在容量、計算能力、網(wǎng)絡(luò)硬件上面配置有特殊的地方，那么就要根據(jù)具體策略適用的場景來評估了，不一定Straw就是最優(yōu)的選擇。分布式存儲系統(tǒng)當中在哈希計算的時候之所以能保持集群的相對穩(wěn)定性，就是因為虛擬對象（如Ceph的PG、Pool，如Swift的Container）設(shè)計，同樣這些虛擬對象數(shù)量、管理方式、映射關(guān)系等方面的配置也是決定數(shù)據(jù)分布式算法計算因子是否優(yōu)秀的重要方面，同樣需要精細化設(shè)計。6.配置參數(shù)分布式存儲系統(tǒng)的配置參數(shù)調(diào)優(yōu)所涉及的對象比較多，從物理對象上來看有客戶端、管理節(jié)點、數(shù)據(jù)節(jié)點，這三類節(jié)點都會有相應(yīng)的軟件配置及對應(yīng)的進程服務(wù)，每個層面都會有相應(yīng)的參數(shù)可以調(diào)整優(yōu)化分布式存儲的各方面性能表現(xiàn)。另外從組成分布式存儲的外圍對象上來看，數(shù)據(jù)節(jié)點上的操作系統(tǒng)參數(shù)（內(nèi)核控制參數(shù)）也是重要的配置對象。每一種分布式存儲都會有數(shù)百甚至數(shù)千的參數(shù)開放出來，提供給使用者針對具體場景進行系統(tǒng)調(diào)優(yōu)。以Ceph為例：1）操作系統(tǒng)層：磁盤預讀緩存、系統(tǒng)進程數(shù)量、CPU模式、網(wǎng)絡(luò)參數(shù)...2）Ceph集群層：FileStore、Jornal、OSD、MON...針對不同分布式存儲，需要根據(jù)其指導手冊查詢具體的參數(shù)及相應(yīng)的取值類型和范圍。7.硬件配置對于分布式存儲系統(tǒng)硬件配置的優(yōu)化，其實最主要的就三個方面：1）管理節(jié)點計算能力（CPU、內(nèi)存、磁盤）的提高，主要用來完成對數(shù)據(jù)尋址過程的快速響應(yīng)。2）數(shù)據(jù)節(jié)點SSD的使用，主要用來減少數(shù)據(jù)在存儲節(jié)點上落盤時間的延時消耗上以及日志寫的性能優(yōu)化上。3）高速硬件網(wǎng)絡(luò)技術(shù)的使用，主要用來減少副本復制及數(shù)據(jù)傳輸方面的性能消耗。三、結(jié)語總而言之，性能問題是貫穿于存儲實踐整個過程的關(guān)鍵問題，傳統(tǒng)存儲架構(gòu)無法避免，分布式存儲架構(gòu)也無法避免。企業(yè)實現(xiàn)私有云之后，云上的存儲資源會是多元化的架構(gòu)模式，基于上述提綱，在實踐的過程當中實現(xiàn)更精細化的梳理、更準確客觀的分析、更實事求是的態(tài)度，才能解決好云平臺上存儲架構(gòu)性能與擴展性的平衡問題。

陳宇某股份制銀行運維工程師：大型云平臺會承載各式各樣不同類型的業(yè)務(wù)應(yīng)用，因此大型云平臺存儲項目實施過程中需要面對復雜的業(yè)務(wù)需求，更加需要考慮性能、故障隔離、安全性等關(guān)鍵問題。性能問題關(guān)鍵在于存儲系統(tǒng)自身性能應(yīng)超過應(yīng)用對存儲性能的需求，避免存儲處于繁忙狀態(tài)。故障隔離問題關(guān)鍵在于數(shù)據(jù)副本數(shù)量與副本存放位置。而安全加固問題等關(guān)鍵在于網(wǎng)絡(luò)隔離。云平臺存儲項目在完成數(shù)據(jù)特點梳理、架構(gòu)設(shè)計、數(shù)據(jù)部署、數(shù)據(jù)分布策略、邏輯對象劃分等前期規(guī)劃之后，實施過程中常會遇到幾個配置關(guān)鍵問題，例如性能、故障隔離、安全性等。本文對這幾個配置關(guān)鍵問題進行一些探討。為什么云平臺存儲項目實施過程中需要考慮性能、故障隔離、安全等配置關(guān)鍵問題？從物理設(shè)備規(guī)模來說，大型云平臺項目會達到上千臺服務(wù)器的規(guī)模，并接入各種類型的存儲，例如SAN存儲、NAS存儲、分布式存儲等。從應(yīng)用服務(wù)器層面來說，大型云平臺上會運行成千上萬的Web服務(wù)器、Java及其他語言應(yīng)用服務(wù)器、數(shù)據(jù)庫服務(wù)器、大數(shù)據(jù)服務(wù)器。從業(yè)務(wù)系統(tǒng)層面來說，大型云平臺會承載各式各樣不同類型的業(yè)務(wù)應(yīng)用。因此大型云平臺存儲項目實施過程中需要面對復雜的業(yè)務(wù)需求，更加需要考慮性能、故障隔離、安全性等關(guān)鍵問題。試想一下，如果不考慮性能問題，則有可能出現(xiàn)云平臺將多個IO密集型服務(wù)器部署到同一臺慢速存儲上的情況，造成存儲系統(tǒng)忙閑不一，進而導致部署在繁忙存儲上的業(yè)務(wù)系統(tǒng)響應(yīng)緩慢，對業(yè)務(wù)造成影響；如果不考慮云平臺存儲故障隔離問題，則有可能出現(xiàn)一臺存儲設(shè)備故障引發(fā)大面積業(yè)務(wù)中斷；如果不考慮安全性問題，則有可能出現(xiàn)云平臺上不同業(yè)務(wù)應(yīng)用能夠互相訪問數(shù)據(jù)的情況，造成敏感數(shù)據(jù)泄露。首先談?wù)劚苊庠破脚_存儲項目出現(xiàn)性能問題。總體來說，云平臺存儲性能需求與云平臺本身的業(yè)務(wù)量息息相關(guān)。如果云平臺承載的是大型企業(yè)的整套IT系統(tǒng)，服務(wù)全國用戶，那么云平臺對存儲的性能需求就比較大，需要在存儲系統(tǒng)硬件層面投入較多的資源，需要綜合部署SAN存儲、NAS存儲、分布式存儲等各類存儲來分散不同業(yè)務(wù)應(yīng)用的壓力。反之，如果云平臺承載的是初創(chuàng)企業(yè)業(yè)務(wù)，業(yè)務(wù)量較小或者僅面向本地用戶，那么存儲系統(tǒng)性能需求可能就不那么大，部署幾臺中端存儲可能就能滿足云平臺總體的存儲性能需要。避免云平臺存儲系統(tǒng)出現(xiàn)性能問題，關(guān)鍵在于存儲系統(tǒng)自身性能應(yīng)超過應(yīng)用對存儲性能的需求，避免存儲始終處于繁忙狀態(tài)。存儲系統(tǒng)的性能指標主要包括IOPS以及吞吐率兩種。IOPS指標主要適用于小塊IO，例如交易型數(shù)據(jù)庫，文檔、圖片等文件服務(wù)讀寫。吞吐率指標主要適用于大塊IO，例如數(shù)據(jù)倉庫系統(tǒng)，大數(shù)據(jù)分析系統(tǒng)，視頻媒體文件存儲等。無論是SAN存儲、NAS存儲還是分布式存儲，它們的底層都是機械硬盤或者固態(tài)硬盤。機械硬盤單位容量的價格較便宜，但是每塊機械盤只能提供幾十至幾百的IOPS，以及200MB/s左右的吞吐率。固態(tài)硬盤單位容量的價格較貴，但是單塊固態(tài)硬盤能提供幾萬甚至幾十萬的IOPS，以及幾百MB/s（SAS接口）至幾千MB/s（NVMe接口）的吞吐率。因此云平臺系統(tǒng)管理員應(yīng)根據(jù)應(yīng)用對于IOPS、吞吐率、容量、成本需求綜合考慮部署方案。對于需要高IOPS的關(guān)鍵應(yīng)用，例如交易型數(shù)據(jù)庫，應(yīng)優(yōu)先部署到基于固態(tài)硬盤的存儲上，避免出現(xiàn)IOPS層面的性能瓶頸；對于需要高吞吐率但是容量需求不高的系統(tǒng)，例如規(guī)模不大的視頻媒體文件存儲，數(shù)據(jù)倉庫系統(tǒng)，建議優(yōu)先部署到基于固態(tài)硬盤的存儲上；對于需要高吞吐率并且容量需求較大的系統(tǒng)，例如大型數(shù)據(jù)倉庫系統(tǒng)、大數(shù)據(jù)分析系統(tǒng)、大量視頻媒體文件存儲等，建議部署到具有較多數(shù)量的機械硬盤存儲系統(tǒng)上。因此，在存儲系統(tǒng)接入云平臺的時候，可以給不同的存儲增加一定的標記，例如“全閃存SAN存儲”、“機械盤NAS存儲”等，以便于管理員部署虛擬機時，根據(jù)業(yè)務(wù)需要指定使用不同類型的存儲。除了通過管理員人工規(guī)劃虛擬機的存儲使用來避免性能問題，還有一種方案是采用具有自動分層功能的存儲，由存儲自身管理應(yīng)用性能需要。目前許多SAN存儲、NAS存儲、分布式存儲都具備一定的自動分層功能，可以自動將固態(tài)硬盤和機械硬盤組合形成存儲資源池，并智能地根據(jù)不同數(shù)據(jù)的IOPS和吞吐率兩個層面的熱度自動確定數(shù)據(jù)存儲位置。在云平臺項目中使用自動分層存儲系統(tǒng)能夠很大程度上降低管理員進行存儲性能管理的工作量。其次，來談