第10章 Swift集群運(yùn)維

1、Swift集群運(yùn)維（第十章CONTENTS 目錄PART 01增加集群存儲(chǔ)容量PART 04觀(guān)察和優(yōu)化集群性能PART 02移出集群存儲(chǔ)設(shè)備PART 05作業(yè)PART 03處理硬件故障PART 01增加集群存儲(chǔ)容量遠(yuǎn)程容器同步設(shè)置I數(shù)據(jù)總是會(huì)不斷增長(zhǎng)需要Swift集群的存儲(chǔ)容量也隨之增加 Swift存儲(chǔ)系統(tǒng)的一大優(yōu)勢(shì)就是可以很好的適應(yīng)這種需求增加集群容量的方法n添加新磁盤(pán)n添加新的存儲(chǔ)節(jié)點(diǎn)添加新磁盤(pán)的方法I添加新磁盤(pán)主要有三步。下面通過(guò)給192.168.112.130存儲(chǔ)節(jié)點(diǎn)添加一 個(gè)大小為3TB .標(biāo)號(hào)為sdb2的磁盤(pán)為例進(jìn)行介紹添加存儲(chǔ)磁盤(pán)到環(huán)的Zone中，在代理節(jié)點(diǎn)執(zhí)行下面的操作swif

2、t-ring-builder account.builder add z1-192.168.112.130:6002/d16 3swift-ring-builder container.builder add z1-192.168.112.130:6001/d16 3swift-ring-builder object.builder add z1-192.168.112.130:6000/d16 3分別對(duì)對(duì)象.容器和賬號(hào)的環(huán)進(jìn)行平衡.執(zhí)行下面的操作:swift-ring-builder object.builder rebalance swift-ring-builder container.

3、builder rebalance swift-ring-builder account.builder rebalance添加新磁盤(pán)的方法拷貝環(huán)數(shù)據(jù)到所有存儲(chǔ)節(jié)點(diǎn)，執(zhí)行下面的操作：scp account.ring.gz swift-node-1:/etc/swift/account.ring.gzscp container.ring.gz swift-node-1:/etc/swift/container.ring.gz scp object.ring.gz swift-node-1:/etc/swift/account.ring.gz scp account.ring.gz swift-n

4、ode-2:/etc/swift/account.ring.gz scp container.ring.gz swift-node-2:/etc/swift/container.ring.gz scp object.ring.gz swift-node-2:/etc/swift/account.ring.gzscp account.ring.gz swift-node-10:/etc/swift/account.ring.gz scp container.ring.gz swift-node-10:/etc/swift/container.ring.gz scp object.ring.gz

5、swift-node-10:/etc/swift/account.ring.gz完成這三步操作之后，Swift將會(huì)探測(cè)到新加入的磁盤(pán)，并按照算法從原來(lái)的存儲(chǔ)設(shè)備上遷移數(shù)據(jù)到新磁盤(pán)，從而達(dá)到新的數(shù)據(jù)均衡。平滑添加存儲(chǔ)容量的方法前述添加新磁盤(pán)給Swift集群的方法是正確的，但是因?yàn)樾绿砑拥娜萘勘容^大，那么為 了達(dá)到新的數(shù)據(jù)均衡，Swift就會(huì)遷移大量的數(shù)據(jù)到新添加的磁盤(pán)，從而會(huì)導(dǎo)致Swift 集群性能的急劇下降。如果集群中有1.5T的數(shù)據(jù)將會(huì)傳送到新的磁盤(pán)中，那么將會(huì)導(dǎo)致10G的以太網(wǎng)卡在接 下的20分鐘內(nèi)達(dá)到100%的使用率。整個(gè)系統(tǒng)的性能在數(shù)個(gè)小時(shí)內(nèi)將會(huì)很糟糕。為了解決上述問(wèn)題，可以采取一個(gè)平

6、滑添加容量的方法，就是通過(guò)逐步添加少量的存 儲(chǔ)容量到集群中，而不是突然大容量增加?？梢圆扇「淖兇疟P(pán)的權(quán)重來(lái)達(dá)到這個(gè)目的。因?yàn)镾wift系統(tǒng)是根據(jù)添加容量時(shí)提供的權(quán) 重來(lái)計(jì)算應(yīng)該遷移多少數(shù)據(jù)到新的磁盤(pán)中。如果把新添磁盤(pán)的權(quán)重減小，那么需要遷 移到新磁盤(pán)的數(shù)據(jù)量就減少。平滑添加存儲(chǔ)容量的方法在示例中，可以把新磁盤(pán)權(quán)重從3降低到0.03，那么所需要遷移的數(shù)據(jù) 量就會(huì)降低100倍。swift-ring-builder account.builder add z1-192.168.112.130:6002/d16 0.03 swift-ring-builder container.builder add

7、 z1-192.168.112.130:6001/d16 0.03 swift-ring-builder object.builder add z1-192.168.112.130:6000/d16 0.03I等到數(shù)據(jù)均衡以后（如1小時(shí)后）再重新提高該磁盤(pán)的權(quán)重到0.06然后再等待1個(gè)小時(shí)，再重復(fù)上面的操作，100次以后，新添加磁盤(pán)的權(quán)重就達(dá)到了應(yīng)該具有的值3,該設(shè)備添加成功。般來(lái)講，每次添加的容量最好不要超過(guò)集群現(xiàn)有容量的20%。添加新存儲(chǔ)節(jié)點(diǎn)的方法I下面以假定加入一個(gè)ip地址6192.168.112.133 ,磁盤(pán)存儲(chǔ)量為盯新的 存儲(chǔ)設(shè)備，來(lái)介紹添加新的存儲(chǔ)節(jié)點(diǎn)方法I同時(shí)假定把新添加的存儲(chǔ)

8、設(shè)備分配到一個(gè)新的分區(qū)（Zone4 ）在代理節(jié)點(diǎn)完成以下步驟a）添加存儲(chǔ)節(jié)點(diǎn)的磁盤(pán)設(shè)備到環(huán)swift-ring-builder account.builder add z4-192.168.112.133:6002/d16 0.03 swift-ring-builder container.builder add z4-192.168.112.133:6001/d16 0.03 swift-ring-builder object.builder add z4-192.168.112.133:6000/d16 0.03b）重新均衡環(huán)c）拷貝環(huán)數(shù)據(jù)到所有存儲(chǔ)節(jié)點(diǎn)添加新存儲(chǔ)節(jié)點(diǎn)的方法在新添加的存儲(chǔ)節(jié)

9、點(diǎn)完成以下步驟）安裝存儲(chǔ)服務(wù)相關(guān)的包b）設(shè)置存儲(chǔ)點(diǎn)c）創(chuàng)建Swift工作目錄d）從代理節(jié)點(diǎn)復(fù)制配置文件e）倉(cāng)U建/etc/rsyncd.conff）修a/etc/def）ult/rsync中的RSYNC_ENABLE的屬性為true z 并啟動(dòng)rsync服務(wù)g）為account-server z cont）inerserver及objectserver創(chuàng)建配置文件h）開(kāi)啟存儲(chǔ)節(jié)點(diǎn)服務(wù)PART 02移出集群存儲(chǔ)設(shè)備移出存儲(chǔ)設(shè)備在運(yùn)維Swift集群的時(shí)候也會(huì)遇到需要把集群中的磁盤(pán)或者整個(gè)存儲(chǔ)節(jié)點(diǎn)從集群中 移出的情況，比如，需要升級(jí)到更高容量的磁盤(pán)，換出老磁盤(pán)，或者需要更換整個(gè) 存儲(chǔ)節(jié)點(diǎn)。和添加存儲(chǔ)

10、設(shè)備一樣，移出存儲(chǔ)設(shè)備的過(guò)程也需要是一個(gè)平滑的過(guò)程。不然也會(huì)引 起集群的大量數(shù)據(jù)移動(dòng)，從而降低系統(tǒng)的性能下降和不穩(wěn)定。如果一個(gè)存儲(chǔ)節(jié)點(diǎn)僅僅需要重新啟動(dòng)，那么就直接重啟而不需要做任何特別的操作。 重啟過(guò)程中，用戶(hù)對(duì)該存儲(chǔ)節(jié)點(diǎn)上的數(shù)據(jù)請(qǐng)求會(huì)轉(zhuǎn)送到另外的副本上。如果需要把 個(gè)存儲(chǔ)節(jié)點(diǎn)關(guān)掉比較長(zhǎng)的時(shí)間，比如說(shuō)一天以上，那么就需要把存儲(chǔ)節(jié)點(diǎn)從集群 中移出。移出存儲(chǔ)節(jié)點(diǎn)的步驟在代理節(jié)點(diǎn)上發(fā)送移出存儲(chǔ)節(jié)點(diǎn)的命令swift-ring-builder account.builder remove 192.168.112.130 swift-ring-builder container.builder 192.1

11、68.112.130 swift-ring-builder object.builder remove 192.168.112.130重新平衡環(huán)swift-ring-builder account.builder rebalance swift-ring-builder container.builder rebalance swift-ring-builder object.builder rebalance移出存儲(chǔ)節(jié)點(diǎn)的步驟拷貝環(huán)數(shù)據(jù)到所有存儲(chǔ)節(jié)點(diǎn)scp account.ring.gz swift-node-1:/etc/swift/account.ring.gz scp containe

12、r.ring.gz swift-node-1:/etc/swift/container.ring.gz scp object.ring.gz swift-node-1:/etc/swift/account.ring.gz scp account.ring.gz swift-node-10:/etc/swift/account.ring.gzscp container.ring.gz swift-node-10:/etc/swift/container.ring.gzscp object.ring.gz swift-node-10:/etc/swift/account.ring.gz移出故障磁盤(pán)

13、的步驟當(dāng)存儲(chǔ)磁盤(pán)出了故障不能正常工作時(shí)，只能采取直接把故障磁盤(pán)移出的方法。I假定磁盤(pán)/dev/sdb出了故障，需要移出卸載磁盤(pán)：umount/dev/sdb從存儲(chǔ)節(jié)點(diǎn)上把磁盤(pán)卸載I當(dāng)Swift系統(tǒng)發(fā)現(xiàn)該磁盤(pán)不可用時(shí)，就會(huì)根據(jù)數(shù)據(jù)的其它副本產(chǎn)生丟失 的數(shù)據(jù)平滑移出磁盤(pán)當(dāng)需要把一個(gè)沒(méi)有問(wèn)題的磁盤(pán)移出集群的時(shí)候，就可以采取平滑的方法，從而可以避免可能會(huì)給系統(tǒng)帶來(lái)的性能問(wèn)題。I平滑移出的思路就是不是一次全部移出，而是通過(guò)降低磁盤(pán)權(quán)重的方 法逐步把磁盤(pán)上的數(shù)據(jù)遷移出去。直到所有數(shù)據(jù)都遷移出去之后，再 把該磁盤(pán)卸載。平滑移出磁盤(pán)的步驟I假設(shè)要從存儲(chǔ)節(jié)點(diǎn)192.168.12.104上移出一個(gè)容量為500G,

14、標(biāo)號(hào)為sd5的磁盤(pán)首先，需要檢查該磁盤(pán)的權(quán)重是多少swift-ring-builder account.builder account.builder, build version 117 1048576 partitions, 3 replicas, 4 zones, 4 devices, 0.02 balance The minimum number of hours before a partition can be reassigned is 1 Devices: id zone ip address port name weight partitions balance meta01

15、192.168.12.1046000sd20.57864690.0012192.168.12.1046000sd30.57864980.0123192.168.12.1046000sd40.5786263-0.0234192.168.12.1046000sd50.57864980.01平滑移出磁盤(pán)的步驟然后把sd5磁盤(pán)的權(quán)重逐步降低，比如說(shuō)每次降低0.1swift-ring-builder account.builder set_weight z1-192.168.12.104:6002/ sd5 0.4 swift-ring-builder container.builder set_wei

16、ght z1-192.168.12.104: 6002 /sd5 0.4 swift-ring-builder object.builder set_weight z1-192.168.12.104:6002/ sd5 0.4再重新平衡環(huán)$ swift-ring-builder account.builder rebalance$ swift-ring-builder container.builder rebalance$ swift-ring-builder object.builder rebalance平滑移出磁盤(pán)的步驟再把新的環(huán)數(shù)據(jù)復(fù)制到各個(gè)存儲(chǔ)節(jié)點(diǎn)$ scp account.rin

17、g.gz swift-node-1:/etc/swift/account.ring.gz$ scp container.ring.gz swift-node-1:/etc/swift/container.ring.gz$ scp account.ring.gz swift-node-1:/etc/swift/account.ring.gz 然后等待一個(gè)或兩個(gè)小時(shí)，再次降低磁盤(pán)的權(quán)重。這樣反復(fù)重復(fù)直到權(quán)重降到0。最后再把磁盤(pán)從服務(wù)器上卸載。PART 03處理硬件故障處理有故障的磁盤(pán)驅(qū)動(dòng)器I如果一個(gè)磁盤(pán)驅(qū)動(dòng)器出了故障，那么它就不可掛載到存儲(chǔ)節(jié)點(diǎn)上。 Swift系統(tǒng)就可以探測(cè)到該驅(qū)動(dòng)器出了故障。如果

18、有個(gè)對(duì)象的副本剛好存儲(chǔ)在故障磁盤(pán)驅(qū)動(dòng)器上，那么存儲(chǔ)節(jié)點(diǎn)上 的Replicator進(jìn)程就會(huì)發(fā)現(xiàn)該對(duì)象的一個(gè)副本不可用了，就會(huì)啟 動(dòng)往該對(duì)象的故障處理區(qū)生成副本的過(guò)程。整個(gè)這個(gè)過(guò)程都是自 動(dòng)的，不需要管理員參與。處理有故障的磁盤(pán)驅(qū)動(dòng)器I當(dāng)用戶(hù)上載數(shù)據(jù)的時(shí)候，如果剛巧代理服務(wù)器選擇了要把數(shù)據(jù)往有故 障磁盤(pán)驅(qū)動(dòng)器上存放，那么當(dāng)那個(gè)存儲(chǔ)節(jié)點(diǎn)試圖往故障磁盤(pán)驅(qū)動(dòng)器上 寫(xiě)數(shù)據(jù)的時(shí)候，就會(huì)告訴代理服務(wù)器選擇的那個(gè)驅(qū)動(dòng)器出了故障。I當(dāng)接到這個(gè)錯(cuò)誤信息后，代理服務(wù)器就會(huì)把數(shù)據(jù)寫(xiě)到該對(duì)象的故障 處理區(qū)，從而保證新上載的對(duì)象仍然有三個(gè)副本。每個(gè)對(duì)象的故 障處理區(qū)都是由環(huán)來(lái)決定的。處理有故障的磁盤(pán)驅(qū)動(dòng)器I對(duì)于系統(tǒng)管理員來(lái)

19、講，處理故障磁盤(pán)驅(qū)動(dòng)器的操作步驟如下:把故障磁盤(pán)處理器從存儲(chǔ)節(jié)點(diǎn)中取出安裝一個(gè)新的磁盤(pán)處理器來(lái)代替故障磁盤(pán)處理器格式化新磁盤(pán)把新磁盤(pán)加入集群處理寫(xiě)滿(mǎn)的磁盤(pán)驅(qū)動(dòng)器I另一個(gè)需要考慮的硬件故障是磁盤(pán)寫(xiě)滿(mǎn)的情況。I因?yàn)镾wift總的來(lái)講是把數(shù)據(jù)平均的寫(xiě)到系統(tǒng)的各個(gè)磁盤(pán)上。如果有的 磁盤(pán)接近寫(xiě)滿(mǎn)，那么就意味著整個(gè)集群的空間幾乎要寫(xiě)滿(mǎn)了。在這種 情況下，就需要給集群增加新的容量。I前面已經(jīng)介紹了如何給集群增加新的容量。I既可以是在現(xiàn)有的存儲(chǔ)節(jié)點(diǎn)上添加新的磁盤(pán)驅(qū)動(dòng)器，也可以是添加新 的存儲(chǔ)節(jié)點(diǎn)。處理磁盤(pán)區(qū)域失效故障I在Swift集群中，驗(yàn)證進(jìn)程在不斷的對(duì)數(shù)據(jù)進(jìn)行檢測(cè)來(lái)保證數(shù)據(jù)的可 用性。I 驗(yàn)證進(jìn)程掃描給定

20、存儲(chǔ)節(jié)點(diǎn)的每一個(gè)對(duì)象來(lái)檢測(cè)是不是有數(shù)據(jù)失效。 掃描的方式有以下三種：驗(yàn)證進(jìn)程進(jìn)行一次快速掃描檢測(cè)是不是有零字節(jié)文件。XFS文件系統(tǒng)就是通 過(guò)創(chuàng)建一個(gè)零字節(jié)文件來(lái)告訴管理員已經(jīng)發(fā)現(xiàn)了磁盤(pán)故障。還有一個(gè)慢速掃描過(guò)程重新計(jì)算每個(gè)對(duì)象的校驗(yàn)和，然后和Swift系統(tǒng)記錄中的 校驗(yàn)和進(jìn)行比較。如果兩個(gè)校驗(yàn)和不一致，就說(shuō)明該對(duì)象的數(shù)據(jù)遭到了破壞。系 統(tǒng)會(huì)把遭到破壞的對(duì)象移到隔離區(qū)。處理磁盤(pán)區(qū)域失效故障作為最后一道防護(hù)措施，當(dāng)一個(gè)對(duì)象下載給客戶(hù)的時(shí)候，Swift會(huì)重新計(jì)算對(duì)象 的校驗(yàn)和。如果校驗(yàn)和系統(tǒng)記錄的不一致，那么就會(huì)把該對(duì)象移到隔離區(qū)。I無(wú)論哪種情況，Swift都會(huì)把出現(xiàn)問(wèn)題的對(duì)象移到隔離區(qū)，再在 故障

21、處理區(qū)生成一個(gè)新的副本來(lái)確保每個(gè)對(duì)象有三個(gè)副本。處理失去聯(lián)系的節(jié)點(diǎn)故障I在Swift集群中，可能發(fā)生的另一個(gè)故障就是一個(gè)節(jié)點(diǎn)會(huì)因?yàn)殡娫垂收? 網(wǎng)絡(luò)故障或者主板故障而出現(xiàn)失去聯(lián)系的狀態(tài)。I如果一個(gè)節(jié)點(diǎn)10秒鐘不回答請(qǐng)求，代理節(jié)點(diǎn)就假定該節(jié)點(diǎn)失去了聯(lián)系， 就會(huì)提醒管理員盡快進(jìn)行處理。I當(dāng)存儲(chǔ)節(jié)點(diǎn)失去聯(lián)系時(shí)，Swift仍然假定該節(jié)點(diǎn)上的數(shù)據(jù)沒(méi)有受到損壞, 只是暫時(shí)不能使用。Swift不會(huì)啟動(dòng)復(fù)制進(jìn)程來(lái)重新生成新的數(shù)據(jù)副本, 因?yàn)檫@種故障可以通過(guò)重新連接網(wǎng)絡(luò)，以及修復(fù)電源而快速得到恢復(fù)。處理失去聯(lián)系的節(jié)點(diǎn)故障管理員首先應(yīng)該檢查網(wǎng)絡(luò)是不是有問(wèn)題，如果故障的確是因?yàn)榫W(wǎng)絡(luò) 問(wèn)題造成的，那么只需要恢復(fù)網(wǎng)絡(luò)就可

22、以了。Swift的一致性進(jìn)程 會(huì)對(duì)集群數(shù)據(jù)進(jìn)行調(diào)整來(lái)消除因?yàn)樵摴?jié)點(diǎn)不可聯(lián)系階段造成的數(shù)據(jù) 不均勻問(wèn)題。如果發(fā)現(xiàn)不是網(wǎng)絡(luò)問(wèn)題，而是存儲(chǔ)節(jié)點(diǎn)本身出了故障，那么就按照 存儲(chǔ)節(jié)點(diǎn)故障處理方法處理處理故障節(jié)點(diǎn)I 一般來(lái)講，即使一個(gè)存儲(chǔ)節(jié)點(diǎn)出了故障，應(yīng)該盡可能的恢復(fù)該節(jié) 點(diǎn)，因?yàn)橹匦律梢粋€(gè)節(jié)點(diǎn)數(shù)據(jù)的副本代價(jià)比較高。I但是如果你已經(jīng)確定該存儲(chǔ)節(jié)點(diǎn)上的數(shù)據(jù)已經(jīng)遭到了破壞，應(yīng)該 米取下面的措施來(lái)恢復(fù)系統(tǒng)。首先在這個(gè)階段不要進(jìn)行其它配置修改工作。然后可以按照前面 講解的移出磁盤(pán)的方法把故障節(jié)點(diǎn)上的磁盤(pán)移出。o s 一膽尋鬻薯呂壯、番輕罰 怒咪呂 OIH、 fti田眩祐湘朝植sg留些衣Mik第砸敘PART 04觀(guān)

23、察和優(yōu)化集群性能觀(guān)察和優(yōu)化集群性能 Swift集群中又好多進(jìn)程在并發(fā)運(yùn)行在許多節(jié)點(diǎn)上，當(dāng)進(jìn)行故障分析, 性能分析以及容量計(jì)劃的時(shí)候，需要了解集群內(nèi)部的真實(shí)運(yùn)行情況。在觀(guān)察集群運(yùn)行性能的時(shí)候，需要主要關(guān)注下面這些特性：異步等待數(shù)據(jù)(Asy nc Pen di ng )CPU利用率I/O利用率數(shù)據(jù)遷移活動(dòng)時(shí)間統(tǒng)計(jì)異步等待數(shù)據(jù)(Async Pending )當(dāng)一個(gè)對(duì)象已經(jīng)上載到一個(gè)容器，但是因?yàn)榇鎯?chǔ)節(jié)點(diǎn)太忙，不能及時(shí) 更新容器列表記錄的時(shí)候，系統(tǒng)就會(huì)生成一個(gè)Asnc Pen ding文件，告 訴一致性進(jìn)程，在存儲(chǔ)節(jié)點(diǎn)不繁忙的時(shí)候完成更改操作I在系統(tǒng)中存在一些Async Pending文件是正常的，但是如果這些文件 的個(gè)數(shù)在不斷增加，就需要引起注意了。很有可能是因?yàn)橥瑫r(shí)寫(xiě)入同 存儲(chǔ)設(shè)備的數(shù)據(jù)量太高引起的。這時(shí)就需要考慮如何使這些數(shù)據(jù)能夠更好的分布到更多的存儲(chǔ)磁盤(pán)上。 CPU利用率代理節(jié)點(diǎn)很容易成為CPU密集型，從而變成系統(tǒng)性能的瓶頸如果代理節(jié)點(diǎn)