HCNPCBDS大數(shù)據(jù)存儲系統(tǒng)維護與故障處理系統(tǒng)維護

大數(shù)據(jù)存儲系統(tǒng)維護與故障處理

-系統(tǒng)維護

2目標學(xué)完本課程，您將能夠：掌握OceanStor9000日常維護方法及維護工具的使用熟悉OceanStor9000主要部件更換方法掌握OceanStor9000存儲系統(tǒng)故障排查思路和方法掌握OceanStor9000版本升級流程及版本回退方法3例行維護安全維護巡檢與信息收集部件更換4維護基本原則日常維護按照正確的流程操作使用原廠提供的資源和軟件現(xiàn)場保留備件，以便故障時及時更換創(chuàng)建日志制定可靠的備份計劃嚴格遵守設(shè)備安全注意事項5管理軟件介紹介紹OceanStor9000的管理方式，包括GUI和CLI：

OceanStor9000支持GUI（GraphicalUserInterface）和CLI（CommandLineInterface）兩種管理方式。OceanStorDeviceManager提供GUI的管理方式，其中服務(wù)器端部署在OceanStor9000上，用戶通過終端瀏覽器連接到OceanStor9000所在業(yè)務(wù)網(wǎng)，訪問OceanStor9000進行管理和維護。OceanStorDeviceManager是存儲單元管理平臺，支持同時管理集群和節(jié)點。CLI是命令行接口，能夠高效、快捷地管理和維護設(shè)備。6P25/P12節(jié)點設(shè)備運行指示燈

1系統(tǒng)電源指示燈/開機按鈕2系統(tǒng)告警指示燈3系統(tǒng)定位指示燈4USB端口5硬盤運行指示燈6硬盤告警/定位指示燈7C36/P36設(shè)備運行指示燈

1系統(tǒng)電源指示燈/開機按鈕2系統(tǒng)告警指示燈3系統(tǒng)定位指示燈4USB端口5硬盤運行指示燈6硬盤告警/定位指示燈8C36/P36設(shè)備運行指示燈

1電源模塊拉手2電源運行/告警指示燈3電源接口4PCI-E擴展插槽5SAS卡6GE網(wǎng)口7IPMI管理網(wǎng)口8USB端口9系統(tǒng)串口10VGA端口11系統(tǒng)告警指示燈12系統(tǒng)定位指示燈13IPMI管理網(wǎng)口LNK指示燈14IPMI管理網(wǎng)口ACT指示燈15GE網(wǎng)口ACT指示燈16GE網(wǎng)口LNK指示燈17硬盤運行指示燈18硬盤告警/定位指示燈1910GESFP+以太網(wǎng)光接口指示燈2010GESFP+以太網(wǎng)光接口9C72設(shè)備運行指示燈

1框號2定位燈3告警燈4運行燈5過溫告警燈6硬盤單元告警燈7后部FRU告警燈10C72設(shè)備運行指示燈

1電源模塊2風(fēng)扇模塊3CBU模塊4風(fēng)扇模塊5電源模塊6控制模塊（左側(cè)編號：B，右側(cè)編號：A）710GE網(wǎng)口lLINK指示燈810GE網(wǎng)口ACT指示燈910GESFP+以太網(wǎng)接口10系統(tǒng)串口11USB端口12控制模塊電源按鈕13GE網(wǎng)口14控制模塊運行/告警指示燈15控制模塊定位指示燈11交換機指示燈

1電源運行指示燈2電源開關(guān)3風(fēng)扇運行指示燈4MODE模式切換按鈕/ID指示燈5管理網(wǎng)口指示燈6USB開局指示燈7堆疊主從指示燈8系統(tǒng)運行狀態(tài)燈12交換機指示燈

1系統(tǒng)運行狀態(tài)燈2堆疊主從指示燈3STAT模式狀態(tài)燈4SPEED模式狀態(tài)燈5STACK模式狀態(tài)燈6模式切換按鈕/ID指示燈7業(yè)務(wù)接口指示燈（10GE光口）8業(yè)務(wù)接口指示燈（40GE光口）940GE接口的10GE模式指示燈（1/2/3/4）--13設(shè)備管理軟件維護項查看硬盤信息查看告警信息查看系統(tǒng)信息查看集群狀態(tài)查看節(jié)點狀態(tài)查看節(jié)點文件系統(tǒng)服務(wù)狀態(tài)查看性能信息14例行維護安全維護巡檢與信息收集部件更換15OceanStor9000系統(tǒng)安全概述OceanStor9000具有安全的物理組網(wǎng)結(jié)構(gòu)，將用戶的業(yè)務(wù)網(wǎng)絡(luò)和管理網(wǎng)絡(luò)隔離，保護系統(tǒng)運行的安全。16分層的安全維護應(yīng)用層安全維護的目的是從安全角度保障業(yè)務(wù)系統(tǒng)可以正常運行和對外提供服務(wù)。系統(tǒng)層安全維護的目的是保障操作系統(tǒng)、數(shù)據(jù)庫、中間件可以正常運行，以支撐應(yīng)用層各個應(yīng)用軟件的運行。網(wǎng)絡(luò)層安全維護的目的是保障交換機、路由器、防火墻等網(wǎng)絡(luò)設(shè)備的正常運行，確保網(wǎng)絡(luò)層的安全策略得到落實。管理層安全維護的目的是加強人為管理，防范于未然。管理層維護涉及上述各個層面。17OceanStorWushanFS賬戶管理管理OceanStorDeviceManager賬戶WushanFS的OceanStorDeviceManager管理員擁有不同的操作權(quán)限，包括超級管理員、管理員、只讀用戶、資源管理員和設(shè)備管理員。系統(tǒng)默認提供了admin（超級管理員），該管理員不允許修改和刪除。管理方法：登錄OceanStorDeviceManager。選擇“設(shè)置>查看與設(shè)置>權(quán)限設(shè)置>管理用戶”。在中間信息展示區(qū)，超級管理員可以執(zhí)行創(chuàng)建、刪除、鎖定、解鎖、強制下線等操作。18修改系統(tǒng)密碼（C01）系統(tǒng)密碼是登錄系統(tǒng)的必要條件，修改系統(tǒng)密碼能夠防止密碼的泄露。對于OceanStor9000的Linux操作系統(tǒng)自帶特權(quán)賬戶root，建議定期更新一次賬戶密碼。修改系統(tǒng)密碼方法有如下方式：以root用戶使用PuTTY工具登錄系統(tǒng)，輸入passwd后設(shè)置root的新密碼。使用CLI命令changesystemroot_password修改。登錄OceanStorDeviceManager，選擇“設(shè)置>集群設(shè)置>集群節(jié)點設(shè)置”，勾選需要修改的節(jié)點后單擊左下角的“修改Root密碼”。19檢查系統(tǒng)賬戶（C01）系統(tǒng)會擁有很多賬戶，定期檢查系統(tǒng)賬戶能夠防止賬戶的不合理擴散和泄露，規(guī)避安全隱患。建議您每季度對系統(tǒng)維護賬戶、應(yīng)用系統(tǒng)的運行賬戶進行檢查，查看是否存在不合理的賬戶和不合理的賬戶權(quán)限。檢查方式：以root用戶使用KVM工具登錄節(jié)點。查看所有群組的信息：cat/etc/group查看所有賬戶的信息：cat/etc/passwd20檢查系統(tǒng)賬戶（C30）系統(tǒng)會擁有很多賬戶，定期檢查系統(tǒng)賬戶能夠防止賬戶的不合理擴散和泄露，規(guī)避安全隱患。建議您每季度對系統(tǒng)維護賬戶、應(yīng)用系統(tǒng)的運行賬戶進行檢查，查看是否存在不合理的賬戶和不合理的賬戶權(quán)限。檢查方式：以root用戶登錄節(jié)點。P12/P25/P36/C36：使用KVM工具登錄節(jié)點。C72：通過左側(cè)控制框的系統(tǒng)串口登錄節(jié)點。波特率為115200、8位數(shù)據(jù)位、1位停止位、無奇偶校驗和無數(shù)據(jù)流控制。查看所有群組的信息：cat/etc/group查看所有賬戶的信息：cat/etc/passwd21檢查系統(tǒng)進程（C01）系統(tǒng)運行中會觸發(fā)眾多進程，不合理進程的存在會帶來性能、安全等方面的風(fēng)險，而檢查系統(tǒng)進程并做相應(yīng)處理能避免這些風(fēng)險。管理員進行安全維護時，需要檢查是否有多余的進程，及時發(fā)現(xiàn)不合理進程并處理，避免風(fēng)險。檢查方式：以root用戶使用KVM工具登錄節(jié)點。輸入ps-ef檢查不相關(guān)的賬戶進程。22檢查服務(wù)/端口（C01）系統(tǒng)會提供各種服務(wù)/端口，但多余服務(wù)/端口會帶來安全風(fēng)險，需要及時停止。檢查是否有多余的服務(wù)/端口，如果有多余服務(wù)/端口建議聯(lián)系技術(shù)支持分析確認后及時停止，以避免安全風(fēng)險。系統(tǒng)提供的詳細服務(wù)、端口請參見《通信端口矩陣》文檔。檢查方式：以root用戶使用KVM工具登錄節(jié)點。輸入netstat-an|grepLISTEN|greptcp檢查TCP服務(wù)/端口。輸入netstat-an|grepudp檢查UDP服務(wù)/端口。23檢查服務(wù)/端口（C30）系統(tǒng)會提供各種服務(wù)/端口，但多余服務(wù)/端口會帶來安全風(fēng)險，需要及時停止。檢查是否有多余的服務(wù)/端口，如果有多余服務(wù)/端口建議聯(lián)系技術(shù)支持分析確認后及時停止，以避免安全風(fēng)險。系統(tǒng)提供的詳細服務(wù)、端口請參見《通信端口矩陣》文檔。檢查方式：以root用戶登錄節(jié)點。P12/P25/P36/C36：使用KVM工具登錄節(jié)點。C72：通過左側(cè)控制框的系統(tǒng)串口登錄節(jié)點。波特率為115200、8位數(shù)據(jù)位、1位停止位、無奇偶校驗和無數(shù)據(jù)流控制。輸入netstat-an|grepLISTEN|greptcp檢查TCP服務(wù)/端口。輸入netstat-an|grepudp檢查UDP服務(wù)/端口。24安全組網(wǎng)組網(wǎng)劃分需要考慮安全區(qū)域劃分、邊界訪問控制、網(wǎng)絡(luò)入侵檢測等方面，并根據(jù)這些規(guī)則規(guī)劃出系統(tǒng)的安全組網(wǎng)。在存儲系統(tǒng)業(yè)務(wù)網(wǎng)絡(luò)中，OceanStor9000系統(tǒng)集群與網(wǎng)管系統(tǒng)置于同一個安全網(wǎng)絡(luò)中。遠程用戶需要通過防火墻才能連接OceanStor9000系統(tǒng)。25檢查交換機安全以華為QuidWayS5700-52C-SI交換機為例進行說明，通過檢查其ACL配置來確保業(yè)務(wù)系統(tǒng)接收的數(shù)據(jù)包是安全的?？梢允褂萌缦旅畈榭碅CL的配置結(jié)果。displayacl{acl-number|all}查看以編號創(chuàng)建的ACL規(guī)則。displayaclname{acl-name}查看以名稱創(chuàng)建的ACL規(guī)則。displaytime-range{all|time-name}查看時間段信息。displayaclresourceslot{slot-id}查看ACL的資源信息。上述ACL命令均以S5700V200R001C00版本為例，實際所用的ACL相關(guān)命令請參照交換機對應(yīng)版本的產(chǎn)品文檔。26檢查VLAN/IP地址VLAN的作用是將一個物理的LAN在邏輯上進行隔離，使得廣播報文等通信受到VLAN劃分的限制。檢查VLAN配置信息及相關(guān)IP地址、處理異常能保障網(wǎng)絡(luò)的安全性。當網(wǎng)絡(luò)中需要跨越防火墻設(shè)備時，建議按IP地址放行流量。如果需要按IP地址+端口放行流量，則需獲取端口列表，避免屏蔽掉OceanStor9000使用的端口。27賬戶維護建議建議系統(tǒng)管理員對賬戶例行檢查，檢查的內(nèi)容包括：操作系統(tǒng)、OceanStorDeviceManager的賬戶是否有必要，臨時賬戶是否已刪除。各類賬戶的權(quán)限是否合理，不同的管理員擁有不同的權(quán)限。對各類賬戶的登錄、操作日志進行檢查和審計。28密碼維護建議用戶的賬戶和密碼的復(fù)雜性、有效期等需根據(jù)客戶的安全要求進行配置。對密碼的維護建議如下：專人保管系統(tǒng)root密碼。密碼需要滿足一定的強度要求，例如密碼最少字符數(shù)、混合大小寫等。密碼傳遞時注意加密，盡量避免通過郵件傳遞密碼。密碼需要加密存儲。系統(tǒng)移交時提醒客戶更改系統(tǒng)默認密碼。首次登錄后請及時修改系統(tǒng)默認密碼。定期修改密碼。29日志維護建議定期檢查日志定期查看系統(tǒng)日志，若發(fā)現(xiàn)有非法操作、非法登錄用戶等異常情況，應(yīng)根據(jù)異常情況進行相應(yīng)的處理。定期備份日志日志應(yīng)當進行定期備份，同時將備份文件在安全的保存介質(zhì)（磁盤、磁帶、光盤等）上存檔。日志在備份后應(yīng)當及時刪除，以釋放日志空間。30例行維護安全維護巡檢與信息收集部件更換31巡檢內(nèi)容（1）性能指標磁盤利用率CPU利用率內(nèi)存利用率節(jié)點吞吐量硬件狀態(tài)電源狀態(tài)風(fēng)扇狀態(tài)網(wǎng)口狀態(tài)光模塊狀態(tài)32巡檢內(nèi)容（2）集群軟件狀態(tài)集群狀態(tài)節(jié)點狀態(tài)DeviceManager運行狀態(tài)軟件設(shè)置時鐘同步外部DNS連通性License狀態(tài)日志級別33巡檢內(nèi)容（3）文件系統(tǒng)運行狀態(tài)節(jié)點池內(nèi)存一致性檢測檢查打開的文件句柄數(shù)文件系統(tǒng)運行狀態(tài)數(shù)據(jù)恢復(fù)狀態(tài)其他風(fēng)險檢查近30天是否存在core和crash恢復(fù)任務(wù)執(zhí)行時間過長本地文件系統(tǒng)是否有操作超時34OceanStorToolkit進行巡檢（1）界面列出了所有的巡檢項，根據(jù)需求進行選擇，默認全部進行巡檢。35OceanStorToolkit進行巡檢（2）待巡檢完成后，單擊“查看巡檢報告”可以進行查看。

36OceanStorToolkit進行信息收集（1）

步驟一：選擇“所有功能>維護>信息收集”。37OceanStorToolkit進行信息收集（2）

步驟二：勾選待收集的設(shè)備后單擊“收集”。步驟三：當進度變成100%時，單擊“打開收集目錄”查看信息收集結(jié)果。38常見巡檢不通過項分析（1）

Nvdimm從原始信息可看到巡檢不通過原因。39常見巡檢不通過項分析（2）

BMC狀態(tài)從原始信息可看到巡檢不通過原因。40OceanStorToolkit進行日志分析（1）

打開收集OceanStor9000設(shè)備信息結(jié)果目錄，進入以收集信息設(shè)備IP為名稱的目錄。將信息收集結(jié)果壓縮包解壓到當前目錄，獲得名為“DataCollect”的文件夾。進入“DataCollect”目錄，獲取每個節(jié)點的信息收集結(jié)果包。41OceanStorToolkit進行日志分析（2）

在OceanStorToolkit工具主界面中，選擇“所有功能>維護>日志分析”，打開日志分析工具。單擊“選擇”按鈕，依次導(dǎo)入獲取的每一個節(jié)點的信息收集包，進行日志分析。以下以一個節(jié)點的信息包為例說明。42OceanStorToolkit進行日志分析（3）

在“設(shè)備類型”中選擇“OceanStor9000”。如果更新了日志分析的配置文件AnalyzeRule.xml，要先單擊“清空臨時文件”，再重新導(dǎo)入日志包進行日志分析。單擊“開始分析”并選擇要分析的內(nèi)容。單擊提示框中的“確定”后開始進行分析。43例行維護安全維護巡檢與信息收集部件更換44基本操作流程45基本操作流程-確定操作的可行性在執(zhí)行故障處理或設(shè)備檢修的過程中，當維護人員需要對某個設(shè)備部件執(zhí)行更換操作時，首先需要對本次操作的可行性進行評：設(shè)備庫房有待安裝或待更換部件的可用部件，當缺少可用部件時，請及時聯(lián)系華