Suse linux雙機(jī)原理及配置_第1頁(yè)
Suse linux雙機(jī)原理及配置_第2頁(yè)
Suse linux雙機(jī)原理及配置_第3頁(yè)
Suse linux雙機(jī)原理及配置_第4頁(yè)
Suse linux雙機(jī)原理及配置_第5頁(yè)
已閱讀5頁(yè),還剩73頁(yè)未讀, 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)

文檔簡(jiǎn)介

1、Suselinux雙機(jī)原理及配置目 錄第1章 智能網(wǎng)概述1 智能網(wǎng)的產(chǎn)生背景1 智能網(wǎng)的概念及目標(biāo)1第2章 前言3第3章 Skybility HA Service軟件介紹5 集群軟件簡(jiǎn)介5 集群的定義53.1.2 Skybility HA Service簡(jiǎn)介63.1.3 Skybility HA Service的工作原理和特點(diǎn)83.1.4 Skybility HA Service 的功能模塊介紹15第4章 Skybility HA Service的安裝17 安裝前的準(zhǔn)備17 硬件準(zhǔn)備17 軟件準(zhǔn)備19 安裝Skybility HA Service204.3 Skybility HA Servi

2、ce命令簡(jiǎn)介23第5章 Skybility HA Service的配置275.1 Skybility HA Service簡(jiǎn)要配置步驟275.2 Skybility HA Service配置詳解27 配置前準(zhǔn)備27 開(kāi)始配置29 配置流程30 效勞器配置30 心跳配置34 效勞配置36 修改HA進(jìn)程參數(shù)42 鎖定配置界面43 自定義接口445.2.10 Skybility HA Service配置文件描述和手工配制方法455.2.11 Skybility HA Service的效勞部署和效勞腳本的編寫495.2.12 Shell腳本簡(jiǎn)介53第6章 一些常見(jiàn)問(wèn)題的處理676.1.1 LVM的處理

3、方法67 光纖卡的處理68 如何使用多網(wǎng)卡的bonding模式68 效勞故障的調(diào)試方法696.1.5 Skybility HA Service導(dǎo)致效勞器重起的調(diào)試方法71第7章 FAQ737.1.1 Skybility HA Service是否占用大量的網(wǎng)絡(luò)帶寬?73 配置效勞器無(wú)法連接,怎么辦?73 效勞器時(shí)間如何同步74第1章 智能網(wǎng)概述1.1 智能網(wǎng)的產(chǎn)生背景智能網(wǎng)IN是當(dāng)今通信網(wǎng)開(kāi)展的主要潮流之一,在國(guó)內(nèi)外引起了廣泛重視,被稱為21世紀(jì)的通信網(wǎng),從其產(chǎn)生背景和開(kāi)展歷程看,智能網(wǎng)是計(jì)算機(jī)技術(shù)、電信技術(shù)以及市場(chǎng)驅(qū)動(dòng)的產(chǎn)物。自從上世紀(jì)末 問(wèn)世以來(lái),經(jīng)過(guò)了幾十年的相對(duì)緩慢的開(kāi)展,從本世 紀(jì)60

4、年代起,隨著微電子技術(shù)、計(jì)算機(jī)技術(shù)、數(shù)字傳輸技術(shù)的開(kāi)展,通信技術(shù)終于進(jìn)入了一個(gè)迅速開(kāi)展的階段。首先是數(shù)字程控交換技術(shù)的產(chǎn)生,為通信網(wǎng)絡(luò)結(jié)構(gòu)的演進(jìn)提供了有利條件;其后是共路信令系統(tǒng)的形成,豐富了信令系統(tǒng)的功能,提高了網(wǎng)絡(luò)傳輸?shù)目煽啃院蛡魉托剩?0年代以來(lái)網(wǎng)絡(luò)用戶對(duì)電信新業(yè)務(wù)的需求與日俱增,各交換機(jī)生產(chǎn)廠家必須不斷地對(duì)其交換機(jī)的軟、硬件作調(diào)整,才能適應(yīng)網(wǎng)絡(luò)運(yùn)營(yíng)者和用戶的要求。這種方法不但實(shí)現(xiàn)起來(lái)困難、效率低、周期長(zhǎng),而且其靈活性也很差,不能讓用戶自行生成新業(yè)務(wù),制約了新業(yè)務(wù)的開(kāi)展。人們也試圖通過(guò)增加專用設(shè)備如168語(yǔ)音平臺(tái)等的方法來(lái)提供新業(yè)務(wù),但這種方法既不標(biāo)準(zhǔn)也不靈活,功能也很有限,只具有短期

5、效果,不利于業(yè)務(wù)的進(jìn)一步擴(kuò)展,因此一局部廠家和部門開(kāi)始合作,研究在不改變電信網(wǎng)硬件結(jié)構(gòu)的條件下,采用集中業(yè)務(wù)邏輯處理和集中數(shù)據(jù)庫(kù)系統(tǒng)手段,加速生成電信新業(yè)務(wù)的技術(shù)。終于在1984年由美國(guó)Bellcore提出了智能網(wǎng)的概念,并立即引起各國(guó)的極大興趣,紛紛投入人力物力研究智能網(wǎng),使智能網(wǎng)得到了快速的開(kāi)展。1.2 智能網(wǎng)的概念及目標(biāo)智能網(wǎng)是一個(gè)用于產(chǎn)生和提供電信業(yè)務(wù)的體系結(jié)構(gòu),它能快速、方便、靈活、經(jīng)濟(jì)、有效地生成和實(shí)現(xiàn)各種新業(yè)務(wù)的體系。這個(gè)體系的目標(biāo)是為所有的網(wǎng)絡(luò)效勞,即它不僅可以為現(xiàn)有的 網(wǎng)絡(luò)PSTN、分組交換數(shù)據(jù)網(wǎng)PSPDN、窄帶綜合業(yè)務(wù)數(shù)字網(wǎng)N-ISDN效勞,還可以為寬帶綜合業(yè)務(wù)數(shù)字網(wǎng)B-I

6、SDN、移動(dòng)通信網(wǎng)PLMN和INTERNET效勞。圖1-2-1 智能網(wǎng)應(yīng)用范圍示意圖智能網(wǎng)的目標(biāo)不僅在于今天能向用戶提出諸多的業(yè)務(wù),而且著眼于今后也能方便、快速、經(jīng)濟(jì)地向用戶提供新的業(yè)務(wù)。因此,智能網(wǎng)為向用戶提供新業(yè)務(wù)采用了一種新的方法,即建立集中的業(yè)務(wù)控制點(diǎn)和數(shù)據(jù)庫(kù),進(jìn)而進(jìn)一步建立集中的業(yè)務(wù)管理系統(tǒng)和業(yè)務(wù)生成環(huán)境來(lái)到達(dá)上述目的。智能網(wǎng)是一個(gè)生成和提供新業(yè)務(wù)的體系,它的特征是:1) 有效地使用網(wǎng)絡(luò)資源;2) 網(wǎng)絡(luò)功能的模塊化;3) 重復(fù)使用標(biāo)準(zhǔn)的網(wǎng)路功能生成和實(shí)施新的業(yè)務(wù);4) 網(wǎng)路功能靈活地分配在不同的物理實(shí)體中;5) 通過(guò)獨(dú)立于業(yè)務(wù)的接口,網(wǎng)路功能之間實(shí)現(xiàn)標(biāo)準(zhǔn)通信;6) 有效的使用信息處理

7、技術(shù);7) 業(yè)務(wù)用戶可以控制由用戶所規(guī)定的業(yè)務(wù)屬性;8) 業(yè)務(wù)使用者可以控制由使用者所規(guī)定的業(yè)務(wù)屬性;9) 標(biāo)準(zhǔn)化的業(yè)務(wù)邏輯管理??梢?jiàn),智能網(wǎng)的目標(biāo),是利用獨(dú)立于業(yè)務(wù)的功能塊、功能實(shí)體的標(biāo)準(zhǔn)通信,有效地利用已有的資源,快速、簡(jiǎn)便、靈活地提供各種新的補(bǔ)充業(yè)務(wù)。第2章 前言本教材介紹了Skybility HA軟件的安裝配置和使用方法,以及一些常見(jiàn)問(wèn)題的處理方法。Skybility HA是基于SuSE® Linux的高可用性集群軟件。第3章 Skybility HA Service軟件介紹3.1 集群軟件簡(jiǎn)介3.1.1 集群的定義集群可以定義為:一種由互聯(lián)的計(jì)算機(jī)組成的并行或分布式系統(tǒng),可

8、以作為單獨(dú)、統(tǒng)一的計(jì)算資源來(lái)使用。集群中的計(jì)算機(jī)節(jié)點(diǎn)可以是一個(gè)單處理器或多處理器系統(tǒng),擁有內(nèi)存、I/O設(shè)備和操作系統(tǒng)。下面是典型的集群系統(tǒng)體系結(jié)構(gòu)圖:集群包括以下重要部件:l 多個(gè)節(jié)點(diǎn)計(jì)算機(jī)PC、工作站或SMPl 節(jié)點(diǎn)計(jì)算機(jī)操作系統(tǒng)l 通訊網(wǎng)絡(luò)如以太網(wǎng)l 網(wǎng)絡(luò)接口卡l 集群中間件單一映象系統(tǒng)SSI和系統(tǒng)可用根底l 應(yīng)用程序使用集群技術(shù),用戶能夠以較低的本錢,改良和提高計(jì)算機(jī)的處理能力。集群系統(tǒng)具備較好的可擴(kuò)展性,用戶可以在保存現(xiàn)有投資、不增加過(guò)多投資的情況下,提高計(jì)算機(jī)系統(tǒng)的計(jì)算能力。由于軟件的可擴(kuò)展性支持,能夠同時(shí)提高應(yīng)用程序的性能。故障恢復(fù)能力,是集群技術(shù)的另一個(gè)優(yōu)點(diǎn),備份計(jì)算機(jī)能夠?qū)儆?/p>

9、同一集群系統(tǒng)的任何任務(wù)接管過(guò)來(lái)。一般的,根據(jù)應(yīng)用目的的不同,集群可以分為以下三類。l 負(fù)載均衡集群Loading Balance Cluster。l 高可用集群High Availability Cluster。l 高性能計(jì)算集群 (High Performance Computing)以上三類集群軟件目的都是提供一致和統(tǒng)一的計(jì)算機(jī)處理能力,但是表現(xiàn)方式和側(cè)重點(diǎn)各有不同。高性能計(jì)算機(jī)群主要用于科學(xué)計(jì)算,這里我們不再贅述。負(fù)載均衡集群主要側(cè)重于充分利用集群中每個(gè)節(jié)點(diǎn)計(jì)算機(jī)的計(jì)算能力;而高可用性集群那么側(cè)重于集群能提供7*24小時(shí)的效勞運(yùn)行保障。高可用性集群軟件主要是解決以下三個(gè)問(wèn)題:l 效勞器硬

10、件故障l 應(yīng)用程序的軟件故障或者負(fù)載過(guò)大l 管理員做應(yīng)用備份中的誤操作3.1.1.1 HA軟件中的常用術(shù)語(yǔ)l 集群:一組相互獨(dú)立的計(jì)算機(jī)為了提供更好的可用性和性能而組成的并行或分布式系統(tǒng),可以作為單獨(dú)、統(tǒng)一的計(jì)算資源來(lái)使用l 節(jié)點(diǎn):能提供處理資源且能運(yùn)行應(yīng)用軟件的主機(jī)l 效勞:在節(jié)點(diǎn)上運(yùn)行的應(yīng)用l 節(jié)點(diǎn)故障:由于系統(tǒng)硬件、軟件原因或誤操作而導(dǎo)致節(jié)點(diǎn)宕機(jī)的故障l 效勞故障:由效勞使用的網(wǎng)絡(luò)資源或存儲(chǔ)資源引起的而導(dǎo)致效勞不能正常運(yùn)行的故障l 切換:一個(gè)故障節(jié)點(diǎn)上的應(yīng)用效勞被一個(gè)備份節(jié)點(diǎn)接管3.1.2 Skybility HA Service簡(jiǎn)介Skybility HA Service屬于高可用性集

11、群軟件。Skybility HA ServiceLinux的高可用性集群解決方案,能夠保障企業(yè)的關(guān)鍵應(yīng)用提供24×7的效勞。通過(guò)Skybility HA Service,您可以構(gòu)建一個(gè)兩節(jié)點(diǎn)的集群系統(tǒng),于是,集群中的任一個(gè)節(jié)點(diǎn)就成為另一個(gè)節(jié)點(diǎn)的“熱備份,同時(shí),每個(gè)節(jié)點(diǎn)又都能用作正常的Linux效勞器。在一個(gè)典型的配置中,Skybility HA Service集群的硬件由兩臺(tái)連網(wǎng)的效勞器。在系統(tǒng)運(yùn)行過(guò)程中,效勞器之間通過(guò)客戶網(wǎng)絡(luò)或獨(dú)享網(wǎng)絡(luò)可選配、RS232連線可選配不斷使用心跳機(jī)制相互監(jiān)測(cè),當(dāng)發(fā)現(xiàn)其中一個(gè)節(jié)點(diǎn)由于某種原因發(fā)生故障時(shí),無(wú)論軟、硬件故障,另一個(gè)節(jié)點(diǎn)將接替故障節(jié)點(diǎn)的工作,從

12、IP地址資源,存儲(chǔ)資源到應(yīng)用程序,從而保障了整個(gè)系統(tǒng)的高可用性。同時(shí),Skybility HA Service支持冗余的心跳路徑和網(wǎng)絡(luò)通訊路徑,來(lái)保證故障檢測(cè)和消息傳遞更平安可靠。Skybility HA Service支持Linux下所有常用效勞的雙機(jī)方案,從單純的網(wǎng)絡(luò)效勞如LVS,到Web Server和Linux下主流的數(shù)據(jù)庫(kù)軟件,Skybility HA Service都能提供靈活的效勞保護(hù)策略,包括對(duì)于故障效勞的本地恢復(fù)和切換到備份節(jié)點(diǎn)。Skybility HA Service支持Active-Active和Active-Standby等多種效勞保護(hù)方式,能滿足用戶的多種要求。同時(shí)S

13、kybility HA Service支持大多數(shù)常用的網(wǎng)絡(luò)環(huán)境和存儲(chǔ)環(huán)境。他支持多網(wǎng)卡備份和負(fù)載均衡,使得效勞器能持續(xù),高性能的提供網(wǎng)絡(luò)效勞;另外,Skybility HA Service支持大多數(shù)常用的存儲(chǔ)設(shè)備,包括基于SCSI磁盤陣列柜,SAN, NAS,并內(nèi)置了一些特殊存儲(chǔ)設(shè)備比方IBM Exp300系列磁盤陣列柜的支持,同時(shí)支持多種日志文件系統(tǒng)和RAW文件系統(tǒng),能滿足所有高端用戶和低端用戶對(duì)存儲(chǔ)的需求。Skybility HA Service提供了多個(gè)應(yīng)用程序代理,如Oracle、Sybase、IBM DB2等,提供了對(duì)常用應(yīng)用程序更好的支持。當(dāng)然,您也可以通過(guò)Skybility HA

14、 Service的Application Agent API來(lái)定制自己的應(yīng)用程序代理。Skybility HA Service提供更豐富的配置模板,方便用戶配置,防止因?yàn)榕渲缅e(cuò)誤帶來(lái)的問(wèn)題。另外Skybility HA Service還提供開(kāi)放的用戶預(yù)警平臺(tái),用戶可以自己定制或采用我們提供的解決方案來(lái)使用效勞故障時(shí)的報(bào)警機(jī)制。對(duì)于系統(tǒng)的安裝和配置工作,Skybility HA Service在設(shè)計(jì)時(shí)就充分考慮到了易用性。從本地應(yīng)用程序到遠(yuǎn)程瀏覽器的applet的基于java2的圖形化的配置界面,系統(tǒng)管理員可以根據(jù)喜好自由選擇。同時(shí),所有的系統(tǒng)監(jiān)測(cè)和控制都可以遠(yuǎn)程進(jìn)行,能夠適應(yīng)各種復(fù)雜環(huán)境。另外

15、Skybility HA Service的可以在本地生成配置文件,然后拷貝到遠(yuǎn)程效勞器上,就能實(shí)現(xiàn)效勞器節(jié)點(diǎn)信息的配置,極大的方便了用戶大規(guī)模的應(yīng)用部署。3.1.3 Skybility HA Service的工作原理和特點(diǎn)3.1.3.1 Skybility HA Service 的工作原理不間斷的提供有效、準(zhǔn)確的效勞是高可用性集群軟件的設(shè)計(jì)目標(biāo)。在保證用戶數(shù)據(jù)完整性的前提下,當(dāng)系統(tǒng)或效勞失效時(shí),及時(shí)的將效勞切換到正常節(jié)點(diǎn),同時(shí)采取必要措施,幫助失敗節(jié)點(diǎn)能夠恢復(fù)正常。這都是Skybility HA Service所能提供的功能。常見(jiàn)的Skybility HA Service的硬件配置如以下圖所示

16、:IBMH C R U6IBMH C R U6IBMH C R U6IBMH C R U6IBMH C R U6IBMH C R U6H C R U6IBMH C R U6IBMH C R U6IBMH C R U6IBMH C R U6IBMH C R U6在上圖中,兩臺(tái)效勞器通過(guò)內(nèi)部網(wǎng)絡(luò)交叉線和外部網(wǎng)絡(luò)相連,共享一個(gè)存儲(chǔ)設(shè)備。在任何一個(gè)時(shí)刻,被監(jiān)控的效勞只運(yùn)行在其中一個(gè)節(jié)點(diǎn)上,采用虛擬的IP地址對(duì)外提供網(wǎng)絡(luò)效勞,將數(shù)據(jù)存放在共享磁盤上。當(dāng)效勞或者運(yùn)行效勞的節(jié)點(diǎn)出現(xiàn)故障的時(shí)候,備份的效勞器將在故障效勞的資源完全釋放掉的情況下啟動(dòng)該效勞,并使用相同的虛擬IP和存放在共享磁盤上的數(shù)據(jù)。這樣保證用

17、戶在使用該虛擬IP訪問(wèn)該效勞的時(shí),不會(huì)因?yàn)樾诘闹袛喽斐蓴?shù)據(jù)的喪失。一個(gè)簡(jiǎn)單的例如:我們使用Skybility HA Service提供一個(gè)Apache的效勞,然后使用客戶端下載??梢园l(fā)現(xiàn)在apache效勞出現(xiàn)故障時(shí)(kill apache效勞的進(jìn)程,拔掉網(wǎng)線,重起效勞器等),下載在中斷幾秒鐘后,會(huì)繼續(xù)執(zhí)行。3.1.3.2 Skybility HA 的工作特點(diǎn)3.1.3.3 主機(jī)與效勞Skybility HA Service設(shè)計(jì)為雙節(jié)點(diǎn)集群系統(tǒng),集群軟件同時(shí)運(yùn)行在兩臺(tái)主機(jī)上。對(duì)于主機(jī)上效勞的配置,根據(jù)用戶的需要,可以是一臺(tái)主機(jī)提供效勞,另一臺(tái)主機(jī)待命的“主動(dòng)被動(dòng)模式,也可以是兩臺(tái)主機(jī)同時(shí)提供

18、不同效勞,并且互為備份的“主動(dòng)主動(dòng)模式。如果用戶有兩臺(tái)同樣高配置的效勞器,并希望提供兩種或兩種以上的效勞,那么可以采用“主動(dòng)主動(dòng)模式以提高系統(tǒng)利用率;如果用戶有一臺(tái)高配置的效勞器和一臺(tái)較低配置的效勞器,希望建立高可用性效勞,那么可以采用“主動(dòng)被動(dòng)模式,并把效勞配置成“回切型。在任意時(shí)刻,兩臺(tái)主機(jī)可以同時(shí)對(duì)外提供總和多達(dá)十幾種的高可用性效勞。當(dāng)一個(gè)效勞發(fā)生故障切換時(shí),不會(huì)影響到其他效勞的正常運(yùn)行。Service AService ANode ANode BHeartbeatShared Storage主動(dòng)被動(dòng)模式Service BService BNode ANode BHeartbeatSer

19、vice AService AShared Storage主動(dòng)主動(dòng)模式3.1.3.4 故障監(jiān)測(cè)Skybility HA Service對(duì)于主機(jī)系統(tǒng)級(jí)的故障,兩臺(tái)主機(jī)間通訊的故障和所提供效勞的故障都能進(jìn)行準(zhǔn)確的實(shí)時(shí)監(jiān)測(cè)。l 系統(tǒng)和通訊監(jiān)測(cè)任何操作系統(tǒng),都有出現(xiàn)死機(jī)或系統(tǒng)掛起的可能。系統(tǒng)掛起和死機(jī)不同,系統(tǒng)掛起時(shí)對(duì)用戶的輸入不再有響應(yīng),好似被鎖住一樣,在有些情況下,系統(tǒng)掛起一段時(shí)間后,有可能重又繼續(xù)工作。Skybility HA Service可以準(zhǔn)確的檢測(cè)到一臺(tái)主機(jī)系統(tǒng)掛起或死機(jī)的發(fā)生,并把效勞切換到正常工作的主機(jī)上。為了監(jiān)測(cè)對(duì)等主機(jī)的狀態(tài),Skybility HA Service集群在兩臺(tái)主機(jī)

20、之間可以建立兩種方式的任意多條連接通路,這也被稱為“心跳Heartbeat。“心跳方式有UDP/IP連接和串行線連接兩種??梢允褂枚鄩K網(wǎng)卡,在兩臺(tái)主機(jī)間建立多條點(diǎn)對(duì)點(diǎn)的UDP/IP連接。如有多個(gè)串行口,那么可以建立多條串行連接。同時(shí),Skybility HA Service還可以設(shè)置仲裁節(jié)點(diǎn)(Tie breaker),來(lái)保證在心跳中斷情況下準(zhǔn)確判斷故障點(diǎn)。使用兩種方式的多條連接,也就是利用冗余的硬件,提高主機(jī)間通訊的可靠性。只有當(dāng)所有心跳通路全部失敗時(shí),才認(rèn)為兩主機(jī)在通訊上失效,此時(shí)Skybility HA Service會(huì)采取及時(shí)有效的應(yīng)對(duì)措施。l 效勞檢測(cè)Skybility HA Serv

21、ice對(duì)于效勞的狀態(tài)也會(huì)定時(shí)進(jìn)行監(jiān)測(cè),監(jiān)測(cè)的時(shí)間間隔可由用戶指定。Skybility HA Service提供一個(gè)“通用應(yīng)用程序代理,可以對(duì)各種效勞進(jìn)行一般性的監(jiān)測(cè)。對(duì)于常用類型的效勞,還有相應(yīng)的“應(yīng)用程序代理可以實(shí)現(xiàn)具有針對(duì)性的效勞監(jiān)測(cè)功能。用戶也可以自行編寫應(yīng)用程序代理,以滿足特殊的需要。Skybility HA Service還對(duì)效勞所使用的資源包括存儲(chǔ)資源和網(wǎng)絡(luò)資源進(jìn)行準(zhǔn)確的檢測(cè),通過(guò)底層的網(wǎng)卡數(shù)據(jù)流量的檢測(cè),Skybility HA Service可以準(zhǔn)確地獲得網(wǎng)卡的連接狀態(tài),為效勞的切換提供準(zhǔn)確的參考。l 故障的處理和效勞的切換通過(guò)的準(zhǔn)確的故障監(jiān)測(cè)手段,Skybility HA S

22、ervice能夠準(zhǔn)確智能的處理各種故障,以保護(hù)效勞的不間斷運(yùn)行。l 節(jié)點(diǎn)故障的處理當(dāng)Skybility HA Service中的節(jié)點(diǎn)A通過(guò)心跳發(fā)現(xiàn)節(jié)點(diǎn)B發(fā)生了故障,A會(huì)通過(guò)網(wǎng)絡(luò)或者電子開(kāi)關(guān)的STONITH(Shoot the other node in the head)的機(jī)制將B重起或者脫離集群。同時(shí)節(jié)點(diǎn)B也通過(guò)硬件級(jí)或系統(tǒng)級(jí)的watchdog機(jī)制,在系統(tǒng)崩潰時(shí)快速重起,從而能更好的釋放效勞占用的資源,以便節(jié)點(diǎn)A接管效勞,并保障數(shù)據(jù)的完整性。l 效勞故障的處理Skybility HA Service通過(guò)應(yīng)用程序代理和內(nèi)置的效勞資源監(jiān)控策略,能準(zhǔn)確地檢測(cè)效勞的故障。同時(shí),用戶可以自定義效勞檢測(cè)

23、的間隔,防止頻繁的效勞檢測(cè)帶來(lái)的效勞性能的損失。而且效勞檢測(cè)有一定的冗余度,防止某次突發(fā)的檢測(cè)故障帶來(lái)效勞的誤切換。當(dāng)節(jié)點(diǎn)A檢測(cè)到應(yīng)用程序自身的故障時(shí),A會(huì)先檢測(cè)節(jié)點(diǎn)B的狀態(tài),如果B上的HA沒(méi)有啟動(dòng)或者B上效勞的啟動(dòng)條件不具備比方提供網(wǎng)絡(luò)效勞的網(wǎng)絡(luò)接口斷開(kāi)時(shí),A將在本地恢復(fù)效勞;如果B的節(jié)點(diǎn)狀態(tài)正常且效勞啟動(dòng)條件具備的時(shí)候A將效勞切換到節(jié)點(diǎn)B上。當(dāng)節(jié)點(diǎn)A檢測(cè)到應(yīng)用程序所使用網(wǎng)絡(luò)出現(xiàn)故障時(shí),A會(huì)先檢測(cè)節(jié)點(diǎn)B的狀態(tài),如果B上的HA沒(méi)有啟動(dòng)或者B上效勞的啟動(dòng)條件不具備比方提供網(wǎng)絡(luò)效勞的網(wǎng)絡(luò)接口s斷開(kāi)時(shí),A對(duì)效勞不做處理,并通過(guò)emerge的日志在控制臺(tái)報(bào)警;如果B的節(jié)點(diǎn)狀態(tài)正常且效勞啟動(dòng)條件具備的時(shí)

24、候A將效勞切換到節(jié)點(diǎn)B上。l 故障處理的日志和報(bào)警機(jī)制Skybility HA Service通過(guò)系統(tǒng)的syslog接口來(lái)提供日志,您可以在/var/log/ha中查看HA在運(yùn)行中產(chǎn)生的日志。而且可以通過(guò)管理控制臺(tái)修改記錄日志的級(jí)別,使得用戶能查看更進(jìn)一步的日志信息,方便問(wèn)題的發(fā)現(xiàn)和系統(tǒng)的診斷。同時(shí),利用系統(tǒng)的logrotate工具,可以將日志自動(dòng)的備份和去除,防止造成系統(tǒng)日志過(guò)多導(dǎo)致磁盤資源耗盡。另外,Skybility HA Service還預(yù)留用戶報(bào)警的接口,用戶可以自己添加在當(dāng)有emergency日志時(shí)的報(bào)警事件,比方通過(guò)mail,短信或者警報(bào)等手段來(lái)通知管理員。l 一般故障場(chǎng)景的處理

25、l 系統(tǒng)軟、硬件故障的處理應(yīng)用場(chǎng)景1A,B兩臺(tái)效勞器正常運(yùn)行,效勞運(yùn)行在A上,在A上執(zhí)行reboot命令預(yù)期現(xiàn)象效勞在B上啟動(dòng),A重起后作為備機(jī)運(yùn)行應(yīng)用場(chǎng)景2A,B兩臺(tái)效勞器正常運(yùn)行,效勞運(yùn)行在A上,將A機(jī)掉電重起預(yù)期現(xiàn)象效勞在B上啟動(dòng),A重起后作為備機(jī)運(yùn)行應(yīng)用場(chǎng)景3A,B兩臺(tái)效勞器正常運(yùn)行,效勞運(yùn)行在A上,手工停掉A上的HA進(jìn)程預(yù)期現(xiàn)象效勞在B上啟動(dòng)l 網(wǎng)絡(luò)故障應(yīng)用場(chǎng)景4A,B兩臺(tái)效勞器正常運(yùn)行,效勞運(yùn)行在A上,手工拔掉效勞使用的網(wǎng)線預(yù)期現(xiàn)象效勞在B上啟動(dòng)應(yīng)用場(chǎng)景5A,B兩臺(tái)效勞器正常運(yùn)行,效勞運(yùn)行在A上,手工拔掉A,B上該效勞使用的網(wǎng)線,然后插上B的網(wǎng)線。預(yù)期現(xiàn)象在B的網(wǎng)線插上之前,效勞狀

26、態(tài)不改變,但是控制臺(tái)有警告信息。當(dāng)B的網(wǎng)線插上之后,效勞切換到B機(jī)上。應(yīng)用場(chǎng)景6A,B兩臺(tái)效勞器正常運(yùn)行,效勞運(yùn)行在A上,手工拔掉A機(jī)上所有的心跳線預(yù)期現(xiàn)象效勞在B上啟動(dòng),同時(shí)A重起應(yīng)用場(chǎng)景7A,B兩臺(tái)效勞器正常運(yùn)行,效勞運(yùn)行在A上,手工拔掉A B機(jī)上所有的心跳線預(yù)期現(xiàn)象這時(shí)候A,B同時(shí)重起,重起后狀態(tài)都為NODE_DOWNl 存儲(chǔ)設(shè)備故障應(yīng)用場(chǎng)景8A,B兩臺(tái)效勞器正常運(yùn)行,效勞運(yùn)行在A上,手工中斷A機(jī)到存儲(chǔ)的連接預(yù)期現(xiàn)象效勞在B上啟動(dòng)應(yīng)用場(chǎng)景9A,B兩臺(tái)效勞器正常運(yùn)行,效勞運(yùn)行在A上,手工中斷A,B機(jī)到存儲(chǔ)的連接預(yù)期現(xiàn)象效勞狀態(tài)沒(méi)有變化,但控制臺(tái)有報(bào)警信息l 應(yīng)用系統(tǒng)故障應(yīng)用場(chǎng)景10A,B兩

27、臺(tái)效勞器正常運(yùn)行,效勞運(yùn)行在A上,手工殺死A機(jī)上效勞的進(jìn)程預(yù)期現(xiàn)象效勞在B機(jī)上啟動(dòng)應(yīng)用場(chǎng)景11A,B兩臺(tái)效勞器正常運(yùn)行,效勞運(yùn)行在A上,效勞配置的優(yōu)先節(jié)點(diǎn)為A,并設(shè)定auto failback的選項(xiàng)。重起A效勞器預(yù)期現(xiàn)象效勞在B機(jī)上啟動(dòng),當(dāng)A重起完成后,效勞回切到A上3.1.4 Skybility HA Service 的功能模塊介紹Skybility HA Service包括兩個(gè)rpm格式的軟件包。l ha-xx.i586.rpm:HA的主進(jìn)程包l hainterface-xx.i586.rpm:HA的配置工具包。第4章 Skybility HA Service的安裝4.1 安裝前的準(zhǔn)備4.

28、1.1 硬件準(zhǔn)備為了實(shí)現(xiàn)集群系統(tǒng)的最大可用性,在保證我們Skybility HA Service能實(shí)現(xiàn)快速準(zhǔn)確的效勞切換的同時(shí),我們還需要盡量保證單個(gè)節(jié)點(diǎn)運(yùn)行效勞的可靠性。為了使Skybility HA Service能實(shí)現(xiàn)快速準(zhǔn)確的效勞切換,我們需要為兩個(gè)節(jié)點(diǎn)的HA提供冗余的心跳和通訊路徑;為了使單個(gè)節(jié)點(diǎn)運(yùn)行效勞的可靠性更高,我們需要在以下方面采取措施:l 效勞器電源:應(yīng)該采用冗余電源和UPS系統(tǒng)保證效勞器持續(xù)不間斷供電l 網(wǎng)絡(luò):應(yīng)該采用冗余網(wǎng)絡(luò)和冗余交換機(jī)才提供對(duì)外的網(wǎng)絡(luò)效勞,如以下圖l 存儲(chǔ):應(yīng)該采用RAID技術(shù)保證存儲(chǔ)數(shù)據(jù)的可靠性,同時(shí)使用冗余HBA卡和共享存儲(chǔ)設(shè)備的不同控制器相連來(lái)保

29、證效勞器到存儲(chǔ)之間的連接更可靠。如以下圖所示(以IBM FastT600為例)以上方案,集群使用者可以根據(jù)需要和工程預(yù)算來(lái)綜合選擇。綜上所述,我們推薦以下兩種硬件連接方式注,以下連接方式著重描述網(wǎng)絡(luò)連接,存儲(chǔ)連接可參照上述討論:l 方式一:冗余心跳,帶仲裁節(jié)點(diǎn)這種方式是Skybility HA Service最常用的連接方式,其中直連線也可以使用連接另一個(gè)交換機(jī)的網(wǎng)絡(luò)代替。連接在交換機(jī)上的網(wǎng)線負(fù)責(zé)提供對(duì)外的網(wǎng)絡(luò)效勞,同時(shí)提供HA的心跳和通訊路徑;而直連線負(fù)責(zé)做HA專門的心跳和通訊路徑。同時(shí)提供一個(gè)參考節(jié)點(diǎn),該參考節(jié)點(diǎn)必須保證效勞器A和效勞器B通過(guò)交換機(jī)都能夠訪問(wèn)到(能夠ping通)。這樣既兼顧

30、了本錢,又能使HA具有較高可靠性,能處理絕大多數(shù)故障情況。l 方式二:冗余專用心跳,不帶仲裁節(jié)點(diǎn)這種方式是具有較高可用性的一種解決方案,他使用專門的兩條直連線作為HA心跳和通訊鏈路;同時(shí)使用冗余的兩條網(wǎng)絡(luò)通道來(lái)對(duì)外提供網(wǎng)絡(luò)效勞。這在對(duì)網(wǎng)絡(luò)可靠性要求高的場(chǎng)合里經(jīng)常使用到。但是不設(shè)置仲裁節(jié)點(diǎn)會(huì)導(dǎo)致如果兩條直連線全部中斷時(shí),可能會(huì)導(dǎo)致集群中節(jié)點(diǎn)無(wú)法繼續(xù)控制對(duì)方節(jié)點(diǎn)上的效勞狀態(tài)。4.1.2 軟件準(zhǔn)備為了保證單個(gè)節(jié)點(diǎn)的穩(wěn)定性,選擇健壯可靠的操作系統(tǒng)也很重要。我們推薦使用SuSE Linux Enterprise Server 8/9。另外Skybility HA Service運(yùn)行時(shí)依賴兩個(gè)包:libx

31、ml2:xml2的解析庫(kù)java2-jre:java的運(yùn)行環(huán)境庫(kù)請(qǐng)確保這兩個(gè)包已經(jīng)被安裝到系統(tǒng)上,可以使用以下方式確認(rèn):> rpm -q libxml2libxml2-117> rpm -q java2-jrejava2-jre-524注:SLES8/SLES9帶了多個(gè)java運(yùn)行環(huán)境,安裝其中任何一個(gè)都可以。4.2 安裝Skybility HA Service 插入Skybility HA Service 1.2安裝光盤,以root用戶登錄,然后執(zhí)行:#cd /media/dvdInstalling SkyBility HA software.# Begin of S K Y B

32、 I L I T Y HA Installer #Would you check java package? (C)ontinue/(S)kip/(Q)uit? c cChecking java package doneEnter the full pathname of the local source directory: /media/dvd:Current directory is /media/dvdPreparing. # 100% 1:ha #done100%Preparing. # 100% 1:hainterface #done100%Would you install HA

33、 Solution? (C)ontinue/(S)kip/(Q)uit? c c./doc/sample/db2 done./doc/sample/informix done./doc/sample/ora.cf done./doc/sample/oracle done./doc/sample/ora.env done./doc/sample/sybase done./doc/sample/websphere doneInstallation Completed!# End of S K Y B I L I T Y HA Installer #安裝完成后,您可以使用>rpm q ha&g

34、t;rpm q hainterface來(lái)驗(yàn)證是否安裝成功。安裝成功后,還需要去。如果下載正式的license,你需要提供軟件包裝盒中提供的Register id,和運(yùn)行軟件效勞器的網(wǎng)卡MAC地址來(lái)獲得正式的license。獲取效勞器網(wǎng)卡地址的方法如下,以root登陸,然后運(yùn)行# ifconfigeth0 Link encap:Ethernet HWaddr 00:02:55:1E:35:3B inet6 addr: fe80:202:55ff:fe1e:353b/64 Scope:Link UP BROADCAST RUNNING MULTICAST MTU:1500 Metric:1 RX

35、packets:3368524 errors:0 dropped:0 overruns:0 frame:0 TX packets:2878962 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:100 RX bytes:1046514468 (998.0 Mb) TX bytes:3251176638 (3100.5 Mb) Interrupt:11 Base address:0xe800 Memory:d8020000-d8020038lo Link encap:Local Loopback inet6 addr

36、: :1/128 Scope:Host UP LOOPBACK RUNNING MTU:16436 Metric:1 RX packets:757208 errors:0 dropped:0 overruns:0 frame:0 TX packets:757208 errors:0 dropped:0 overruns:0 carrier:0 collisions:0 txqueuelen:0 RX bytes:3111888575 (2967.7 Mb) TX bytes:3111888575 (2967.7 Mb)其中“00:02:55:1E:35:3B即為網(wǎng)卡MAC地址。注意:如果效勞器

37、有多塊網(wǎng)卡,去任意一塊網(wǎng)卡的MAC地址即可。下載license文件之后,保存到/opt/ha/lic目錄下即可。4.3 Skybility HA Service命令簡(jiǎn)介所有ha使用的命令位于/opt/ha/bin下,下面介紹HA常用命令的用法:hadaemonsØ 作用:?jiǎn)?dòng)停止ha進(jìn)程Ø 用法:hadaemons start|stop|waitstop|statusØ 詳細(xì)介紹:n start: 啟動(dòng)ha進(jìn)程n stop:后臺(tái)停止ha進(jìn)程n waitstop:停止ha進(jìn)程,并等待其退出n status:顯示ha進(jìn)程狀態(tài)n HA進(jìn)程包括兩個(gè)hacomm, hace

38、nter。其中hacomm負(fù)責(zé)執(zhí)行兩個(gè)節(jié)點(diǎn)的心跳和通訊,hacenter負(fù)責(zé)執(zhí)行效勞的切換策略。hacenter由hacomm負(fù)責(zé)啟動(dòng)。haserviceØ 作用:?jiǎn)?dòng),停止和檢測(cè)ha所配置的效勞Ø 用法:haservice start|stop|status service_idØ 詳細(xì)介紹:n start: 啟動(dòng)service_id代表的效勞n stop:停止service_id代表的效勞n status:檢測(cè)service_id代表的效勞haGUIServerØ 作用:?jiǎn)?dòng),停止ha配置效勞器Ø 用法:haGUIServer start|

39、stop|statusØ 詳細(xì)描述:n start:?jiǎn)?dòng)ha配置效勞器n stop:停止ha配置效勞器n status:顯示ha配置效勞器狀態(tài)haGUIClientØ 作用:?jiǎn)?dòng)ha配置客戶端Ø 用法:haGUIClientØ 詳細(xì)描述:n haGUIClient用戶啟動(dòng)ha的基于java圖形配置客戶端hastatØ 作用:顯示ha進(jìn)程,心跳和效勞狀態(tài)Ø 用法:hastat -n -a -i intervalØ 詳細(xì)描述:n hastat用于顯示ha效勞器,心跳和效勞狀態(tài)。n -n表示顯示為compact stringn -

40、a表示也顯示所有節(jié)點(diǎn)上效勞的狀態(tài)。n -i interval: 表示持續(xù)顯示狀態(tài)并每隔interval妙刷新一次狀態(tài)haconfØ 作用:HA配置信息工具Ø 用法:haconf -f config -n keyØ 詳細(xì)描述:nn -n 通知ha進(jìn)程配置文件改變n key 讀取配置工具中的value對(duì)應(yīng)的鍵值hasvcadminØ 作用:HA效勞管理工具Ø 用法:hasvcadmin -s|-service service_id -n | -node nodeid -start |-stop |-relocate Ø 詳細(xì)描述:n -s

41、|-service: 指定需要操作的效勞的idn -n|-node nodeid:指定需要操作的節(jié)點(diǎn)的id,如果不指定,那么缺省為效勞所運(yùn)行的節(jié)點(diǎn)或者本地節(jié)點(diǎn)效勞停止時(shí)n -start |-stop |-relocate: 啟動(dòng)、停止、切換效勞haadminØ 作用:HA進(jìn)程管理工具Ø 用法:haadmin s -wp Ø 詳細(xì)描述:n -s:停止ha進(jìn)程n -p:停止hacomm,如果不指定,那么停止hacentern -w:等待進(jìn)程退出hanotifyØ 作用:用戶報(bào)警接口Ø 詳細(xì)描述:nhastonithØ 作用:電子開(kāi)關(guān)接口&

42、#216; 詳細(xì)描述:n第5章 Skybility HA Service的配置5.1 Skybility HA Service簡(jiǎn)要配置步驟5.2 Skybility HA Service配置詳解5.2.1 配置前準(zhǔn)備5.2.1.1 配置網(wǎng)絡(luò)和域名1. 修改/etc/hosts,將hostname唯一對(duì)應(yīng)到指定的IP上,刪除其他對(duì)應(yīng)到hostname上的IP,如下例所示:>vi /etc/hosts# hosts This file describes a number of hostname-to-address# mappings for the TCP/IP subsystem. I

43、t is mostly# used at boot time, when no name servers are running.# On small systems, this file can be used instead of a# "named" name server.# Syntax:# IP-Address Full-Qualified-Hostname Short-Hostname#127.0.0.1 localhost# special IPv6 addresses:1 localhost ipv6-localhost ipv6-loopbackfe00

44、:0 ipv6-localnetff00:0 ipv6-mcastprefixff02:1 ipv6-allnodesff02:2 ipv6-allroutersff02:3 ipv6-allhosts node1 node05.2.1.2 為配置效勞器提供認(rèn)證信息# /opt/ha/bin/hapasswdPlease input administrator name:rootPlease input the password:5.2.1.3 啟動(dòng)配置效勞器#/opt/ha/bin/haGUIServer start注意,以上步驟在兩臺(tái)效勞器上都需要進(jìn)行,并且兩臺(tái)效勞器配置效勞器的認(rèn)證用戶名

45、和密碼必須一致。/etc/hosts的內(nèi)容也必須一致5.2.2 開(kāi)始配置5.2.2.1 啟動(dòng)配置客戶端客戶端可以運(yùn)行在各種平臺(tái)上Windows, Linux, Unix 等,支持遠(yuǎn)程配置。同時(shí)您還可以使用瀏覽器用applet的方式來(lái)使用該配置工具。運(yùn)行配置工具之前的準(zhǔn)備:1、 請(qǐng)確認(rèn)在您運(yùn)行該配置工具的機(jī)器和需要配置的效勞器上正確的安裝和配置了java運(yùn)行環(huán)境(jre)或者java開(kāi)發(fā)環(huán)境(jdk)。版本應(yīng)該在以上。2、 在要配置效勞器上正確的安裝了Skybility HA Service 1.2 的軟件包,包括ha-3、 在要配置的效勞器上運(yùn)行了配置工具的server端,如果沒(méi)有,你可以運(yùn)行

46、 /opt/ha/bin/haGUIServer start。4、 為了保護(hù)您系統(tǒng)的平安性,你需要為配置工具提供用戶認(rèn)證的配置文件,具體的方法請(qǐng)參考配置用戶認(rèn)證文件。5、 該配置工具支持i18n標(biāo)準(zhǔn),您可以修改系統(tǒng)的字符集來(lái)選擇使用中文界面或者英文界面。具體的修改方法請(qǐng)參考系統(tǒng)手冊(cè) 6、 如果您使用瀏覽器來(lái)進(jìn)行配置,請(qǐng)確認(rèn)您的瀏覽器支持java applet。你可以在windows,linux或支持java的瀏覽器端來(lái)使用配置HA,操作分別如下:1 windows下,雙擊haadmin.exe,即可2 linux下,輸入命令/opt/ha/bin/haGUIClient 即可3 在瀏覽器下,

47、輸入 :/your_ha_server_ip:8089 ,然后選擇接受證書即可。5.2.3 配置流程您需要遵照以下流程來(lái)配置HA效勞器:1、 登陸效勞器,請(qǐng)參照登陸界面一章2、 添加第一臺(tái)效勞器,請(qǐng)參照添加第一臺(tái)效勞器一章3、 添加第二臺(tái)效勞器,請(qǐng)參照添加第二臺(tái)效勞器一章4、 添加效勞器之間的心跳路徑,請(qǐng)參照添加心跳路徑一章5、 添加效勞,請(qǐng)參照添加效勞一章6、 啟動(dòng)HA效勞器,請(qǐng)參照啟動(dòng)停止效勞器一章5.2.3.1 登陸界面圖表 1輸入效勞器的名稱或者是IP地址,用戶名和密碼后按“確定按鈕。5.2.4 效勞器配置5.2.4.1 添加第一臺(tái)效勞器登錄成功后會(huì)顯示如圖2界面.你可以通過(guò)依次選擇工

48、具(Tools),效勞器(Server),添加效勞器(Add Server),來(lái)添加效勞器,也可以單擊工具欄上的添加效勞器圖標(biāo)來(lái)進(jìn)行添加,添加效勞器的界面如圖3所示:圖3:配置界面的每一項(xiàng)的詳細(xì)說(shuō)明如下:5.2.4.2 效勞器名(Server Name):你所添加的效勞器的名稱或者是IP地址.5.2.4.3 參考IP(Tie Breaker):HA需要提供一個(gè)參考IP來(lái)判斷自己是否處在網(wǎng)絡(luò)連通狀態(tài)。這里您需要輸入一個(gè)一直能夠ping通的ip或者主機(jī)名;如果您選擇空白,HA在網(wǎng)絡(luò)故障的時(shí)候,將不會(huì)切換效勞。5.2.4.4 Watchdog驅(qū)動(dòng)模塊(Watchdog Driver):在不提供STO

49、NITH(Shoot The Other Node In The Head)設(shè)備的情況下,HA在系統(tǒng)宕機(jī)的情況下可能不能釋放所啟動(dòng)效勞使用的資源,導(dǎo)致切換發(fā)生錯(cuò)誤。這時(shí)需要使用Watchdog來(lái)保證HA在系統(tǒng)宕及時(shí)能及時(shí)重起系統(tǒng)來(lái)釋放所有共享的資源,從而保證效勞正確的切換。請(qǐng)咨詢您的效勞器提供廠商來(lái)獲得系統(tǒng)的watchdog信息和驅(qū)動(dòng)程序。如果您的效勞器不提供硬件的watchdog或者該watchdog在linux下沒(méi)有適宜的驅(qū)動(dòng)程序的話,您可以選擇kernel提供的軟件watchdog:softdog。5.2.4.5 保存配置輸入正確的配置信息后,按確定按鈕完成配置.系統(tǒng)會(huì)嘗試按照你所填寫的

50、效勞器名或IP地址連接效勞器,連接成功后,系統(tǒng)先對(duì)所輸入的配置信息進(jìn)行檢測(cè), 檢測(cè)成功后把配置信息保存到效勞器上的指定位置。5.2.4.6 添加第二臺(tái)效勞器按照添加第一臺(tái)效勞器的方法,您可以添加第二臺(tái)效勞器。在添加完第二臺(tái)效勞器后,配置工具會(huì)提示你配置這兩臺(tái)效勞器之間的心跳路徑。如果您沒(méi)有正確地配置心跳路徑的話,第二臺(tái)效勞器將會(huì)添加不成功。如何配置心跳路徑,請(qǐng)參照下文添加心跳路徑的內(nèi)容。5.2.4.7 刪除效勞器在刪除效勞器之前,你應(yīng)該先停止掉所有效勞器上的HA進(jìn)程,然后點(diǎn)擊菜單上的“工具(Tools)-“效勞器(Server)-“刪除效勞器(Delete Server)或者工具欄上“刪除效勞器的按鈕,來(lái)刪除效勞器。5.2.4.8 修改效勞器參數(shù)在修改效勞器參數(shù)之前,你應(yīng)該先停止掉所有效勞器上的HA進(jìn)程。有三種方法修改效勞器參數(shù):1、 點(diǎn)擊在要修改的效勞器圖標(biāo),然后點(diǎn)擊菜單上的“工具(Tools)-“效勞器(Server)-“修改效勞器(Mo

溫馨提示

  • 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫(kù)網(wǎng)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。

評(píng)論

0/150

提交評(píng)論