Greenplum數(shù)據(jù)庫安裝方案_第1頁
Greenplum數(shù)據(jù)庫安裝方案_第2頁
Greenplum數(shù)據(jù)庫安裝方案_第3頁
Greenplum數(shù)據(jù)庫安裝方案_第4頁
Greenplum數(shù)據(jù)庫安裝方案_第5頁
已閱讀5頁,還剩19頁未讀 繼續(xù)免費(fèi)閱讀

下載本文檔

版權(quán)說明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請進(jìn)行舉報或認(rèn)領(lǐng)

文檔簡介

江西移動Greenplum數(shù)據(jù)庫安裝

修改記錄物理環(huán)境部署錯誤!未定義書簽。Greenplum物理架構(gòu)設(shè)計錯誤!未定義書簽。磁盤硬件RAID設(shè)計錯誤!未定義書簽。網(wǎng)絡(luò)IP規(guī)劃錯誤!未定義書簽。軟件環(huán)境安裝配置錯誤!未定義書簽。操作系統(tǒng)安裝配置錯誤!未定義書簽。操作系統(tǒng)參數(shù)設(shè)置錯誤!未定義書簽。操作系統(tǒng)安全配置錯誤!未定義書簽。操作系統(tǒng)用戶組和用戶錯誤!未定義書簽。網(wǎng)絡(luò)配置錯誤!未定義書簽。集群NTP服務(wù)時鐘同步配置錯誤!未定義書簽。數(shù)據(jù)庫系統(tǒng)安裝配置錯誤!未定義書簽。Greenplum軟件安裝錯誤!未定義書簽。數(shù)據(jù)庫初始化錯誤!未定義書簽。數(shù)據(jù)庫參數(shù)錯誤!未定義書簽。數(shù)據(jù)庫參數(shù)設(shè)置錯誤!未定義書簽。調(diào)整連接控制參數(shù)錯誤!未定義書簽。Commandcenter安裝錯誤!未定義書簽。SynchronhatioinprocessIntercannectSwitches1物理環(huán)境部署1.1Greenplum物理架構(gòu)概述SynchronhatioinprocessIntercannectSwitchesGreenplum是一種基于postgresql(開源數(shù)據(jù)庫)的分布式數(shù)據(jù)庫。其采用sharednothing架構(gòu)(MPP),主機(jī),操作系統(tǒng),內(nèi)存,存儲都是自我控制的,不存在共享。主要由masterhost(master管理節(jié)點(diǎn)),segmenthost(segment數(shù)據(jù)節(jié)點(diǎn)),interconnect(網(wǎng)絡(luò))三大組件組成,segmenthost又包括primarysegment(主segment實例)及mirrorsegment(鏡像segment實例)。如下圖所示:Piimarvsepnent1MirrorbtigirngntJPrimary2MirrorSEgruEint耳pirim^rysegment3Mirrorsegment1Primary觀gnwnt4Mirrorsegment2其中各組件功能如下:Masterhost(master管理節(jié)點(diǎn))主要負(fù)責(zé)接收并分配查詢等任務(wù),是Greenplum環(huán)境與外界通信的入口。并且,master管理節(jié)點(diǎn)不存儲任何業(yè)務(wù)數(shù)據(jù),只負(fù)責(zé)對各Segment數(shù)據(jù)節(jié)點(diǎn)抽取出的業(yè)務(wù)數(shù)據(jù)進(jìn)行匯總,反饋給用戶。Standbymaster(Standbymaster管理節(jié)點(diǎn))主要作為master管理節(jié)點(diǎn)的熱備份節(jié)點(diǎn),當(dāng)master管理節(jié)點(diǎn)宕機(jī)時Standbymaster則扮演master管理節(jié)點(diǎn)角色。Node/segmenthost(Segment數(shù)據(jù)節(jié)點(diǎn))主要負(fù)責(zé)運(yùn)行Segmentinstances(Segment實例)的服務(wù)進(jìn)程,支撐多少個Segment實例取決于Segment數(shù)據(jù)節(jié)點(diǎn)CPU核數(shù)。PrimarySegment(主實例)存放數(shù)據(jù)庫一部分獨(dú)立數(shù)據(jù)(即每個主實例存放的數(shù)據(jù)完全不一樣),主要負(fù)責(zé)處理查詢等任務(wù),每個Segment數(shù)據(jù)節(jié)點(diǎn)能配置多少個主實例取決于CPU等物理配置情況。當(dāng)加載數(shù)據(jù)至數(shù)據(jù)庫時,數(shù)據(jù)庫按既定的分配算法決定實例分別存放哪些數(shù)據(jù),當(dāng)master將執(zhí)行計劃發(fā)給各實例,各實例主要處理其負(fù)責(zé)的那部分?jǐn)?shù)據(jù)。Mirrorsegment(鏡像實例)主要作為PrimarySegment(主實例)的熱備份節(jié)點(diǎn),當(dāng)PrimarySegment(主實例)不可用時Mirrorsegment(鏡像實例)則扮演master管理節(jié)點(diǎn)角色。Interconnectswitches(互連交換機(jī))是Greenplum數(shù)據(jù)庫環(huán)境的通信核心,主要負(fù)責(zé)各節(jié)點(diǎn)的通信交互。1.2硬件環(huán)境1.Master/Standby服務(wù)器Master硬件信息設(shè)備型號華為RH2288HV2<1>CPU英特爾志強(qiáng)8核E5-2650V2處理器2*8core內(nèi)存192G磁盤23*900GB網(wǎng)卡端口4*1GE+4*10GB口服務(wù)器數(shù)量22.,Segment服務(wù)器Slaver硬件信息設(shè)備型號華為RH2288HV2<1>CPU英特爾志強(qiáng)8核E5-2650V2處理器2*8core內(nèi)存192G磁盤23*900GB網(wǎng)卡端口4*1GE+4*10GB口服務(wù)器數(shù)量17(當(dāng)前環(huán)境13臺)3.萬兆網(wǎng)絡(luò)2臺華為交換機(jī)9300做了交換機(jī)堆疊配置,每臺服務(wù)器連接2條萬兆網(wǎng)線,分別連接到兩臺交換機(jī),在主機(jī)上配置網(wǎng)卡聚合,實現(xiàn)負(fù)載均衡和容錯。1.3磁盤硬件RAID設(shè)計考慮數(shù)據(jù)安全性、可靠性、運(yùn)行性能和容量需求,在硬件方面采用RAID進(jìn)行進(jìn)行數(shù)據(jù)保護(hù)。對于磁盤RAID設(shè)置要求:RAID卡打開“WriteBack^Cache設(shè)置和“Readahead”讀策略。分成2組RAID5:12*900G+11*900G。

1.4網(wǎng)絡(luò)IP規(guī)劃為了最大程度滿足性能和可靠性的要求,集群配置了2臺華為9300交換機(jī),做了交換機(jī)堆疊配置,每臺服務(wù)器連接2條萬兆網(wǎng)線,分別連接到兩臺交換機(jī),在主機(jī)上配置網(wǎng)卡聚合(mode=4),實現(xiàn)負(fù)載均衡和容錯。由于采用網(wǎng)卡聚合技術(shù),每臺服務(wù)器只需配置一個IP地址,整個集群處于一個vlan之中。用途機(jī)器名IPGPDBMasterjxgpmaster01Standbyjxgpmaster02Segmentjxgpseg052軟件環(huán)境安裝配置2.1操作系統(tǒng)安裝配置2.1.1BIOS設(shè)置>進(jìn)入BIOS功能界面,開啟BIOS超線程/開啟>驗證BIOS超線程設(shè)置合規(guī)性:A:grep-i‘cpucores’|/proc/cpuinfo|wc-lB:grep-i‘processor’|/proc/cpuinfo|wc-l>檢查結(jié)果:處理器數(shù)量是核數(shù)的2倍。2.1.2操作系統(tǒng)安裝設(shè)置安裝操作系統(tǒng)基礎(chǔ)包操作系統(tǒng)版本:RedhatEnterpriseLinuxServer(64bit)>要求:選擇“最小”軟件組方式安裝RedHatEnterpriseLinux(64bit)/選中“現(xiàn)在自定義”選項,選擇安裝其他系統(tǒng)工具包。安裝系統(tǒng)語言包>要求:操作系統(tǒng)安裝過程中,請安裝以下語言支持。POSIXC和locales在安裝操作系統(tǒng)時安裝。即ThePOSIXCandlocalesmustbeinstalledduringtheOSinstallation.Additionallocalesmaybeinstalledasnecessarytosuitthecustomer.?以English(English)作為操作系統(tǒng)安裝/登錄時采用的語言。?除英文環(huán)境,在安裝附加語言支持時,選擇簡體中文。即、、、,等中文語言包需要在安裝操作系統(tǒng)時一并安裝。安裝系統(tǒng)工具包組件名稱組件功能版本要求驗證檢查Kdump系統(tǒng)信息轉(zhuǎn)儲工具與操作系統(tǒng)相同版本ServicekdumpstatusWhichkdumpNtp時間同步服務(wù)與操作系統(tǒng)相同版本ServicentpdstatusPerlPerl語言工具包與操作系統(tǒng)相同版本Perl--versionTcpdump網(wǎng)絡(luò)數(shù)據(jù)采集分析工具與操作系統(tǒng)相同版本whichTcpdumpUnzip/zlib5解壓工具與操作系統(tǒng)相同版本whichUnzipXfsdumpXfs文件系與操作系統(tǒng)相同whichXfsdump統(tǒng)工具版本XfsprogsXfs文件系統(tǒng)工具與操作系統(tǒng)相同版本whichxfssprogsEd編輯器與操作系統(tǒng)相同版本whichedjdk-6u43Tinux-x64-rpmJdk工具,從Oracle下載安裝與操作系統(tǒng)相同版本jdk-versionipmi/ipmitool遠(yuǎn)程管理診斷工具與操作系統(tǒng)相同版本ipmitool--VGdb程序運(yùn)行時調(diào)試工具與操作系統(tǒng)相同版本whichgdbPstack程序運(yùn)行時調(diào)試工具(依賴于gdb)與操作系統(tǒng)相同版本whichpstackNmon系統(tǒng)性能監(jiān)測工具與操作系統(tǒng)相同版本whichnmon開發(fā)語言連接驅(qū)動開發(fā)語言連接數(shù)據(jù)庫需要特定的驅(qū)動,目前Greenplum與第三方開發(fā)語言連接方式有如下規(guī)范:Greenplum自帶。/C++開發(fā)語言驅(qū)動,不需要安裝任何驅(qū)動。Greenplum自帶JDBC/ODBC連接驅(qū)動,開發(fā)語言可通過JDBC或ODBC連接數(shù)據(jù)庫,例如Java開發(fā)語言可通過JDBC連接數(shù)據(jù)庫。>對于自帶有JDBC/ODBC連接驅(qū)動的開發(fā)語言,可直接通過自身的JDBC/ODBC連接數(shù)據(jù)庫Python及Perl開發(fā)語言不能通過JDBC/ODBC連接數(shù)據(jù)庫,需通過DBD連接,則要在安裝操作系統(tǒng)完成后獨(dú)立部署安裝。例如LDS及SOR數(shù)據(jù)庫集群開發(fā)語言是Perl,則是需要安裝如下DBD驅(qū)動軟件包。時區(qū)配置>配置時區(qū)要求如下:/選擇時區(qū)為東八區(qū)“亞洲/上海-中國東部”?Asia/ShanghaiEastChina-Beijing,Guangdong,Shanghai,etc.?系統(tǒng)時鐘不使用UTC文件系統(tǒng)和分區(qū)配置?由于RAID磁盤組大于2T,建議采用parted分區(qū),不采用LVM進(jìn)行管理。?Greenplum官方推薦最適合的文件系統(tǒng)是XFS,其他文件系統(tǒng)類型原則上不推薦;?掛載點(diǎn)八、、大小文件系統(tǒng)類型說明/400Gext4安裝操作系統(tǒng)和應(yīng)用軟件/boot200Mext4linux啟動目錄無192Gswap系統(tǒng)交換空間/datalxfshadoop數(shù)據(jù)目錄/data2xfshadoop數(shù)據(jù)目錄網(wǎng)卡配置每臺服務(wù)器采取2網(wǎng)卡綁定的方式提高網(wǎng)絡(luò)帶寬(需要交換機(jī)支持),網(wǎng)卡綁定參考如下過程:停止NetworkManager服務(wù)serviceNetworkManagerstopchkconfigNetworkManageroff新建/etc/sysconfig/network-scripts/ifcfg-bond0文件DEVICE=bond0ONBOOT=yesBOOTPROTO=staticIPADDR=…NETMASK=…GATEWAY=…USERCTL=no分別修改每塊slave網(wǎng)卡的設(shè)置文件,假設(shè)slave網(wǎng)卡為eth0,則按以下內(nèi)容更改/etc/sysconfig/network-scripts/ifcfg-eth0文件:DEVICE=eth0ONBOOT=yesBOOTPROTO=noneMASTER=bond0USERCTL=no以步驟3的方式修改另一塊slave網(wǎng)卡配置編輯/etc/文件,加入以下內(nèi)容aliasbond0bondingoptionsbond0miimon=100mode=4重啟network服務(wù)servicenetworkrestart檢查網(wǎng)絡(luò)連通性說明:miimon是用來進(jìn)行鏈路監(jiān)測的。比如:miimon=100,那么系統(tǒng)每100ms監(jiān)測一次鏈路連接狀態(tài),如果有一條線路不通就轉(zhuǎn)入另一條線路;mode的值表示工作模式,共有0,1,2,3,4,5,6七種模式2.2操作系統(tǒng)參數(shù)設(shè)置設(shè)置類型內(nèi)容硬盤調(diào)度算法elevator=deadline內(nèi)核參數(shù)設(shè)置方法修改/boot/grub/找到kernel/vmlinuz-xxx這一行,在最后添加elevator=deadline/elevator=deadlinetransparent_hugepage=neve檢查/驗證方法系統(tǒng)啟動正常后,執(zhí)行cat/sys/block/*/queue/scheduler應(yīng)能看到:noopanticipatorydeadline[cfq]系統(tǒng)運(yùn)行級別系統(tǒng)?設(shè)置方法設(shè)置在/etc/inittab文件中,將行id:5:initdefault改成:id:3:initdefault?檢查/驗證方法執(zhí)行cat/etc/inittab應(yīng)能看到:id:3:initdefault磁盤預(yù)讀取block系統(tǒng)設(shè)置?設(shè)置辦法修改磁盤預(yù)讀取block系統(tǒng)設(shè)置?設(shè)置辦法修改/etc/增加兩行readahead=16384blockdev--setra16384/dev/sd(所有硬盤)?檢查辦法系統(tǒng)重啟后運(yùn)行blockdev--getra/dev/sd*blockdev--getra/dev/vg0/*

應(yīng)都是16384語言與字符集language=系統(tǒng)語言與字符集language=系統(tǒng)設(shè)置?設(shè)置辦法系統(tǒng)安裝時指定。?檢查辦法登錄系統(tǒng),執(zhí)行命令locale結(jié)果應(yīng)該是系統(tǒng)?設(shè)置辦法設(shè)置修改/etc/,增加以下內(nèi)容:=00=00=4096=2505120001002048=1=1=2048=1=0=0=1=4096=1=102565535=10000=2097152=2097152=2=/data1/coredump/core.%e.%p.%t.%u.%g=0=0=1=1=65536=2048=65536=0=4096=00=2505120001002048=1=102565535=1注:如需增加連接數(shù),可增加然后執(zhí)行sysctl-p。檢查辦法用sysctl,檢查上述各參數(shù)是否匹配。用戶資源限額系統(tǒng)設(shè)置設(shè)置辦法用戶資源限額系統(tǒng)設(shè)置修改/etc/security/增加以下幾行:softnofile1048576hardnofile1048576hardnproc1048576softnproc1048576ulimit-cunlimitedEndoffile#gpadminsoftnproc131072#gpadminhardnproc131072softnofile1048576hardnofile1048576修改/etc/security/增加以下幾行:softnproc1048576hardnproc1048576softnofile1048576hardnofile1048576ulimit-cunlimitedsoftnproc1048576hardnproc1048576檢查辦法用任意普通用戶登錄,執(zhí)行ulimit-a檢查上述參數(shù)是否匹配。2.3操作系統(tǒng)安全配置2.3.1關(guān)閉防火墻和SELinux>在操作系統(tǒng)安裝過程中,關(guān)閉操作系統(tǒng)自帶防火墻。chkconfigiptablesoffserviceiptablesstop>關(guān)閉SELinux,設(shè)置/etc/selinux/config文件中SELINUX二disabled。2.3.2關(guān)閉不必要的服務(wù)關(guān)閉所有不需要的服務(wù),減少這些服務(wù)對系統(tǒng)資源的占用。部分LINUX服務(wù)信息如下:系統(tǒng)服務(wù)名稱進(jìn)程摘要建議abrt-ccppC/C++程序問題收集工具關(guān)閉AbrtdAutomaticBugReportingTool關(guān)閉abrt-oops內(nèi)核嚴(yán)重異常信息收集工具關(guān)閉AcpidACPID事件監(jiān)聽和分發(fā)進(jìn)程關(guān)閉Atd定時任務(wù)進(jìn)程關(guān)閉Auditd系統(tǒng)審計進(jìn)程關(guān)閉AutofsAufofs管理進(jìn)程關(guān)閉avahi-daemon本地網(wǎng)絡(luò)服務(wù)查找關(guān)閉Bluetooth藍(lán)牙協(xié)議守護(hù)進(jìn)程關(guān)閉Certmonger認(rèn)證期限監(jiān)控關(guān)閉CpuspeedCpu速率調(diào)整進(jìn)程關(guān)閉

Crond定時任務(wù)進(jìn)程打開CupsCups打印機(jī)進(jìn)程關(guān)閉Firstboot系統(tǒng)首次啟動時的配置關(guān)閉Haldaemon硬件信息維護(hù)和管理進(jìn)程關(guān)閉ip6tablesipv6包過濾軟件防火墻進(jìn)程關(guān)閉Iptables包過濾軟件防火墻進(jìn)程關(guān)閉Irqbalance中斷平衡進(jìn)程打開lvm2-monitorlvm的mirror監(jiān)控進(jìn)程關(guān)閉Mdmonitor軟RAID監(jiān)控進(jìn)程關(guān)閉MessagebusDBUS消息總線進(jìn)程關(guān)閉Netfs網(wǎng)絡(luò)文件系統(tǒng)進(jìn)程關(guān)閉Network網(wǎng)絡(luò)進(jìn)程打開NetworkManager網(wǎng)絡(luò)自動管理進(jìn)程關(guān)閉NfslockNfs鎖機(jī)制進(jìn)程關(guān)閉PortreserveRPC服務(wù)相關(guān)關(guān)閉Postfix電子郵件服務(wù)關(guān)閉Rhnsd操作系統(tǒng)自動更新進(jìn)程關(guān)閉Rhsmcertd在線更新訂閱狀態(tài)信息關(guān)閉RpcbindRPC服務(wù)相關(guān)關(guān)閉Rpcgssd針對nfsv4客戶端管理RPCSECGSScontexts進(jìn)程關(guān)閉RpcidmapdRPC名字與UID/GID映射進(jìn)程關(guān)閉Rsyslog系統(tǒng)日志進(jìn)程打開Sshd系統(tǒng)日志進(jìn)程打開Sysstat系統(tǒng)統(tǒng)計信息進(jìn)程打開udev-post設(shè)備管理系統(tǒng)關(guān)閉Ipmi遠(yuǎn)程診斷打開2.3.3禁止不用的用戶登錄系統(tǒng)生成的默認(rèn)用戶,如ftp、nobody、lp等,默認(rèn)情況下這些用戶不可登錄系統(tǒng)。序號參數(shù)參數(shù)名稱default建議值調(diào)整原則及注釋1Umaskumaskumask=022umask=022增強(qiáng)安全性2TMOUT登錄shell超時設(shè)置未設(shè)置編輯/etc/profile文件TMOUT=120exportTMOUT增強(qiáng)安全性2.4操作系統(tǒng)用戶組和用戶>創(chuàng)建用戶組及用戶>groupaddgpmonAuseradd-ggpmongpmon組GID用戶UID主目錄說明Gpadmin3030gpadmin3030/home/gpadminGp系統(tǒng)用戶Gpmon3040gpmon3040/home/gpmonGp監(jiān)控用戶>設(shè)置用戶初始密碼Gpadmin用戶的密碼為xxxxGpmon用戶的密碼為xxxx2.5網(wǎng)絡(luò)配置按照數(shù)據(jù)倉庫系統(tǒng)集群IP對應(yīng)關(guān)系,配置所有節(jié)點(diǎn)的/etc/hosts文件,要求將所有節(jié)點(diǎn)的IP、服務(wù)器別名及服務(wù)器名都編輯到/etc/hosts文件,具體內(nèi)容如下:jxgpmaster01jxgpmaster02jxgpseg05jxgpseg06jxgpseg07jxgpseg08jxgpseg09jxgpseg10jxgpseglljxgpseg12jxgpseg13jxgpseg14jxgpseg15jxgpseg16jxgpseg172.6集群NTP服務(wù)時鐘同步配置集群NTP服務(wù)配置要求:選定時間同步服務(wù)器節(jié)點(diǎn),然后編輯/etc/,輸入時間同步服務(wù)器節(jié)點(diǎn)IP地址。開啟ntpd服務(wù)servicentpdrestartchkconfigntodonn>驗證集群NTP服務(wù)配置合規(guī)性:執(zhí)行命令:Servicentpdstatus執(zhí)行結(jié)果:Ntpd(pid5091)isrunning…3數(shù)據(jù)庫系統(tǒng)安裝配置3.1Greenplum軟件安裝3.1.1軟件及相關(guān)工具清單>Greenplum軟件3.1.2關(guān)閉不需要的服務(wù)(所有節(jié)點(diǎn))防火墻用以下命令關(guān)閉防火墻serviceiptablessaveserviceiptablesstopchkconfigiptablesoffserviceip6tablessaveserviceip6tablesstopchkconfigip6tablesoff其他需要關(guān)閉的服務(wù)chkconfigavahi-daemonoffchkconfigavahi-dnsconfdoffchkconfigconmanoffchkconfigbluetoothoffchkconfigcpuspeedoffchkconfigsetroubleshootoffchkconfighiddoffchkconfighplipoffchkconfigisdnoffchkconfigkudzuoffchkconfigyum-updatesdoff3.1.3啟動IPMI服務(wù)(所有節(jié)點(diǎn))(IPMI(IntelligentPlatformManagementInterface)即智能平臺管理接口是使硬件管理具備“智能化”的新一代通用接口標(biāo)準(zhǔn)。如果沒有安裝相關(guān)服務(wù),建議安裝),執(zhí)行以下命令:serviceipmistartchkconfigipmion3.1.4Master節(jié)點(diǎn)安裝和多機(jī)信任軟件安裝>軟件安裝目錄:/usr/local/>在Master節(jié)點(diǎn)上,以root用戶執(zhí)行,按照提示進(jìn)行安裝。cd/usr/local>tarzxvf<安裝程序所在目錄>/創(chuàng)建符號鏈接greenplum-db指向Greenplum安裝目錄,修改root用戶環(huán)境變量配置>修改root用戶home的~/.bashrc配置文件,增加source/usr/local/greenplum-db/root用戶建立多機(jī)信任使用root用戶在Master主機(jī)上操作:gpssh-exkeys-f./all-nodes(所有節(jié)點(diǎn)主機(jī)名)?驗證配置:選擇某個節(jié)點(diǎn),從master通過ssh命令連接,不輸入任何密碼。?檢查結(jié)果:可正常連接被信任節(jié)點(diǎn)。Greenplum節(jié)點(diǎn)數(shù)據(jù)目錄在相應(yīng)節(jié)點(diǎn)按如下表的數(shù)據(jù)目錄規(guī)則創(chuàng)建目錄,并授予gpadmin用戶所有操作權(quán)限。節(jié)點(diǎn)數(shù)據(jù)目錄目錄屬主權(quán)限目錄用途驗證方式Master/Stand/data1/mastgpadmin所有節(jié)點(diǎn)數(shù)ls-lr/data1/masterbyMasterer據(jù)目錄Segment/data1/primary/data2/primarygpadmin所有節(jié)點(diǎn)數(shù)據(jù)目錄ls-lr/data1/primary/data2/primarySegment/data1/mirror/data2/mirrorgpadmin所有節(jié)點(diǎn)數(shù)據(jù)目錄Is-lr/datal/mirror/data2/mirror修改gpadmin用戶環(huán)境變更配置【Master和StandbyMaster主機(jī)】:修改~/.bashrc文件,添加如下內(nèi)容:source/usr/local/greenplum-db/MASTER_DATA_DIRECTORY=/u01/master/gpseg-1exportMASTER_DATA_DIRECTORY(gpstart默認(rèn)啟動的目錄)[Segment主機(jī)】:修改~/.bashrc文件,添加如下內(nèi)容:source/usr/local/greenplum-db/gpadmin用戶建立多機(jī)信任使用gpadmin用戶在Master主機(jī)上操作:gpssh-exkeys-f./all-nodes(所有節(jié)點(diǎn)主機(jī)名)?驗證配置:選擇某個節(jié)點(diǎn),從master通過ssh命令連接,不輸入任何密碼。?檢查結(jié)果:可正常連接被信任節(jié)點(diǎn)。3.1.5其它節(jié)點(diǎn)安裝Segment節(jié)點(diǎn)上的安裝在Master節(jié)點(diǎn)上,以root用戶身份,執(zhí)行以下命令:./usr/local/greenplum-db/gpseginstall-f./stby_all_segs(所有segment數(shù)據(jù)節(jié)點(diǎn)及standbymaster管理節(jié)點(diǎn)主機(jī)名)3.2數(shù)據(jù)庫初始化在Master節(jié)點(diǎn)上以gpadmin用戶身份完成以下各小節(jié)安裝。3.2.1數(shù)據(jù)庫初始化配置文件創(chuàng)建文件gpinitsystem_config內(nèi)容如下:ARRAY_NAME="EMCGreenplumDW"SEG_PREFIX=gpsegPORT_BASE=40000declare-aDATA_DIRECTORY=((/data1/primary/data2/primary/data1/primary/data2/primary/data1/primary/data2/primary/data1/primary/data2/primary))MASTER_HOSTNAME=mdwMASTER_DIRECTORY=/data1/masterMASTER_PORT=5432TRUSTED_SHELL=sshCHECK_POINT_SEGMENTS=8ENCODING=UNICODEMIRROR_PORT_BASE=50000REPLICATION_PORT_BASE=41000MIRROR_REPLICATION_PORT_BASE=51000declare-aMIRROR_DATA_DIRECTORY=(/data1/mirror/data2/mirror/data1/mirror/data2/mirror/datal/mirror/data2/mirror/datal/mirror/data2/mirror)3.2.2初始化數(shù)據(jù)庫執(zhí)行命令gpinitsystem-c./gpinitsystem_config-hhosts-nodes(所有數(shù)據(jù)節(jié)點(diǎn)主機(jī)名)按提示操作。修改~/.bashrc文件,增加一行:exportMASTER_DATA_DIRECTORY=/data/master/gpseg-1?退出系統(tǒng)并重新以gpadmin登陸3.2.3建立冗余的Master節(jié)點(diǎn)執(zhí)行命令gpinitstandby-sjxgpmaster02按提示操作。4數(shù)據(jù)庫參數(shù)Greenplum數(shù)據(jù)庫參數(shù)影響系統(tǒng)的運(yùn)行的性能狀態(tài),合理設(shè)置數(shù)據(jù)庫參數(shù)可讓系統(tǒng)運(yùn)行達(dá)到最優(yōu)狀態(tài)。在多數(shù)的數(shù)據(jù)庫系統(tǒng)中,都會有一個配置文件用以配置數(shù)據(jù)庫參數(shù)。在GPDB中,該配置文件即為。4.1數(shù)據(jù)庫參數(shù)設(shè)置>初始化數(shù)據(jù)庫后,根據(jù)下表設(shè)置參數(shù),凡是下表中沒有注明的參數(shù)一律使用默認(rèn)值,不得修改。>調(diào)整方法:執(zhí)行命令gpconfig-c參數(shù)名-v參數(shù)值-mMaster節(jié)點(diǎn)

值檢查方法:重啟數(shù)據(jù)庫后,執(zhí)行命令gpconfig-s參數(shù)名參數(shù)名參數(shù)值Master節(jié)點(diǎn)值gp_backup_directIOoffoffgp_backup_directIO_read_chunk_mb2020log_statementallallcheckpoint_segments3232max_connections1000400max_prepared_transactions400400gp_fts_probe_timeout600s600smax_fsm_pages320000320000max_fsm_relations1900019000max_stack_depth4MB4MBgp_workfile_compress_algorithmzlibzlibmax_appendonly_tables5000050000gp_fts_probe_interval10min10mingp_external_max_segs1616gp_autostats_modeon_changeon_changegp_filerep_tcp_keepalives_count66gp_filerep_tcp_keepalives_interval45s45sgp_vmem_protect_limit3276832768gp_segment_connect_timeout10min10minwal_send_client_timeout30s300sstatement_mem128MB128MBgp_enable_gpperfmononongpperfmon_port88888888gp_external_enable_execononlog_min_duration_statement3000030000statement_timeout00gp_interconnect_typeUDPIFCUDPIFCgp_analyze_relative_errordefault_statistics_target554.2調(diào)整連接控制參數(shù)修改文件$MASTER_DATA_DIRECTORY/增加一行:hostallalll0/0md55Commandcenter安裝Commandcenter(以下簡稱CC)是Greenplum數(shù)據(jù)庫的監(jiān)控工具,主要監(jiān)控系統(tǒng)CPU,內(nèi)存,磁盤IO等資源的使用及可進(jìn)行數(shù)據(jù)庫的基本維護(hù)操作,如數(shù)據(jù)庫啟停,實例恢復(fù)等。Commandcenter包括前端功能界面及后臺收集數(shù)據(jù)庫。安裝后臺收集數(shù)據(jù)庫及收集代理步驟如下:步驟1:Greenplum通過gpperfmon_install工具安裝CC的后臺數(shù)據(jù)庫gpperfmon及CC超級用戶gpmongpperfmon_install--enable--passwordgpmon--port5432步驟2:重啟數(shù)據(jù)庫gpstop-r步驟3:執(zhí)行ps命令查看數(shù)據(jù)收集進(jìn)程是否處于運(yùn)行狀態(tài)ps-ef|grepgpmmon步驟4:運(yùn)行如下命令查看數(shù)據(jù)收集進(jìn)程往CC數(shù)據(jù)庫寫入收集信息。psqlgpperfmon-c'SELECT*FROMsystem_now;'步驟5:拷貝master數(shù)據(jù)管理節(jié)點(diǎn)的$MASTER_DATA_DIRECTORY至StandbyMaster數(shù)據(jù)管理節(jié)點(diǎn),覆蓋StandbyMaster的文件。步驟6:拷貝master數(shù)據(jù)管理節(jié)點(diǎn)的~/.pgpass至StandbyMaster數(shù)據(jù)管理節(jié)點(diǎn),覆蓋StandbyMaster的.pgpass至文件。>安裝CC前端功能界面如下:步驟1:解壓并安裝/unzip步驟2:當(dāng)安裝程序提示“acceptthelicenseagreement”,按“yes”步驟3:當(dāng)安裝程序提示輸入安裝路徑“/usr/local/時,輸入“ENTER”步驟4:部署環(huán)境變量source/usr/local/greenplum-db/source/usr/local/步驟5:運(yùn)行g(shù)pccinstall工具

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁內(nèi)容里面會有圖紙預(yù)覽,若沒有圖紙預(yù)覽就沒有圖紙。
  • 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
  • 5. 人人文庫網(wǎng)僅提供信息存儲空間,僅對用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對任何下載內(nèi)容負(fù)責(zé)。
  • 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請與我們聯(lián)系,我們立即糾正。
  • 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時也不承擔(dān)用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論