GreenPlum經(jīng)驗(yàn)介紹

1、GreenPlum經(jīng)驗(yàn)分享一.介紹Greenplum數(shù)據(jù)引擎是為新一代數(shù)據(jù)倉庫和大規(guī)模分析處理而建立的軟件解決方案。其最大的特點(diǎn)是不需要高端的硬件支持仍然可以支撐大規(guī)模的高性能數(shù)據(jù)倉庫和商業(yè)智能查詢。在數(shù)據(jù)倉庫、商業(yè)智能的應(yīng)用上，尤其海量數(shù)據(jù)的處理方面性能極其優(yōu)異。二.配置要求與環(huán)境設(shè)置2.1Greenplum數(shù)據(jù)引擎的基本架構(gòu)Greenplum數(shù)據(jù)引擎由Master主機(jī)和Segment主機(jī)組成，如下圖所示：GreenplumMaster主機(jī)更責(zé)：建立與客戶端的舍活建京和管理-SQL的孵新并彩成執(zhí)行計(jì)劃-執(zhí)行計(jì)劃間Segmem的分發(fā)-收集S駕的執(zhí)擰結(jié)果-忸r不存儲(chǔ)業(yè)務(wù)數(shù)幅，只有鐳散據(jù)字典-Mm

2、st時(shí)主機(jī)可以采用一主一備Segmerrt主機(jī)負(fù)責(zé)-業(yè)務(wù)數(shù)幫的存儲(chǔ)和存取-用戶杳匍SQL的執(zhí)行-SegmeN主機(jī)可以由2臺(tái)到幾十臺(tái)譜議S駕主機(jī)來用同型號(hào)-留個(gè)£的聯(lián)白M主機(jī)安裝起CPU內(nèi)核他景配置同樣紫目的君可而足Segment主機(jī)負(fù)責(zé)存儲(chǔ)和存取用戶數(shù)據(jù)，根據(jù)用戶數(shù)據(jù)量可以達(dá)到幾十臺(tái)。根據(jù)Segment主機(jī)CP的內(nèi)核數(shù)量，數(shù)據(jù)的存儲(chǔ)和存取又分為和內(nèi)核數(shù)量相等的若干Segment。Segment主機(jī)之間，以及與Master主機(jī)之間通信，通過千兆Ethernet組成的InterConnect連接，同一Segment主機(jī)上通信端口被分配給不同的Segment,Segment使用分配的通信子

3、網(wǎng)與其它Segment主機(jī)進(jìn)行通信。2.2硬件配置要求Greenplum配置，要求至少有如下配置：具體到Master主機(jī)和Segment主機(jī)的配置可以參考Dell,H3c的配置，如下:1.Segment:DellR71032GMemory2*4core2*136GHardDisk2*1GbNiccard2 .MasterHost:DellR710：32GMemory2*4core2*136GHardDisk2*1GbNiccard3 .MD1120:配置300*242.5英寸硬盤4 .千兆網(wǎng)網(wǎng)絡(luò)交換機(jī)1臺(tái)2.3系統(tǒng)安裝與初始化2.3.1安裝前準(zhǔn)備1）在/etc/sysctl.conf文件中加入

4、有關(guān)共享內(nèi)存與網(wǎng)絡(luò)參數(shù)配置kernel.shmmax=500000000kernel.shmmni=4096kernel.shmall=4000000000kernel.sem=25064000100512net.ipv4.tcp_tw_recycle=1net.ipv4.tcp_max_syn_backlog=4096dev_max_backlog=10000vm.overcommit_memory=22）在/etc/security/limits.conf中加入限制參數(shù)*softnofile65536*hardnofile65536*softnproc131072*hardnproc131

5、0723）創(chuàng)建一個(gè)包括所有segment機(jī)器名的hosts文件：seg_hosts與包括master與segment的機(jī)器名的hosts文件放在/home/gpadmin/下面2.3.2Master主機(jī)上的安裝配置1安裝1-到greenplum網(wǎng)站下載安裝文件，根據(jù)服務(wù)器與操作系統(tǒng)的類弄選相應(yīng)的安裝包下載網(wǎng)址：http：/22-解壓安裝包：unzipgreenplum-db-3.350-SuSE10-x86_64.zip生greenplum-db-3.350-SuSE10-x86_64.bin文件3-運(yùn)行安轉(zhuǎn)包：/bin/bashgreenplum-db-3.350-SuSE10-x86_64

6、.bin2）配置1-創(chuàng)建greenplum用戶：# useraddgpadmin# passwdgpadmin# Newpassword:<gpadmin_password># Retypenewpassword:<gpadmin_password>2-創(chuàng)建greenplum組:# groupaddgpadmin# chown-Rgpadmin:gpadmingpadmin3-創(chuàng)建greenplum_db軟鍵接目錄:ln-s/usr/local/greenplum-db-2 .3.5.0/usr/local/greenplum-db4 -改變greenplum安轉(zhuǎn)目錄的

7、owner#chown-Rgpadmin:gpadmin/usr/local/greenplum-db5-配置環(huán)境變量：將/usr/local/greenplum-db/greenplum_path.sh中的內(nèi)容追力口至Ugreenplum用戶gpadmin的.bashrc里.6-創(chuàng)建master主機(jī)上的數(shù)據(jù)存放目錄：mkdir-p/data/gpadmin/gpdb_masterchowngpadmin:gpadmin/data/gpadmin/gpdb_master3）在segment上安裝配置greenplum數(shù)據(jù)庫2.3.3安裝1-改變r(jià)oot用戶下的SSHkeys# gpssh-ex

8、keys-f/usr/local/host_all（注：會(huì)要求輸入每個(gè)segment的root用戶的密碼）2-創(chuàng)建segment主機(jī)上的gpadmin用戶：創(chuàng)建用戶：#gpssh-f/usr/local/host_seg_all'/usr/sbin/useraddgpadmin-d/home/gpadmin-s/bin/bash'密碼修改：#gpssh-f/usr/local/host_seg_all'echo"gpadmin_password"|passwdgpadmin-stdin'3-效當(dāng)敘segment下用戶被創(chuàng)建：# gpssh-f

9、host_seg_allls-l/home4-改變gpadmin用戶下的sshkeys$su-gpadmin$gpssh-exkeys-f/home/gpadmin/host_seg_all（注：會(huì)要求輸入gpadmin用戶的密碼）1-在root用戶下創(chuàng)建安轉(zhuǎn)包：# gtar-cvf/home/gpadmin/gp.tar/usr/local/greenplum-db-2-從master主機(jī)上復(fù)制安裝包到segment主機(jī)# gpscp-f/home/gpadmin/gp.tar=:/usr/local3-session同步：#gpssh-f/home/gpadmin/host_

10、4-在segment主機(jī)上解壓安裝文件=>gtar-directory/usr/local-xvf/home/gpadmin/gp.tar5-確認(rèn)文件被正確安裝：=>ls/usr/local/greenplum-db-6-創(chuàng)建greenplum_db像征目錄：=>ln-s/usr/local/greenplum-db-/usr/local/greenplum-db7-改變segment主機(jī)上安轉(zhuǎn)目錄的owner=>chown-Rgpadmin:gpadmin/usr/local/greenplum-db8-刪除segment上的壓縮安裝包=&

11、gt;rm/home/gpadmin/gp.tar2.3.4配置改變segment主機(jī)上的數(shù)據(jù)存放目錄owner:=>chown-Rgpadmin:gpadmin/home/gpadmin/data1=>chown-Rgpadmin:gpadmin/home/gpadmin/data24:退出gpssh=>exit5:同步時(shí)鐘：$gpssh-fseg_hosts-vdate$gpssh-fseg_hosts-vntpd2.4系統(tǒng)性能效驗(yàn)1-運(yùn)彳fgpcheckos來檢查剛配的segment機(jī)器的操作系統(tǒng)情況gpcheckos-f/home/gpadmin/seg_hosts2

12、-運(yùn)彳fgpcheckos-htest177.sqa來檢查master機(jī)器。3-計(jì)算數(shù)據(jù)倉庫存貯容量，磁盤做RAID10的情況：(U:userdata)計(jì)算方法：(raw_capacity*.09)/2=formatted_disk_space如果做segment鏡像的話，存貯容量：(2*U)+U/3=formatted_disk_space如果不做segment鏡像的話，容量為：U+U/3=formatted_disk_space4-硬件性能效驗(yàn)：gpcheckperf-f/home/gpadmin/hosts-d/home/gpadmin/datal-d/home/gpadmin/data

13、2-v5-網(wǎng)絡(luò)性能效驗(yàn)：gpchecknet-f/home/gpadmin/hosts-d/home/gpadmin/datalgpchecknet-f/home/gpadmin/hosts-rn-d/home/gpadmin/data1(測(cè)試最大，最小以及平均值等）2.3.5初始化系統(tǒng)1-復(fù)制一個(gè)配置文件模板$cp$GPHOME/docs/cli_help/gp_init_config/home/gpadmin/gp_init_config2-修改配置參數(shù)注意下面的參數(shù)ARRAY_NAME="Greenplum"MACHINE_LIST_FILE=/home/gpadmi

14、n/seg_hostsSEG_PREFIX=gpPORT_BASE=50000declare-aDATA_DIRECTORY=(home/gpadmin/data1/gpdb_p1/home/gpadmin/data1/gpdb_p2/home/gpadmin/data2/gpdb_p3/home/gpadmin/data2/gpdb_p4)MASTER_HOSTNAME=test177.sqaMASTER_DIRECTORY=/home/gpadmin/gpdb_p1MASTER_PORT=54323-運(yùn)行配置文件初始化greenplum數(shù)據(jù)庫1 :$gpinitsystem-c/home/

15、gpadmin/gp_init_config如果有備份master服務(wù)器則$gpinitsystem-c/home/gpadmin/gp_init_config-sstandby_master_hostname4-將MASTER_DATA_DIRECTORY環(huán)境中修改gpadmin用戶的.bash_profile以及/etc/profile,力口入MASTER_DATA_DIRECTORY=/data/gpdb_master/gp-1exportMASTER_DATA_DIRECTORY三、Greenplum的起停操作常用的三條命令：gpstart啟動(dòng)Greenplum；gpstop停止Gre

16、enplum；gpstate檢查Greenplum狀態(tài)。Greenplum所有工作完成后，可以用psql建立數(shù)據(jù)庫表等操作，來檢查Greenplum的工作情況。四.Greenplum測(cè)試參照以下例子，進(jìn)行系統(tǒng)加載和查詢測(cè)試。4.1 數(shù)據(jù)加載測(cè)試測(cè)試Greenplum數(shù)據(jù)庫引擎從文本文件加載到數(shù)據(jù)庫的加載性能和加載特性4.1.1 外部表建立語句createexternaltablesales_ext(sales_dateDATE,store_idINT,product_idINT,quantityINT,Sales_monthINT)location('gpfdist:mdw-2:808

17、9/sales.txt')FORMATtext'(delimiter',')encoding'gb18030'LOGERRORSINTOerror_dataSEGMENTREJECTLIMIT10ROWS;4.1.2 Sales表建立語句createtablesales(sales_dateDATE,store_idINT,product_idINT,quantityINT,Sales_monthINT)DISTRIBUTEDRANDOMLY;4.1.3 Sales數(shù)據(jù)加載測(cè)試加載語句：INSERTINTOsalesSELECT*FROMsale

18、s_ext;4.2 Greenplum性能測(cè)試涉及到SQ電行性能，SQL函數(shù)(存儲(chǔ)過程)性能，數(shù)據(jù)庫新技術(shù)性能(按列數(shù)據(jù)庫、數(shù)據(jù)庫透明壓縮)等4.2.1 大表統(tǒng)計(jì)與大表關(guān)聯(lián)本項(xiàng)測(cè)試的目的是通過執(zhí)行SQL查詢，檢驗(yàn)Greenplum數(shù)據(jù)庫處理查詢的速度測(cè)試方法：抽取多種不同SQLStatement在Greenplum數(shù)據(jù)庫上進(jìn)行測(cè)試4.2.2 列存儲(chǔ)SQL查詢，檢當(dāng)GGreenplum數(shù)據(jù)庫的按本項(xiàng)測(cè)試的目的是：對(duì)按列存儲(chǔ)并壓縮數(shù)據(jù)庫表，通過執(zhí)行列存儲(chǔ)并壓縮數(shù)據(jù)庫表的處理查詢的速度測(cè)試方法：抽取多種不同SQLStatement在Greenplum數(shù)據(jù)庫上進(jìn)行測(cè)試4.2.3 SQL函數(shù)（存儲(chǔ)過程）

19、性能測(cè)試本項(xiàng)測(cè)試的目的是通過SQL函數(shù)執(zhí)行，檢驗(yàn)Greenplum數(shù)據(jù)庫處理SQL函數(shù)的速度。測(cè)試方法：本次測(cè)試，抽取了生產(chǎn)應(yīng)用中運(yùn)行時(shí)間較長的SQLStatement（包括）。GP工程師對(duì)函數(shù)腳本進(jìn)行改造遷移后在Greenplum數(shù)據(jù)庫上進(jìn)行測(cè)試。4.2.4 并發(fā)性測(cè)試在后臺(tái)分別提交不同數(shù)量的并發(fā)查詢，以驗(yàn)證Greenplum數(shù)據(jù)庫是否能滿足多用戶并發(fā)查詢需求。4.2.5 工具連通性測(cè)試測(cè)試方法：在建立定義新的報(bào)表，通過JDBC/ODBdGreenplum相連，實(shí)現(xiàn)報(bào)表的查詢。實(shí)現(xiàn)了與Cognos,DataStage連通性測(cè)試，本項(xiàng)目為功能測(cè)試，證明Greenplum與ETL工具之間的兼容性

20、。4.2.6 數(shù)據(jù)庫高可用性測(cè)試通過KVM人工關(guān)閉Segment2的所有網(wǎng)卡。Greenplum數(shù)據(jù)庫仍然繼續(xù)運(yùn)行正常！結(jié)論：Greenplum節(jié)點(diǎn)之間具備高可用性，任何一個(gè)節(jié)點(diǎn)發(fā)生故障，其他節(jié)點(diǎn)都可以接管其任務(wù)。五.PerformanceMonitorGreenplumPerformanceMonitor的安裝包括以下幾步：lGreenplumPerformanceMonitor的安裝準(zhǔn)備一、建立Monitor所需的超級(jí)角色二、設(shè)定postgresql.conf中和Monitor有關(guān)的參數(shù)lGreenplumPerformanceMonitor的安裝一、在Master主機(jī)上安裝二、在Segm

21、ent主機(jī)上安裝三、建立GreenplumPerformanceMonitor數(shù)據(jù)庫5.1 GreenplumPerformanceMonitor的安裝準(zhǔn)備5.1.1 建立Monitor所需的超級(jí)角色l用psql新超級(jí)用戶gpmon的角色：$psqltemplate1-cCREATEROLEgpmonWITHSUPERUSERCREATEDBLOGIN;l授予gpmon訪問權(quán)限修$MASTER_DATA_DIRECTORY/pg_hba.c（on的gpmon用戶授權(quán)，使其能夠連接數(shù)據(jù)庫，例如，下列授權(quán)允許gpmon從本地或者地址訪問數(shù)據(jù)庫：localgpperfmongpmon

22、trusthostgpperfmongpmon/32trustl用下列命令使修改立即生效：$gpstop-u5.1.2 設(shè)定postgresql.conf中和Monitor有關(guān)的參數(shù)l打開$MASTER_DATA_DIRECTORY/postgresql.conf文件；l在文件末尾增加以下內(nèi)容，其中的端口8888是缺省值，可以根據(jù)網(wǎng)絡(luò)規(guī)劃變更：#GPPERFMONOPTIONS#gp_enable_gpperfmon=ongpperfmon_port=8888l在文件的EXTERNALTABLE部分，確認(rèn)以下參數(shù)未被注釋掉，并設(shè)定為“on”：gp_external_enable

23、_exec=onl存儲(chǔ)修改的文件l用下列命令使postgresql.conf的修改立即生效：$gpstop-u5.2 GreenplumPerformanceMonitor的安裝5.2.1 在Master主機(jī)上安裝l下載并解壓縮greenplum-perfmon--PLATFORM.zip;l運(yùn)行：# /bin/bashgreenplum-perfmon--PLATFORM.binl按照提示進(jìn)行安裝；l如果是用root安裝，修改軟件目錄的Owner：# chown-Rgpadmin/usr/local/greenplum-perfmon-l通過包含gp

24、perfmon_path.sh設(shè)置環(huán)境變量在gpadmin的原文件（profile）中，增加以下一行：source/usr/local/greenplum-perfmon-/gpperfmon_path.shl執(zhí)行以下命令使環(huán)境變量生效：$source/.bashrc5.2.2 在Segment主機(jī)上安裝 方法一：逐臺(tái)安裝采用和Master上相同的方法，逐臺(tái)安裝。注意：不需要增加最后設(shè)置環(huán)境變量部分。 方法二：通過Master統(tǒng)一安裝三l在Master主機(jī)上，對(duì)安裝成功的GreenplumPerformanceMonitor軟件進(jìn)行打包，例如執(zhí)行:#s

25、u-# cd/usr/local# gtar-cvf/usr/local/perfmon.targreenplum-perfmon-l將壓縮包復(fù)制到各個(gè)Segment主機(jī)l需要建立包括所有Segment主機(jī)名稱的文件，用gpscp進(jìn)行復(fù)制。例如：# source/usr/local/greenplum-db/greenplum_path.sh# gpscp-fseg_hosts_file/usr/local/perfmon.tar=:/usr/locall用gpssh的交互模式，進(jìn)行安裝，例如：#gpssh-fsingle_seg_hosts_filel在gpssh命令行，解壓壓縮包，必'須將軟件解壓到和Master主機(jī)相同的目錄，例如：=>gtar-directory/usr/local-xvf/usr/local/perfmon.tarl確認(rèn)安裝正確，例如：=>ls/usr/local/greenplum-perfmon-l修改這一目錄的所有者(Owne。,例如：=>chown-Rgpadmin/usr/local/greenplum-perfmon-=&g