easystack長(zhǎng)沙銀行云平臺(tái)配置變更手冊(cè)

1、1長(zhǎng)沙云配置調(diào)整1.1. NTP 配置云 部署完成后，所有節(jié)點(diǎn)默認(rèn)將 Roller 作為 NTP server，但是 Roller 是不聯(lián)網(wǎng)的，所以 使用客戶提供的 NTP Server，例如客戶 NTP Server：0，操作方法如下：1.2. 移除rsyslog、nailgun、mcollection agentother node：server 0 burst iburst prefer配置完成需要重啟 NTP 服務(wù)：/etc/init.d/ntpd restart查看同步情況：ntpq -p如果是多控環(huán)境, 建議控制節(jié)點(diǎn)都與 node-1 同步，計(jì)算節(jié)點(diǎn)最先與 node-1 同步，往后

2、以此與 node-2，node-3 同步。所有節(jié)點(diǎn)：vim /etc/ntp.conf將 server burst iburst prefer 改為 server 0 burst iburst prefer如果客戶有兩個(gè) NTP Server 則如下： server 0 burst iburst prefer server 1 burst iburst如果客戶沒(méi)有 NTP Server，或者無(wú)法連接到客戶 NTP Server 則將 node-1 配成集群的 NTP Server，其他節(jié)點(diǎn)向 node-1 同步，這是不建議的Node-1：vim /etc/ntp.conf刪掉 server b

3、urst iburst prefer新增如下：server fudge stratum 101.4. 計(jì)算節(jié)點(diǎn)宿主機(jī)內(nèi)存預(yù)留由于宿主機(jī)本身運(yùn)行著操作系統(tǒng)和一些必須的 ，所以其本身也需要一部分資源，建議預(yù)留 10-15G 左右，如果還是 節(jié)點(diǎn)的話，建議每 OSD 不少于 3G 內(nèi)存，每 1TB 大約 1GB，如一個(gè)節(jié)點(diǎn)有 10 個(gè) OSD，建議預(yù)留 45G 內(nèi)存，設(shè)置方法如下：1.3. CPU、RAM 超售比默認(rèn)控制和計(jì)算節(jié)點(diǎn)配置不一樣，一般生產(chǎn)環(huán)境建議內(nèi)存超售比為 1:1，CPU 為 1:2 或者 1:4，不建議過(guò)大，設(shè)置方法：如果沒(méi)有作此操作，roller 被移除或者網(wǎng)絡(luò)不通，syslog

4、長(zhǎng)時(shí)間不連通服務(wù)會(huì)夯死，引起 neutron,glance 等服務(wù)異常，其他 agent 則會(huì)占用過(guò)多的進(jìn)程，建議移除，但是移除后會(huì)導(dǎo)致在 roller dashboard 上 node 狀態(tài)為 offline，不影響使用。操作方法：1.5. 設(shè)置mini_free，防止 oom宿主機(jī)在內(nèi)存耗盡，而又無(wú)法的情況下會(huì)殺掉占用內(nèi)存最大的進(jìn)程，這往往是虛機(jī)或者 OSD，為了防止 oom 發(fā)生建議設(shè)置 mini_free，比如 3G，設(shè)置方法如下：/usr/bin/openstack-config -set /etc/nova/nova.confDEFAULT_host_memory_mb 15360

5、servicepute restart/usr/bin/openstack-config -set /etc/nova/nova.confDEFAULT ram_allocation_ratio 1.0/usr/bin/openstack-config -set /etc/nova/nova.confDEFAULT cpu_allocation_ratio 2.0servicepute restartmv /etc/rsyslog.d/00-remote.conf /root/etc/init.d/rsyslog restartmv /etc/cron.d/nailgun-agent /roo

6、t/etc/init.d/crond restart/etc/init.d/mcollective stop chkconfig mcollective off1.6. 緩存及不管是計(jì)算還是節(jié)點(diǎn)都會(huì)產(chǎn)生大量緩存，但是通常情況下系統(tǒng)可能無(wú)法正常，這時(shí)需要手動(dòng)，最好不要使用 3，手動(dòng) cache 的方法如下：咱們自己有一個(gè)執(zhí)行定時(shí)任務(wù)的自動(dòng)緩存的，環(huán)境部署完成后需要在控制節(jié)點(diǎn) run 起來(lái)，計(jì)算特別是融合性節(jié)點(diǎn)不建議#!/bin/bash # This tool is used to release system cached memory # if CPU load is high or cac

7、hed memory is large.# If load CPU_NUM/3, clean cache.CPU_NUM=cat /prouinfo | grep prosor | wc -l MAX_SYS_LOAD_NUM=expr $CPU_NUM / 3if $MAX_SYS_LOAD_NUM = 0 ; then MAX_SYS_LOAD_NUM=1fiSYS_LOAD_NUM=uptime | awk pr$(NF-2) | sed s/,/# If cache TOTAL_RAM/3, clean cache. TOTAL_RAM=free -g| grep Mem|awk pr

8、$2 MIN_RAM=expr $TOTAL_RAM / 3if $MIN_RAM = 0 ; then MIN_RAM=1fiCACHE_MEM=free -g| grep Mem|awk pr$7echo 1 /proc/sys/vm/drop_cachesecho 3145728 /proc/sys/vm/min_free_kbytesecho vm.min_free_kbytes=3145728 /etc/sysctl.conf虛機(jī)遷移會(huì)產(chǎn)生大量緩存，反過(guò)來(lái)大量?jī)?nèi)存被 cache 會(huì)導(dǎo)致虛機(jī)遷移失敗，遷移虛機(jī)時(shí)需要注意：計(jì)算節(jié)點(diǎn)長(zhǎng)時(shí)間運(yùn)行，pute 和 openstpute也會(huì)產(chǎn)生大量

9、緩存，選一個(gè)適當(dāng)?shù)臅r(shí)間重啟下，建議至少每月重啟一次1.7. SSD 調(diào)度算法SSD 作為 journal 或者 OSD 都建議修改其算法為 noop，算法簡(jiǎn)單高效，設(shè)置方法如下：echo noop /sys/block/sdueue/scheduler需要開(kāi)機(jī)加載，寫(xiě)入 rc.local 中vim /etc/rc.localif echo $SYS_LOAD_NUM $MAX_SYS_LOAD_NUM|bc -eq 1 | echo $CACHE_MEM $MIN_RAM|bc -eq 1 ; thenif pgrep drop_caches | wc -l -gt 0 ; thenecho$

10、(date +%y-%m-%d %H:%M:%S) Cleaning pros isrunningelseecho $(date +%y-%m-%d) uptime echo $(date +%y-%m-%d) free -gecho $(date +%y-%m-%d %H:%M:%S) Start to clean cache; echo 3 /proc/sys/vm/drop_cachesecho $(date +%y-%m-%d %H:%M:%S) End to clean cache; echo $(date +%y-%m-%d) uptimeecho $(date +%y-%m-%d

11、) free -gfifi將放到/usr/bin/下，命名 clean-system-cache.sh od +x /usr/bin/clean-system-cache.shecho 0 * * * * /usr/bin/clean-system-cache.sh /var/log/clean-system- cache.log 2&1 /var/spool/cron/root/etc/init.d/crond restart，1.10.設(shè)置 DHCP 租期此為可選項(xiàng)，由于網(wǎng)絡(luò)或者 rabbitmq 有時(shí)候會(huì)出現(xiàn)問(wèn)題，如果租期過(guò)短，恰逢網(wǎng)絡(luò)或者 rabbitmq 出問(wèn)題則云主機(jī)可能無(wú)法正常獲

12、取 IP 或者元數(shù)據(jù)，所以建議調(diào)大租期，特別是在 L2 環(huán)境中，避免控制節(jié)點(diǎn) down 機(jī)帶來(lái)對(duì)虛機(jī)的影響，調(diào)整方法如下：vi /etc/neutron/neutron.conf dhcp_lease_duration 321408000ps -ef |grep dnsmasq |grep -v grep kill service neutron-dhcp-agent restart1.9. 設(shè)置mongoDB 占用緩存大小同 memcache 一樣，的數(shù)據(jù)越多，mongoDB 占用的緩存越大，可以根據(jù)內(nèi)存適當(dāng)調(diào)大，通常設(shè)置 10G，設(shè)置方法：vim /etc/mongod.conf cach

13、eSizeGB: 10service mongodb restart1.8. 設(shè)置memcache 內(nèi)存cache環(huán)境部署出來(lái)的設(shè)置過(guò)大，需要調(diào)整，Memcache 沒(méi)有明確表示需要占用多大的 cache可以設(shè)置 8G，設(shè)置方法如下：vi /etc/sysconfig/memcached CACHESIZE=8196service memcached restart/etc/init.d/openstack-keystone restart/etc/init.d/httpd restartecho noop /sys/block/sdueue/scheduler，1.11.CPU首先是不融合型

14、節(jié)點(diǎn)的，但是通常大部分客戶都部署這種融合性環(huán)境，但是一臺(tái)宿主機(jī)的資源比較是有限的，前面已經(jīng)了如何保留內(nèi)存，這里說(shuō)下做 CPU 資源綁定，首先融合型節(jié)點(diǎn)最好 1:4,8 個(gè) OSD，這樣不會(huì)綁定后剩下太少的可用資源給虛機(jī)設(shè)置方法：先看一下 NUMA# lscpu| grep NUMANUMA node(s):2NUMA node0 CPU(s):0-5,12-17NUMA node1 CPU(s):6-11,18-23這里可以預(yù)留 0 和 6 給操作系統(tǒng)，不占用從后往前對(duì) CPU 和內(nèi)存一一綁定，一個(gè) OSD 建議兩個(gè) CPU，兩個(gè) CPU 不要跨 NUMA，一個(gè) CPU 掛了對(duì)應(yīng)的 OSD 也

15、掛taskset -cp 22-23 service ceph restart osd.0剩下的給虛機(jī)使用防止 nova.conf 的 default 下面 vim /etc/nova/nova.conf vcpu_pin_set=1-5,7-11在 Liberty 版本中使用 centos7.2，無(wú)法直接用 taskset 方式進(jìn)行綁定，需要做以下修改。修改/etc/init.d/ceph vim /etc/init.d/ceph #!/bin/sh# Start/stop ceph daemons # chkconfig: - 60 80# BEGIN INIT INFO# Provide

16、s:ceph# Default-Start:# Default-Stop:# Required-Start:$remote_fs $named $network $time # Required-Stop:$remote_fs $named $network $time# Short-Description: Start Ceph distributed file system daemons at boot time # Description:Enable Ceph distributed file system servi.# END INIT INFO. /lib/lsb/init-f

17、unctions這里不再一一贅述，還有、rabbitmq、mongoDB 等，登陸 dashboard 進(jìn)行創(chuàng)建刪除虛機(jī)、云硬盤(pán)、已經(jīng)計(jì)費(fèi)等通用操作，確認(rèn)正常。1.15.iptables 之conntrack 修改網(wǎng)絡(luò)QoS 限速默認(rèn)咱們對(duì)的網(wǎng)絡(luò)進(jìn)行了限速，南北向流量即 floating IP 限速 4M，這個(gè)在咱們 dashboard 上最大可以達(dá)到 100M，東西向即虛機(jī)之間默認(rèn)限制在 1000M，如下vim /etc/neutron/neutron.conf# Enable rate_limiting feature or not # rate_limiting = Falserate_

18、limiting = True# Default bandwidth for North/South traffic (mbit) # default_north_south_bandwidth = 4# Default bandwidth for East/West traffic (mbit) # default_east_west_bandwidth = 1000所以要想關(guān)閉限速只需要將 rate_limiting = True 改為 False 即可環(huán)境檢查建議安裝完成后先對(duì)進(jìn)行一次檢查，查看 nova、neutron、cinder、ceph 相關(guān)的服務(wù)是否正常，簡(jiǎn)單檢查如下:resource neutron agent-list nova service-list cinder service-listceph -s# detect systemd, also check whether the systemd-run binary exists SYSTEMD_RUN=$(which systemd-run 2/d