easystack長沙銀行云平臺配置變更手冊

1、1長沙云配置調(diào)整1.1. NTP 配置云 部署完成后，所有節(jié)點默認將 Roller 作為 NTP server，但是 Roller 是不聯(lián)網(wǎng)的，所以 使用客戶提供的 NTP Server，例如客戶 NTP Server：0，操作方法如下：1.2. 移除rsyslog、nailgun、mcollection agentother node：server 0 burst iburst prefer配置完成需要重啟 NTP 服務(wù)：/etc/init.d/ntpd restart查看同步情況：ntpq -p如果是多控環(huán)境, 建議控制節(jié)點都與 node-1 同步，計算節(jié)點最先與 node-1 同步，往后

2、以此與 node-2，node-3 同步。所有節(jié)點：vim /etc/ntp.conf將 server burst iburst prefer 改為 server 0 burst iburst prefer如果客戶有兩個 NTP Server 則如下： server 0 burst iburst prefer server 1 burst iburst如果客戶沒有 NTP Server，或者無法連接到客戶 NTP Server 則將 node-1 配成集群的 NTP Server，其他節(jié)點向 node-1 同步，這是不建議的Node-1：vim /etc/ntp.conf刪掉 server b

3、urst iburst prefer新增如下：server fudge stratum 101.4. 計算節(jié)點宿主機內(nèi)存預(yù)留由于宿主機本身運行著操作系統(tǒng)和一些必須的 ，所以其本身也需要一部分資源，建議預(yù)留 10-15G 左右，如果還是 節(jié)點的話，建議每 OSD 不少于 3G 內(nèi)存，每 1TB 大約 1GB，如一個節(jié)點有 10 個 OSD，建議預(yù)留 45G 內(nèi)存，設(shè)置方法如下：1.3. CPU、RAM 超售比默認控制和計算節(jié)點配置不一樣，一般生產(chǎn)環(huán)境建議內(nèi)存超售比為 1:1，CPU 為 1:2 或者 1:4，不建議過大，設(shè)置方法：如果沒有作此操作，roller 被移除或者網(wǎng)絡(luò)不通，syslog

4、長時間不連通服務(wù)會夯死，引起 neutron,glance 等服務(wù)異常，其他 agent 則會占用過多的進程，建議移除，但是移除后會導(dǎo)致在 roller dashboard 上 node 狀態(tài)為 offline，不影響使用。操作方法：1.5. 設(shè)置mini_free，防止 oom宿主機在內(nèi)存耗盡，而又無法的情況下會殺掉占用內(nèi)存最大的進程，這往往是虛機或者 OSD，為了防止 oom 發(fā)生建議設(shè)置 mini_free，比如 3G，設(shè)置方法如下：/usr/bin/openstack-config -set /etc/nova/nova.confDEFAULT_host_memory_mb 15360

5、servicepute restart/usr/bin/openstack-config -set /etc/nova/nova.confDEFAULT ram_allocation_ratio 1.0/usr/bin/openstack-config -set /etc/nova/nova.confDEFAULT cpu_allocation_ratio 2.0servicepute restartmv /etc/rsyslog.d/00-remote.conf /root/etc/init.d/rsyslog restartmv /etc/cron.d/nailgun-agent /roo

6、t/etc/init.d/crond restart/etc/init.d/mcollective stop chkconfig mcollective off1.6. 緩存及不管是計算還是節(jié)點都會產(chǎn)生大量緩存，但是通常情況下系統(tǒng)可能無法正常，這時需要手動，最好不要使用 3，手動 cache 的方法如下：咱們自己有一個執(zhí)行定時任務(wù)的自動緩存的，環(huán)境部署完成后需要在控制節(jié)點 run 起來，計算特別是融合性節(jié)點不建議#!/bin/bash # This tool is used to release system cached memory # if CPU load is high or cac

7、hed memory is large.# If load CPU_NUM/3, clean cache.CPU_NUM=cat /prouinfo | grep prosor | wc -l MAX_SYS_LOAD_NUM=expr $CPU_NUM / 3if $MAX_SYS_LOAD_NUM = 0 ; then MAX_SYS_LOAD_NUM=1fiSYS_LOAD_NUM=uptime | awk pr$(NF-2) | sed s/,/# If cache TOTAL_RAM/3, clean cache. TOTAL_RAM=free -g| grep Mem|awk pr

8、$2 MIN_RAM=expr $TOTAL_RAM / 3if $MIN_RAM = 0 ; then MIN_RAM=1fiCACHE_MEM=free -g| grep Mem|awk pr$7echo 1 /proc/sys/vm/drop_cachesecho 3145728 /proc/sys/vm/min_free_kbytesecho vm.min_free_kbytes=3145728 /etc/sysctl.conf虛機遷移會產(chǎn)生大量緩存，反過來大量內(nèi)存被 cache 會導(dǎo)致虛機遷移失敗，遷移虛機時需要注意：計算節(jié)點長時間運行，pute 和 openstpute也會產(chǎn)生大量

9、緩存，選一個適當?shù)臅r間重啟下，建議至少每月重啟一次1.7. SSD 調(diào)度算法SSD 作為 journal 或者 OSD 都建議修改其算法為 noop，算法簡單高效，設(shè)置方法如下：echo noop /sys/block/sdueue/scheduler需要開機加載，寫入 rc.local 中vim /etc/rc.localif echo $SYS_LOAD_NUM $MAX_SYS_LOAD_NUM|bc -eq 1 | echo $CACHE_MEM $MIN_RAM|bc -eq 1 ; thenif pgrep drop_caches | wc -l -gt 0 ; thenecho$

10、(date +%y-%m-%d %H:%M:%S) Cleaning pros isrunningelseecho $(date +%y-%m-%d) uptime echo $(date +%y-%m-%d) free -gecho $(date +%y-%m-%d %H:%M:%S) Start to clean cache; echo 3 /proc/sys/vm/drop_cachesecho $(date +%y-%m-%d %H:%M:%S) End to clean cache; echo $(date +%y-%m-%d) uptimeecho $(date +%y-%m-%d

11、) free -gfifi將放到/usr/bin/下，命名 clean-system-cache.sh od +x /usr/bin/clean-system-cache.shecho 0 * * * * /usr/bin/clean-system-cache.sh /var/log/clean-system- cache.log 2&1 /var/spool/cron/root/etc/init.d/crond restart，1.10.設(shè)置 DHCP 租期此為可選項，由于網(wǎng)絡(luò)或者 rabbitmq 有時候會出現(xiàn)問題，如果租期過短，恰逢網(wǎng)絡(luò)或者 rabbitmq 出問題則云主機可能無法正常獲

12、取 IP 或者元數(shù)據(jù)，所以建議調(diào)大租期，特別是在 L2 環(huán)境中，避免控制節(jié)點 down 機帶來對虛機的影響，調(diào)整方法如下：vi /etc/neutron/neutron.conf dhcp_lease_duration 321408000ps -ef |grep dnsmasq |grep -v grep kill service neutron-dhcp-agent restart1.9. 設(shè)置mongoDB 占用緩存大小同 memcache 一樣，的數(shù)據(jù)越多，mongoDB 占用的緩存越大，可以根據(jù)內(nèi)存適當調(diào)大，通常設(shè)置 10G，設(shè)置方法：vim /etc/mongod.conf cach

13、eSizeGB: 10service mongodb restart1.8. 設(shè)置memcache 內(nèi)存cache環(huán)境部署出來的設(shè)置過大，需要調(diào)整，Memcache 沒有明確表示需要占用多大的 cache可以設(shè)置 8G，設(shè)置方法如下：vi /etc/sysconfig/memcached CACHESIZE=8196service memcached restart/etc/init.d/openstack-keystone restart/etc/init.d/httpd restartecho noop /sys/block/sdueue/scheduler，1.11.CPU首先是不融合型

14、節(jié)點的，但是通常大部分客戶都部署這種融合性環(huán)境，但是一臺宿主機的資源比較是有限的，前面已經(jīng)了如何保留內(nèi)存，這里說下做 CPU 資源綁定，首先融合型節(jié)點最好 1:4,8 個 OSD，這樣不會綁定后剩下太少的可用資源給虛機設(shè)置方法：先看一下 NUMA# lscpu| grep NUMANUMA node(s):2NUMA node0 CPU(s):0-5,12-17NUMA node1 CPU(s):6-11,18-23這里可以預(yù)留 0 和 6 給操作系統(tǒng)，不占用從后往前對 CPU 和內(nèi)存一一綁定，一個 OSD 建議兩個 CPU，兩個 CPU 不要跨 NUMA，一個 CPU 掛了對應(yīng)的 OSD 也

15、掛taskset -cp 22-23 service ceph restart osd.0剩下的給虛機使用防止 nova.conf 的 default 下面 vim /etc/nova/nova.conf vcpu_pin_set=1-5,7-11在 Liberty 版本中使用 centos7.2，無法直接用 taskset 方式進行綁定，需要做以下修改。修改/etc/init.d/ceph vim /etc/init.d/ceph #!/bin/sh# Start/stop ceph daemons # chkconfig: - 60 80# BEGIN INIT INFO# Provide

16、s:ceph# Default-Start:# Default-Stop:# Required-Start:$remote_fs $named $network $time # Required-Stop:$remote_fs $named $network $time# Short-Description: Start Ceph distributed file system daemons at boot time # Description:Enable Ceph distributed file system servi.# END INIT INFO. /lib/lsb/init-f

17、unctions這里不再一一贅述，還有、rabbitmq、mongoDB 等，登陸 dashboard 進行創(chuàng)建刪除虛機、云硬盤、已經(jīng)計費等通用操作，確認正常。1.15.iptables 之conntrack 修改網(wǎng)絡(luò)QoS 限速默認咱們對的網(wǎng)絡(luò)進行了限速，南北向流量即 floating IP 限速 4M，這個在咱們 dashboard 上最大可以達到 100M，東西向即虛機之間默認限制在 1000M，如下vim /etc/neutron/neutron.conf# Enable rate_limiting feature or not # rate_limiting = Falserate_

18、limiting = True# Default bandwidth for North/South traffic (mbit) # default_north_south_bandwidth = 4# Default bandwidth for East/West traffic (mbit) # default_east_west_bandwidth = 1000所以要想關(guān)閉限速只需要將 rate_limiting = True 改為 False 即可環(huán)境檢查建議安裝完成后先對進行一次檢查，查看 nova、neutron、cinder、ceph 相關(guān)的服務(wù)是否正常，簡單檢查如下:resource neutron agent-list nova service-list cinder service-listceph -s# detect systemd, also check whether the systemd-run binary exists SYSTEMD_RUN=$(which systemd-run 2/d