rsync遠(yuǎn)程同步

1、第六章第六章 rsync遠(yuǎn)程同步遠(yuǎn)程同步 理論部分 rsync遠(yuǎn)程同步 如何創(chuàng)建一個(gè)軟RAID磁盤陣列？ 如何創(chuàng)建iSCSI對(duì)象、劃分LUN空間？ 在客戶機(jī)中如何發(fā)現(xiàn)、掛載iSCSI存儲(chǔ)設(shè)備？ 課程回顧 學(xué)會(huì)配置rsync備份源 學(xué)會(huì)rsync下行、上行異地備份 學(xué)會(huì)rsync+inotify實(shí)時(shí)備份 技能展示 本章結(jié)構(gòu) rsync遠(yuǎn)程同步遠(yuǎn)程同步 上行、下行同步操作上行、下行同步操作 編寫編寫rsync備份腳本備份腳本 配置配置SSH備份源備份源 配置配置rsync備份源備份源 配置配置rsync源服務(wù)器源服務(wù)器 使用使用rsync備份工具備份工具 配置配置inotify實(shí)時(shí)同步實(shí)時(shí)同步rs

2、ync+inotify結(jié)合使用結(jié)合使用 一款快速增量備份工具 Remote Sync，遠(yuǎn)程同步 支持本地復(fù)制，或者與其他SSH、rsync主機(jī)同步 官方網(wǎng)站：/ 關(guān)于rsync rsync同步源 指?jìng)浞莶僮鞯倪h(yuǎn)程服務(wù)器，也稱為備份源 主要包括兩種：rsync源、SSH源 配置rsync源服務(wù)器 服務(wù)器服務(wù)器A A （rsync或SSH，同步源） 上行同步（上傳） 服務(wù)器服務(wù)器B BAAAA （rsync客戶機(jī)，發(fā)起端） InternetInternet 下行同步（下載） 基本思路 啟用sshd服務(wù)，并分別建立上傳、下載用戶 為需要同步的目錄設(shè)置訪問權(quán)限

3、 應(yīng)用示例 用戶rget、rput，分別可下載、上傳 操作的目錄為 /var/www/html/ Nginx服務(wù)對(duì) /upload/ 子目錄有寫入權(quán)限 配置SSH源2-1 文件和目錄ACL mount參數(shù)：acl、noacl 主要管理工具：setfacl、getfacl 配置SSH源2-2 rootlocalhost # chown -R rput:rput /var/www/html rootlocalhost # setfacl -R -m user:nginx:rwx /var/www/html/upload rootlocalhost # setfacl -m default:user

4、:nginx:rwx /var/www/html/upload rootlocalhost # ls -ld /var/www/html/ /var/www/html/upload/ drwxr-xr-x 3 rput rput 4096 11月 29 01:35 /var/www/html/ drwxrwxr-x+ 2 rput rput 4096 11月 29 01:35 /var/www/html/upload/ 遞歸添加遞歸添加ACLACL條目條目 為目錄設(shè)置默認(rèn)為目錄設(shè)置默認(rèn)ACLACL rootlocalhost # getfacl /var/www/html/upload/ us

5、er:rwx user:nginx:rwx default:user:rwx default:user:nginx:rwx rootlocalhost # setfacl -R -b /var/www/html/upload/ 清除所有清除所有ACLACL條目，條目， 改用改用“-x user:.-x user:.”可只刪除指定可只刪除指定ACLACL條目條目 新添加的新添加的ACLACL權(quán)限控制權(quán)限控制 基本思路 建立rsyncd.conf配置文件、獨(dú)立的賬號(hào)文件 啟用rsync的-daemon模式 應(yīng)用示例 用戶backuper，允許下行同步 操作的目錄為 /var/www/html/ 配

6、置rsync源3-1 配置文件rsyncd.conf 需手動(dòng)建立，語(yǔ)法類似于Samba配置 認(rèn)證配置auth users、secrets file，不加則為匿名 rsync賬號(hào)文件 采用“用戶名:密碼”的記錄格式 獨(dú)立的賬號(hào)數(shù)據(jù)，不依賴于系統(tǒng)賬號(hào) 配置rsync源3-2 rootlocalhost # vi /etc/rsyncd_users.db backuper:pwd123 othername:123456 rootlocalhost # chmod 600 /etc/rsyncd_users.db 每行一個(gè)用戶記錄每行一個(gè)用戶記錄 rootlocalhost # vi /etc/rsy

7、ncd.conf uid = nobody gid = nobody use chroot = yes address = port 873 log file = /var/log/rsyncd.log pid file = /var/run/rsyncd.pid hosts allow = /24 wwwroot path = /var/www/html comment = Document Root of read only = yes dont compress = *.gz *.bz2 *.tgz *.zip *.rar *.z auth

8、users = backuper secrets file = /etc/rsyncd_users.db 允許訪問的客戶機(jī)地址允許訪問的客戶機(jī)地址 同步時(shí)不再壓縮的文件同步時(shí)不再壓縮的文件 用戶認(rèn)證信息用戶認(rèn)證信息 啟用rsync服務(wù) 通過-daemon獨(dú)自提供服務(wù) 或者，通過超級(jí)服務(wù)器xinetd提供服務(wù) 配置rsync源3-3 rootlocalhost # rsync -daemon rootlocalhost # netstat -anpt | grep rsync tcp 0 0 00:873 :* LISTEN 21182/rsync rootl

9、ocalhost # kill $(cat /var/run/rsyncd.pid) rsyncrsync服務(wù)的服務(wù)的PIDPID文件文件 rootlocalhost # vi /etc/xinetd.d/rsync service rsync disable = no server = /usr/bin/rsync server_args = -daemon log_on_failure += USERID rootlocalhost # yum -y install xinetd rootlocalhost # service xinetd start 啟用啟用xinetdxinetd即自

10、動(dòng)接管即自動(dòng)接管rsyncrsync服務(wù)服務(wù) rsync命令的用法 基本格式：rsync 選項(xiàng) 原始位置 目標(biāo)位置 常用選項(xiàng)： n-a：歸檔模式，遞歸并保留對(duì)象屬性，等同于 - rlptgoD n-v：顯示同步過程的詳細(xì)（verbose）信息 n-z：在傳輸文件時(shí)進(jìn)行壓縮（compress） n-H：保留硬連接文件 n-A：保留ACL屬性信息 n-delete：刪除目標(biāo)位置有而原始位置沒有的文件 n-checksum：根據(jù)對(duì)象的校驗(yàn)和來決定是否跳過文 件 使用rsync備份工具3-1 -r-r：遞歸模式，包含目錄及子目錄中所有文件：遞歸模式，包含目錄及子目錄中所有文件 -l-l：對(duì)于符號(hào)鏈接文

11、件仍然復(fù)制為符號(hào)鏈接文件：對(duì)于符號(hào)鏈接文件仍然復(fù)制為符號(hào)鏈接文件 -p-p：保留文件的權(quán)限標(biāo)記：保留文件的權(quán)限標(biāo)記 -t-t：保留文件的時(shí)間標(biāo)記：保留文件的時(shí)間標(biāo)記 -g-g：保留文件的屬組標(biāo)記（僅超級(jí)用戶使用）：保留文件的屬組標(biāo)記（僅超級(jí)用戶使用） -o-o：保留文件的屬主標(biāo)記（僅超級(jí)用戶使用）：保留文件的屬主標(biāo)記（僅超級(jí)用戶使用） -D-D：保留設(shè)備文件及其他特殊文件：保留設(shè)備文件及其他特殊文件 備份操作類型 本地同步 nrsync . 本地目錄1 本地目錄2 rsync+ssh同步 nrsync . SSH源 本地目錄 nrsync . 本地目錄 SSH源 rsync+rsync同步 n

12、rsync . rsync源 本地目錄 nrsync . 本地目錄 rsync源 使用rsync備份工具3-2 下行同步（下載）下行同步（下載） 上行同步（上傳）上行同步（上傳） rsync同步操作示例 下行SSH源：/var/www/html /wwwroot 下行rsync源：wwwroot共享 /myweb 上行SSH源：/usr/./HTML/zh_CN /var/www/html 使用rsync備份工具3-3 rootlocalhost # mkdir /wwwroot rootlocalhost # rsync -avzH -delete rget:/var/

13、www/html/ /wwwroot rgets password: receiving incremental file list created directory /wwwroot html/ html/index.html html/style/ 驗(yàn)證驗(yàn)證SSHSSH用戶用戶rgetrget的密碼的密碼 rootlocalhost # mkdir /myweb rootlocalhost # rsync -avzH -delete backuper:wwwroot /myweb Password: receiving incremental

14、file list ./ index.html index.php 驗(yàn)證驗(yàn)證rsyncrsync用戶用戶backuperbackuper的密碼的密碼 rootlocalhost # cd /usr/share/doc/HTML/ rootlocalhost HTML# rsync -rlvz -delete zh-CN/ rput:/var/www/html rputs password: sending incremental file list deleting index.php feedback.html index.html common/

15、 common/RHEL6_720 x60.png 驗(yàn)證驗(yàn)證SSHSSH用戶用戶rputrput的密碼的密碼 請(qǐng)思考： 如何配置可匿名訪問的rsync服務(wù)器？ 根據(jù)源的不同，rsync的備份操作有哪幾種類型？ 使用rsync命令時(shí)，SSH源、rsync源分別如何表示？ 小結(jié) SSH源的免交互處理 采用SSH密鑰對(duì)驗(yàn)證，將密鑰短語(yǔ)設(shè)為空 rsync腳本的交互處理2-1 rootlocalhost # ssh-keygen -t rsa Generating public/private rsa key pair. Enter file in which to save the key (/roo

16、t/.ssh/id_rsa): Enter passphrase (empty for no passphrase): Enter same passphrase again: Your identification has been saved in /root/.ssh/id_rsa. Your public key has been saved in /root/.ssh/id_rsa.pub. rootlocalhost # ssh-copy-id rget rgets password: 直接回車設(shè)為空串直接回車設(shè)為空串 將公鑰分發(fā)至遠(yuǎn)程服

17、務(wù)器將公鑰分發(fā)至遠(yuǎn)程服務(wù)器 rsync源的免交互處理 設(shè)置環(huán)境變量：RSYNC_PASSWORD 或者，使用 -password-file= 選項(xiàng)調(diào)用密碼文件 rsync腳本的交互處理2-2 rootlocalhost # vi /root/rsync_get_wwwroot.sh #!/bin/bash CMD=/usr/bin/rsync RSYNC_USER=backuper RSYNC_PASSWROD=pwd123 ARGS=-az -delete SRC=:wwwroot DST=/wwwroot mkdir -p $DST $CMD $ARGS $RSYNC

18、_USER$SRC $DST 自動(dòng)讀取密碼，免除交互自動(dòng)讀取密碼，免除交互 定期同步的不足 執(zhí)行備份的時(shí)間固定，延遲明顯、實(shí)時(shí)性差 當(dāng)同步源長(zhǎng)期不變化時(shí)，密集的定期任務(wù)是不必要的 實(shí)時(shí)同步的優(yōu)點(diǎn) 一旦同步源出現(xiàn)變化，立即啟動(dòng)備份 只要同步源無變化，則不執(zhí)行備份 rsync實(shí)時(shí)同步 Linux內(nèi)核的inotify機(jī)制 從版本2.6.13開始提供 可以監(jiān)控文件系統(tǒng)的變動(dòng)情況，并作出通知響應(yīng) 輔助軟件：inotify-tools 關(guān)于inotify 服務(wù)器服務(wù)器A A （rsync或SSH，備份源） 上行同步（上傳） 服務(wù)器服務(wù)器B BAAAA （rsync客戶機(jī)，發(fā)起端） InternetInte

19、rnet inotify觸發(fā) 本地文件系統(tǒng) 調(diào)整inotify內(nèi)核參數(shù) max_queue_events：監(jiān)控隊(duì)列大小 max_user_instances：最多監(jiān)控實(shí)例數(shù) max_user_watches：每個(gè)實(shí)例最多監(jiān)控文件數(shù) rsync+inotify實(shí)時(shí)同步3-1 rootlocalhost # vi /etc/sysctl.conf fs.inotify.max_queued_events = 16384 fs.inotify.max_user_instances = 1024 fs.inotify.max_user_watches = 1048576 rootlocalhost #

20、 sysctl -p 應(yīng)大于監(jiān)控目標(biāo)的總文件數(shù)應(yīng)大于監(jiān)控目標(biāo)的總文件數(shù) 安裝inotify-tools輔助工具 inotifywait：用于持續(xù)監(jiān)控，實(shí)時(shí)輸出結(jié)果 inotifywatch：用于短期監(jiān)控，任務(wù)完成后再出結(jié)果 rsync+inotify實(shí)時(shí)同步3-2 rootlocalhost # inotifywait -mrq -e modify,create,move,delete /var/www/html Setting up watches. Beware: since -r was given, this may take a while! Watches established.

21、 /var/www/html/ CREATE index.php /var/www/html/ MODIFY index.php /var/www/html/ MOVED_FROM index.php /var/www/html/ MOVED_TO test.php -m-m，持續(xù)進(jìn)行監(jiān)控，持續(xù)進(jìn)行監(jiān)控 -r-r，遞歸監(jiān)控所有子對(duì)象，遞歸監(jiān)控所有子對(duì)象 -q-q，簡(jiǎn)化輸出信息，簡(jiǎn)化輸出信息 -e-e，指定要監(jiān)控哪些事件類型，指定要監(jiān)控哪些事件類型 通過inotifywait觸發(fā)rsync同步操作 使用while、read持續(xù)獲取監(jiān)控結(jié)果 根據(jù)結(jié)果可以作進(jìn)一步判斷，決定執(zhí)行何種操作 rsync+

22、inotify實(shí)時(shí)同步3-3 rootlocalhost # vi /opt/inotify_rsync.sh #!/bin/bash INOTIFY_CMD=inotifywait -mrq -e modify,create,attrib,move,delete /var/www/html/ RSYNC_CMD=rsync -azH -delete /var/www/html/ rput:/var/www/html $INOTIFY_CMD | while read DIRECTORY EVENT FILE do if $(pgrep rsync | wc -l) -le 0 ; then $RSYNC_CMD fi done 讀取輸出的監(jiān)控記錄讀取輸出的監(jiān)控記錄 如果如果rsyncrsync未在執(zhí)行，則立即啟動(dòng)未在執(zhí)行，則立