【移動(dòng)應(yīng)用開發(fā)技術(shù)】如何分析磁盤IO高的問題排查過程

【移動(dòng)應(yīng)用開發(fā)技術(shù)】如何分析磁盤IO高的問題排查過程

這期內(nèi)容當(dāng)中在下將會(huì)給大家?guī)碛嘘P(guān)如何分析磁盤IO高的問題排查過程，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。我們服務(wù)器搭建了cacti進(jìn)行監(jiān)控，一次通過查看磁盤IO圖像的時(shí)候，發(fā)現(xiàn)每天凌晨3：20-3：35的時(shí)候磁盤IO一下飆的很高，然后想知道到底是哪個(gè)進(jìn)程占用那么高的IO，下面是解決方法：寫個(gè)檢測(cè)腳本check_io_process.sh,當(dāng)磁盤IO占用高的時(shí)候進(jìn)行磁盤IO讀寫進(jìn)程次數(shù)的檢測(cè):#!/bin/bash#Date:2013/8/20#Author:zhangkai#Description:ThisscriptisusedtocheckIOhigherprocess.#History:iostat_log=/data/logs/iostat/iostat.logdmesg_log=/data/logs/iostat/dmesg.logdstat_log=/data/logs/iostat/dstat.logif[!-d/data/logs/iostat];thenmkdir-p/data/logs/iostatfiadd(){str=$@sum=`echo${str///+}|bc-l`}iostat-x15>$iostat_logidle_percent=`cat$iostat_log|awk'BEGIN{flag=0}{if(flag==1){print$12;flag=0;}if(index($0,"%util"))

{flag=1;}}'`add$idle_percent#求5次查詢IO占用率的平均值avg=`echo$sum/5|bc`if[[$avg-ge70]];thenecho1>/proc/sys/vm/block_dumpecho"">>$dmesg_logecho`date"+%Y-%m-%d%H:%M:%S"`>>$dmesg_logpython/data/dmesg_io.py>>$dmesg_logecho"">>$dstat_logecho`date"+%Y-%m-%d%H:%M:%S"`>>$dstat_logdstat-d--top-bio110>>$dstat_logecho0>/proc/sys/vm/block_dump

fi其中該shell腳本調(diào)用了檢測(cè)磁盤IO讀寫進(jìn)程次數(shù)的python腳本,下面是dmesg_io.py的代碼：#!/usr/bin/python#Monitoringper-processdiskI/Oactivity#writtenbyimportsys,os,time,signal,reclassDiskIO:def__init__(self,pname=None,pid=None,reads=0,writes=0):self.pname=pnameself.pid=pidself.reads=0self.writes=0defmain():argc=len(sys.argv)ifargc!=1:print"usage:./iotop"sys.exit(0)ifos.getuid()!=0:print"mustberunasroot"sys.exit(0)signal.signal(signal.SIGINT,signal_handler)os.system('echo1>/proc/sys/vm/block_dump')print"TASK

PID

READ

WRITE"#

whileTrue:os.system('dmesg-c>/tmp/diskio.log')l=[]f=open('/tmp/diskio.log','r')line=f.readline()whileline:m=re.match(\'^(\S+)\((\d+)\):(READ|WRITE)block(\d+)on(\S+)',line)ifm!=None:ifnotl:l.append(DiskIO(m.group(1),m.group(2)))line=f.readline()continuefound=Falseforiteminl:ifitem.pid==m.group(2):found=Trueifm.group(3)=="READ":item.reads=item.reads+1elifm.group(3)=="WRITE":item.writes=item.writes+1ifnotfound:l.append(DiskIO(m.group(1),m.group(2)))line=f.readline()time.sleep(1)foriteminl:print"%-10ssdd"%\(item.pname,item.pid,item.reads,item.writes)defsignal_handler(signal,frame):os.system('echo0>/proc/sys/vm/block_dump')sys.exit(0)if__name__=="__main__":main()發(fā)現(xiàn)在3：20-3：35的日志如下(僅列出部分)：[root@localhostiostat]#catdmesg.log2013-08-2203:23:06TASK

PID

READ

WRITEupdatedb

18661

2951

0kjournald

804

0

525kjournald

1826

0

5762013-08-2203:24:05TASK

PID

READ

WRITEupdatedb

18661

3007

0kjournald

804

0

238kjournald

1826

0

112flush-8:0

11687

0

182013-08-2203:25:05TASK

PID

READ

WRITEupdatedb

18661

2689

0kjournald

804

0

229kjournald

1826

0

44說明是updatedb這進(jìn)程惹的禍，google查之，這個(gè)是由[cron]自動(dòng)運(yùn)行的更新系統(tǒng)數(shù)據(jù)的腳本。其作用是為你系統(tǒng)里面的文件建立索引，以便于locate和whereis等查詢命令的能夠快速執(zhí)行而我們服務(wù)器/data/目錄每天會(huì)產(chǎn)生大量的小文件，導(dǎo)致建立索引的時(shí)候占用很高的磁盤IO服務(wù)器每天定時(shí)對(duì)硬盤上的文件進(jìn)行索引，簡(jiǎn)單的說就是建立一個(gè)數(shù)據(jù)庫，把所有文件目錄信息存放到這個(gè)庫里面，當(dāng)使用whereis和locate命令搜索文件時(shí)，它直接到這個(gè)數(shù)據(jù)庫中讀取數(shù)據(jù)。而不是像find一樣在硬盤上找文件。Whereis搜索一個(gè)文件幾乎只要幾秒鐘就可以搞定，而find需要花費(fèi)幾分鐘或者更長(zhǎng)時(shí)間。updatedb.Conf使搜索的效率提高了很多倍。但是有缺點(diǎn)，它每天都需要索引更新，這會(huì)導(dǎo)致IO負(fù)載過高，因?yàn)椴皇菚r(shí)時(shí)更新，所以會(huì)出現(xiàn)搜索到已經(jīng)刪除的文件，搜不出新添加的文件，平時(shí)管理中我們很少用到。如果文件數(shù)量多而且更新平凡，我們大可把這個(gè)功能關(guān)閉優(yōu)化方法：1.停止對(duì)/data目錄進(jìn)行