hadoop運維經(jīng)驗分享

Hadoop運維經(jīng)驗分享趙云炯@ebay2012華東運維技術(shù)大會2008年加入阿里巴巴云梯管理員2011年加入SDO負責搭建并維護hadoop集群2012年加入ebay自我介紹2012華東運維技術(shù)大會hadoop集群搭建監(jiān)控集群性能調(diào)優(yōu)Hadoop如何被搞垮的概要2012華東運維技術(shù)大會Mastermemory

磁盤sas+raid10active-backupbondingIPaliasHadoop集群搭建2012華東運維技術(shù)大會Editlog本地一份，NFS一份NameQuota&SpaceQuota權(quán)限控制/tmpTrashRackawarenessNamenode2012華東運維技術(shù)大會控制內(nèi)存mapred.jobtracker.maxtasks.per.jobervalpleteuserjobs.maximummapreduce.job.counters.limitJobTracker2012華東運維技術(shù)大會內(nèi)存不能少于Namenode控制做checkpoint的次數(shù)及時間fs.checkpoint.periodfs.checkpoint.sizeSecondaryNamenode2012華東運維技術(shù)大會Disk2T*12ext4noatime定期更換壞磁盤，一次一臺網(wǎng)絡(luò)如果條件允許，做匯聚綁定（mode4bonding)內(nèi)存24Gslave2012華東運維技術(shù)大會內(nèi)存：map+reduce+tasktracker+datanode網(wǎng)絡(luò)磁盤注意wio確定map&reduce數(shù)2012華東運維技術(shù)大會Endtoend檢測hdfs是否可用，是否能跑map/reduce10分鐘一次fsckGCFullGC監(jiān)控2012華東運維技術(shù)大會Tasktracker&Datanode數(shù)量異常作業(yè)監(jiān)控大作業(yè)讀寫數(shù)據(jù)特別多運行時間特別長監(jiān)控2012華東運維技術(shù)大會GC策略Editlog鎖調(diào)度性能調(diào)優(yōu)2012華東運維技術(shù)大會推薦使用CMS停頓時間短/technetwork/java/javase/gc-tuning-6-140523.html#cms指定heap內(nèi)存的初始值和最大值相等-Xms-XmxGC策略2012華東運維技術(shù)大會2012華東運維技術(shù)大會所有更改FSNamesystem的RPCCall都需要等待Editlogsync到磁盤才能返回Editlog2012華東運維技術(shù)大會減少持有鎖的時間減少鎖頻率blockReport減少鎖粒度使用讀寫鎖鎖2012華東運維技術(shù)大會調(diào)度效率運行效率Maplocality小作業(yè)重要的作業(yè)調(diào)度2012華東運維技術(shù)大會創(chuàng)建大堆小文件創(chuàng)建大堆文件名非常長的文件DDOSHadoopkiller2012華東運維技術(shù)大會大量的job&tasks使用大量的counter往標準輸出和標準錯誤輸出大量的信息Hadoopkiller2012華東運維技術(shù)大會HadoopbugLinux內(nèi)核bugJVMbug交換機故障爬蟲通過jobtrackerweb端抓取jobhistory文件Session30分鐘過期，導(dǎo)致內(nèi)存暴漲，頻繁fullgcbugs2012華東運維技術(shù)大會誤刪除數(shù)據(jù)誤停止masterIPalias被搶分發(fā)不完整的hadoop-site.xml到slave，導(dǎo)致作業(yè)失敗拔錯硬盤，格錯系統(tǒng)人為錯誤2012華東運維技術(shù)大會承辦單位：ChinaUnix社區(qū)、ITPUB社區(qū)

協(xié)辦單位：mysqlops中文網(wǎng)、TopGeek場地支持：創(chuàng)智天地贊助商：又拍云存儲、韓國派凌科技有限公司北京基調(diào)網(wǎng)絡(luò)系統(tǒng)有限公司北京藍汛通信技術(shù)有限責任公司聯(lián)想集團ThinkServer全球研發(fā)中心出版社支持：水利水電出版社、圖靈教育2