（5）IT運(yùn)維管理：ITIL先鋒論壇-某互聯(lián)網(wǎng)公司一個IT運(yùn)維故障分析和智能運(yùn)維的實(shí)踐經(jīng)驗(yàn)

阿里基于內(nèi)核剖析的故障分析和智能運(yùn)維實(shí)現(xiàn)目前致力于阿里超大規(guī)模數(shù)據(jù)中心的穩(wěn)定性和可靠性建設(shè)，新硬件與軟件的協(xié)同設(shè)計等基礎(chǔ)技術(shù)領(lǐng)域的研發(fā)與工程化落地。主要研究領(lǐng)域包括：SOC芯片的前端構(gòu)建、仿真，電信級Linux內(nèi)核研發(fā)，百萬級系統(tǒng)智能運(yùn)維，以及行業(yè)應(yīng)用的全生棧軟硬件技術(shù)及其融合應(yīng)用。曾參與中國嵌入式系統(tǒng)學(xué)科體系建設(shè)，國家電網(wǎng)智能電網(wǎng)國家標(biāo)準(zhǔn)的制定。運(yùn)維的趨勢運(yùn)維的現(xiàn)狀和挑戰(zhàn)更好的運(yùn)維體驗(yàn)龍蜥運(yùn)維SIG（興趣組）運(yùn)維的趨勢?對整體運(yùn)維環(huán)境無感知，無法應(yīng)對任何的基礎(chǔ)設(shè)施運(yùn)維?存在基礎(chǔ)設(shè)施的運(yùn)維人員，運(yùn)維的成本高運(yùn)維的現(xiàn)狀和挑戰(zhàn)配置部署管理系統(tǒng)監(jiān)控社區(qū)工具不知其然只知其然而不知傳統(tǒng)運(yùn)維平臺的視角傳統(tǒng)IaaS提供商的視角客戶的應(yīng)用視角傳統(tǒng)運(yùn)維平臺的視角傳統(tǒng)IaaS提供商的視角客戶的應(yīng)用視角進(jìn)程B的內(nèi)存問題，很難讓運(yùn)維人員關(guān)聯(lián)到進(jìn)程A的寫文件操作可能引發(fā)的內(nèi)存不足告警可能引發(fā)的內(nèi)進(jìn)程B的內(nèi)存問題，很難讓運(yùn)維人員關(guān)聯(lián)到進(jìn)程A的寫文件操作可能引發(fā)的內(nèi)存不足告警可能引發(fā)的內(nèi)存訪問時延更糟的是，我們沒有辦法知道，究竟在哪個時刻會引發(fā)問題。糟糕的是，不僅僅是案例所闡述的內(nèi)存問題，糟糕的是，不僅僅是案例所闡述的內(nèi)存問題，在操作系統(tǒng)內(nèi)部網(wǎng)絡(luò)、IO、內(nèi)存、調(diào)度皆大量存在類似問題。更好的運(yùn)維體驗(yàn)實(shí)現(xiàn)診斷功能與客戶應(yīng)用表象的關(guān)聯(lián)，實(shí)現(xiàn)診斷功能與客戶應(yīng)用表象的關(guān)聯(lián)，基于內(nèi)核深度剖析智能一體化運(yùn)維流程監(jiān)控與深度問題診斷聯(lián)動，知其然又知所以然；集群化的大數(shù)據(jù)、AI分析，深入內(nèi)核的運(yùn)維SysOMSysOM2.0內(nèi)存診斷功能和實(shí)踐場景主要使用場景：主要使用場景：2.查詢OOM原因，并做出優(yōu)化改進(jìn)，預(yù)主要使用場景：內(nèi)存大盤內(nèi)存診斷內(nèi)存大盤內(nèi)存診斷2.0-Sy2.0-SysOM診斷內(nèi)存診斷OOM診斷內(nèi)存診斷OOM2.0-Sy2.0-SysOM分析Cache內(nèi)存診斷分析Cache內(nèi)存診斷2.0-Sy2.0-SysOM常見調(diào)度問題 _______________________________應(yīng)用抖動原因各種各樣，除應(yīng)用自身邏輯處理有缺陷外，___八___執(zhí)行過程偶爾耗時增加SysOM2.SysOM2.0功能定位：診斷系統(tǒng)負(fù)載高是由哪些進(jìn)程引起，及負(fù)載高是否對!!1.診斷系統(tǒng)負(fù)載高是否對系統(tǒng)的sys利用率、harSysOM2.SysOM2.0SysOM2.SysOM2.0SysOM2.SysOM2.0SysOMSysOM2.0事件總覽調(diào)度問題發(fā)生的頻次調(diào)度問題詳細(xì)信息SysOM2.SysOM2.0?追溯IO流量沖高來源進(jìn)程、文件、磁盤問題診斷流量分析IOIOBurst問題診斷流量分析IOIOBurst2.0——Sy2.0——SysOM?通過在文件系統(tǒng)、塊層追蹤IO，獲取更細(xì)粒度的IO流量分布信息，支持追溯IO來源?通過信息聚合分析，支持追溯bufferio實(shí)際來源SysOM2.0IOSysOM2.0IO診斷延遲分析SysOM2.0IOIO——延遲性能問題診斷延遲分析SysOM2.0IOIO——App/App/filesystem/… …iidp3dp4dp3dp4… dp:driverpoint?通過對IO鏈路追蹤，獲取IO各鏈路延遲分布?通過展開IO更多細(xì)節(jié)信息，分析進(jìn)程IO的延遲性能瓶頸SysOM2.0IOSysOM2.0IO問題SysOM2.0IOHANGHANG診斷——分析問題SysOM2.0IOHANG…}Virtio-Virtio-blk??IO未下發(fā)問題?中斷處理問題?通過提取vring特征，界定磁盤HANG或OSH