大數(shù)據(jù)中心考核草案

1、金融大數(shù)據(jù)中央考核草案為了更好的推進(jìn)和保證金融大數(shù)據(jù)中央建設(shè)和對外支持工作,特編寫金融大數(shù)據(jù)中央考核草案,草案主要涉及到金融大數(shù)據(jù)中央數(shù)據(jù)開發(fā)部、應(yīng)用開發(fā)部、數(shù)據(jù)挖掘部,各部門要明確相關(guān)部門主要的目標(biāo)、策略、責(zé)任及考核最終落實(shí)到人；草案涉及到兩局部,一局部是要求類,另一局部是考核類,要求類是日常設(shè)計、開發(fā)或運(yùn)維等工作中需要遵守且對中央內(nèi)部比擬重要的指標(biāo)或事項,考核類主要是影響業(yè)務(wù)正常開展的相關(guān)指標(biāo),系統(tǒng)的不可用、不及時、不準(zhǔn)確等對業(yè)務(wù)部門的工作造成了一定的影響,都屬于本中央考核范疇；考核草案詳情如下：一、數(shù)據(jù)開發(fā)部1 .數(shù)據(jù)定義有邏輯模型和物理模型,并有建模說明,建模根據(jù)建模標(biāo)準(zhǔn)進(jìn)行,模型標(biāo)準(zhǔn)

2、和標(biāo)準(zhǔn)進(jìn)行考核.建模標(biāo)準(zhǔn)、考核標(biāo)準(zhǔn)2 .數(shù)據(jù)分類數(shù)據(jù)根據(jù)數(shù)據(jù)倉庫行業(yè)標(biāo)準(zhǔn)并結(jié)合金融大數(shù)據(jù)中央實(shí)際內(nèi)容指定標(biāo)準(zhǔn)分類,數(shù)據(jù)嚴(yán)格根據(jù)分類進(jìn)行劃分例如：數(shù)據(jù)歸類可劃分當(dāng)事人、產(chǎn)品、渠道、合約、機(jī)構(gòu)、事件、活動、賬務(wù)等分類標(biāo)準(zhǔn)、考核標(biāo)準(zhǔn)3 .元數(shù)據(jù)治理從以下幾點(diǎn)進(jìn)行考核：1對數(shù)據(jù)倉庫中的數(shù)據(jù)包含來源以及數(shù)據(jù)倉庫中產(chǎn)生的數(shù)據(jù)進(jìn)行描述,相關(guān)人員可以查看.2統(tǒng)一記錄好ETL中調(diào)度時間、依賴、抽取內(nèi)容、方式、方法等.3記錄并檢測系統(tǒng)數(shù)據(jù)的一致性,并能記錄執(zhí)行情況.4記錄好ETL數(shù)據(jù)清洗模型、轉(zhuǎn)換模型、加載模型,相關(guān)信息入庫.4 .數(shù)據(jù)標(biāo)準(zhǔn)主要針對指標(biāo)的業(yè)務(wù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)業(yè)務(wù)標(biāo)準(zhǔn)：對指標(biāo)有明確的統(tǒng)計邏輯.技術(shù)標(biāo)準(zhǔn)

3、：表、視圖、索引、分區(qū)、文件、腳本、字段等符合標(biāo)準(zhǔn),相同指標(biāo)需要有統(tǒng)一的定義.業(yè)務(wù)標(biāo)準(zhǔn)、技術(shù)標(biāo)準(zhǔn)有了,看看是否需要完善5,數(shù)據(jù)質(zhì)量1根據(jù)不同的業(yè)務(wù)需求和規(guī)那么驗證數(shù)據(jù)是否被正確地轉(zhuǎn)化.2保證所有預(yù)期的數(shù)據(jù)加載到數(shù)據(jù)倉庫中沒有任何數(shù)據(jù)喪失和截斷.3保證數(shù)據(jù)在規(guī)定和預(yù)計的時間框架內(nèi)被加載到數(shù)據(jù)倉庫中,以確認(rèn)改良的性能和可擴(kuò)展性.4預(yù)期數(shù)據(jù)被添加到目標(biāo)系統(tǒng)5確認(rèn)所有的數(shù)據(jù)庫字段,字段數(shù)據(jù)加載沒有任何截斷6記錄計數(shù)匹配的數(shù)據(jù)校驗7被拒絕的數(shù)據(jù)的錯誤日志都有詳細(xì)記錄8） NULL®字段9重復(fù)數(shù)據(jù)未加載10數(shù)據(jù)的完整性缺少數(shù)據(jù)質(zhì)量衡量標(biāo)準(zhǔn).6 .穩(wěn)定性：每天ETL調(diào)度的出錯率需要在總?cè)蝿?wù)量的10

4、%Z內(nèi),出錯要找出出錯原因例如：沒有順序執(zhí)行、時間延遲、程序錯誤等,并上報給規(guī)劃治理部進(jìn)行記錄備案,并納入季度及年度部門及個人考核.7 .其它1腳本編寫等需要有良好的數(shù)據(jù)庫移植性,不適用特定數(shù)據(jù)庫的特殊函數(shù)使用sql9.2標(biāo)準(zhǔn),便于后期不同的平臺、系統(tǒng)、數(shù)據(jù)的移植.2平安性：系統(tǒng)的平安性要首先考慮,系統(tǒng)或數(shù)據(jù)倉庫的設(shè)計要從網(wǎng)絡(luò)安全、系統(tǒng)平安、數(shù)據(jù)平安方面充分考慮,對外數(shù)據(jù)支持需要走流程,規(guī)劃治理部要進(jìn)行審核.3數(shù)據(jù)分散與集中相結(jié)合：所有數(shù)據(jù)集中存儲,數(shù)據(jù)倉庫根據(jù)需要對外系統(tǒng)(中央外或中央內(nèi)的應(yīng)用系統(tǒng))治理分別設(shè)置權(quán)限,不同的用戶維護(hù)不同數(shù)據(jù).二、應(yīng)用開發(fā)部應(yīng)用開發(fā)部主要涉及到應(yīng)用程序或接口效勞

5、程序的設(shè)計、開發(fā)、優(yōu)化、監(jiān)控、運(yùn)維等(例如WEBAPR接口程序等)工作,下面提出針對系統(tǒng)設(shè)計、開發(fā)或運(yùn)維時需要考慮的局部指標(biāo),指標(biāo)有待大家進(jìn)行擴(kuò)充和完善.1 .事務(wù)(Transaction)在web中一個事務(wù)表示一個“從用戶發(fā)送請求->webserver接受到請求,進(jìn)行處理->webserver向口瞰取數(shù)據(jù)->生成用戶的object(頁面),返回給用戶的過程,一般的響應(yīng)時間都是針對事務(wù)而言的.支持事物個數(shù)：？2 .請求響應(yīng)時間請求響應(yīng)時間指的是從客戶端發(fā)起的一個請求開始,到客戶端接收到從效勞器端返回的響應(yīng)結(jié)束,這個過程所消耗的時間,在某些工具中,響應(yīng)通常會稱為“TTLE?,即

6、"timetolastbyte",意思是從發(fā)起一個請求開始,到客戶端接收到最后一個字節(jié)的響應(yīng)所消耗的時間,響應(yīng)時間的單位一般為“秒或者“毫秒.公式為：響應(yīng)時間=網(wǎng)絡(luò)響應(yīng)時間+應(yīng)用程序響應(yīng)時間.標(biāo)準(zhǔn)可參考國外的3/5/10原那么：(1)在3秒鐘之內(nèi),頁面給予用戶響應(yīng)并有所顯示,可認(rèn)為是“很不錯的；(2)在35秒鐘內(nèi),頁面給予用戶響應(yīng)并有所顯示,可認(rèn)為是“好的；(3)在510秒鐘內(nèi),頁面給予用戶響應(yīng)并有所顯示,可認(rèn)為是“勉強(qiáng)接受的；(4)超過10秒就讓人有點(diǎn)不耐煩了,用戶很可能不會繼續(xù)等待下去；3 .事務(wù)響應(yīng)時間事務(wù)可能由一系列請求組成,事務(wù)的響應(yīng)時間主要是針對用戶而言,屬于宏

7、觀上的概念,是為了向用戶說明業(yè)務(wù)響應(yīng)時間而提出的.各系統(tǒng)事物響應(yīng)時間？4 .并發(fā)用戶數(shù)并發(fā)一般分為2種情況.一種是嚴(yán)格意義上的并發(fā),即所有的用戶在同一時刻做同一件事情或者操作,這種操作一般指做同一類型的業(yè)務(wù)；還有一種特例,即所有用戶進(jìn)行完全一樣操作.各系統(tǒng)的并發(fā)用戶數(shù)？5 .吞吐量指的是在一次性能測試過程中網(wǎng)絡(luò)上傳輸?shù)臄?shù)據(jù)量的總和.吞吐量/傳輸時問,就是吞吐率.6 .TPS(transactionpersecond)每秒鐘系統(tǒng)能夠處理的交易或者事務(wù)的數(shù)量.它是衡量系統(tǒng)處理水平的重要指標(biāo).7 .宕機(jī)率主要系統(tǒng)全年宕機(jī)時間=?8 .點(diǎn)擊率每秒鐘用戶向WE圄艮務(wù)器提交的HTTP青求數(shù).這個指標(biāo)是WE

8、而用特有的一個指標(biāo)：WEB應(yīng)用是"請求-響應(yīng)模式,用戶發(fā)出一次申請,效勞器就要處理一次,所以點(diǎn)擊是WEB應(yīng)用能夠處理的交易的最小單位.如果把每次點(diǎn)擊定義為一個交易,點(diǎn)擊率和TPS就是一個概念.容易看出,點(diǎn)擊率越大,對效勞器的壓力越大.9 .資源利用率1)通用指標(biāo)(指We的用效勞器、數(shù)據(jù)庫效勞器必需測試項)指標(biāo)說明ProcessorTime效勞器CPU占用率,一般平均到達(dá)70%寸,效勞就接近飽和MemoryAvailableMbyte可用內(nèi)存數(shù),如果測試時發(fā)現(xiàn)內(nèi)存有變化情況也要注意,如果是內(nèi)存泄露那么比擬嚴(yán)重PhysicsdiskTime物理磁盤讀寫時間情況2)Wet®務(wù)器指

9、標(biāo)指標(biāo)說明RequestsPerSecond(AvgRps)平均每秒鐘響應(yīng)次數(shù)=總請求時間/秒數(shù)Avgtimetolastbyteperterstions)(mste平均每秒業(yè)務(wù)腳本的迭代次數(shù),混淆有人會把上面那個SuccessfulRounds成功的請求FailedRequests失敗的請求SuccessfulHits成功的點(diǎn)擊次數(shù)FailedHits失敗的點(diǎn)擊次數(shù)HitsPerSecond每秒點(diǎn)擊次數(shù)SuccessfulHitsPerSecond每秒成功的點(diǎn)擊次數(shù)FailedHitsPerSecond每秒失敗的點(diǎn)擊次數(shù)AttemptedConnections嘗試鏈接數(shù)3數(shù)據(jù)庫效勞器性能指標(biāo)指標(biāo)說明User0Connections用戶連接數(shù),也就是數(shù)據(jù)庫的連接數(shù)量Numberofdeadlocks數(shù)據(jù)庫死鎖ButterCachehit數(shù)據(jù)庫Cache的命中情況4系統(tǒng)的瓶頸定義性能項命令指標(biāo)CPU艮制vmstat當(dāng)user+%sys超過80%寸磁盤I/O限制Vmstat當(dāng)%iowait超過40%AIX4.3.3或更高版本時應(yīng)用磁盤限制ostat當(dāng)tm_act超過70%寸虛存空間少Lsps,-a當(dāng)分頁空間的活動率超過70%寸換頁限制ostat,stat虛存邏輯卷%tm_act超過I/Oiostat的30%,激活的虛存率超過CPUB量vmstat的10倍時系統(tǒng)失效Vmst