【轉自UMLONLINE張傳波老師原創(chuàng)】用數(shù)據(jù)管理

1、.【轉自UMLONLINE 張傳波老師原創(chuàng)】用數(shù)據(jù)管理原文地址摘要用數(shù)據(jù)說話，這是當前很時髦的話，本文將數(shù)據(jù)管理過程劃分成4個層次，并闡述企業(yè)如何達到這四個層次。1.初級量化管理：以數(shù)據(jù)感知項目的狀況(相當于CMMI2級)2.中級量化管理：通過經驗值來管理項目(相當于CMMI3級)3.高級量化管理：用PCB進行項目管理(相當于CMMI4級)4.超級量化管理：持續(xù)優(yōu)化的量化管理(相當于CMMI5級)說起量化這個話題，大家可以發(fā)現(xiàn)很多相關資料、理論，什么六西格瑪、統(tǒng)計過程控制(SPC)、過程能力基線(PCB)、軟件度量、功能點法、軟件估算等等，大有百家爭鳴之勢！即將進行的第五屆中國系統(tǒng)與軟件過程改

2、進年會，主題是用數(shù)據(jù)管理過程，正所謂不時髦就不拿來做主題啊！這下好了，各路英雄豪杰將濟濟一堂，各類關于量化管理的理論書包將拋來拋去，希望大家到時不會頭暈眼花啦。我們不要頭暈，我們不要目眩！誰能系統(tǒng)地把所有量化的理論梳理一遍啊?本文將肩負起這個歷史重任，還大家一個明白！2.對量化理論進行格式化關于量化方面文章，大家可能難以把各文章的內容在腦袋中組織成一面知識網，主要因為各文章按照各自的角度闡述問題。我們需要一個統(tǒng)一的角度來描述這些事情，這里我們就以CMMI的為參考標準，對所有的量化理論進行格式化。量化方面的詞匯太多了，我們不是搞理論研究的，我們不去咬文嚼字，為了闡述方便，這里我們把與量化有關的內

3、容，全部統(tǒng)稱為量化管理，量化管理大致可以分為以下四個級別：1)初級量化管理-感知級，相當于CMMI2級。2)中級量化管理-經驗級，相當于CMMI3級。3)高級量化管理-可預測級，相當于CMMI4級。4)超級量化管理-持續(xù)優(yōu)化級，相當于CMMI5級。高級別的量化管理，必滿足所有低級別量化管理特點，例如高級量化管理，它具備初級量化管理、中級量化管理的特點，又具備本身的特點。我們?yōu)槭裁匆霉δ茳c法來估計項目的規(guī)模?我們?yōu)槭裁匆攘宽椖康墓r、費用?我們?yōu)槭裁匆隽炕芾?如果我們不用量化管理的方式，也能達到量化管理的效果，而且成本更低，那還要不要進行量化管理?當我們面對鋪天蓋地的量化理論的時候，當我

4、們要考慮要做量化管理的時候，首先要問自己的問題就是：為什么要做量化管理?我們回答一下這個問題：為什么要用功能點法來估計項目的規(guī)模?是為了時髦?還是想試用一下功能點法?如果老板想這樣做，估計他感覺到項目的估算不是很準，他希望通過一些量化的辦法，讓項目的估算做得更準。所以，他的要進行量化管理的目的是：提高估算的準確率。這就是老板的完整目標嗎?如果員工們不計成本地把功能點法做好了，估算偏差提高到不超過5%，但估算工作需要的時間由原來的5天增加到50天，這樣老板會接受嗎?其實老板還有隱含的約束條件，就是不能太花成本。如果把老板的目標再完整表達一下，應該是：在一定的時間成本要求內，提高估算的準確率。無論

5、我們做什么量化的工作，都必須先明確：量化管理第一基本法則：明確量化管理的目的及約束條件。功能點法是比較復雜而且難掌握的軟件規(guī)模度量辦法，有可能在研究使用的過程中，才發(fā)現(xiàn)不值得用功能點法，大家再反過來看看目標：在一定的時間成本要求內，提供估算的準確率，而不是：在一定的時間成本要求內，用功能點法提高估算的準確率。這時，大家可以選用別的辦法，或者對功能點法進行改造。在制定目標的時候，不要把具體的方法寫進去，目標是很高層次的，把辦法寫進去，也就是相當于限制了思路。有人可能會說，在一定的時間成本要求內，提高估算的準確率，這個目標太虛了吧，寫了等于沒寫。呵呵，其實正是因為沒有明確這個虛的目標，很多量化管理

6、的工作變成就是為了量化管理而量化管理。什么六西格瑪、統(tǒng)計過程控制(SPC)、過程能力基線(PCB)等量化管理辦法，都是有很明確的目的的。如果企業(yè)對量化管理的目標都不明確的話，那就非常不好意思了，連初級水平都不是，是屬于無級別的水平。下面開始，我們感受一下量化管理的四個級別。有很多軟件企業(yè)，在項目過程中，須提交一些進度報告、總結報告，報告中可能會有進度情況、成本情況的一些數(shù)據(jù)。收集這些數(shù)據(jù)的目標也十分明確，就是想了解項目的進度、成本情況，并與計劃的情況進行比較，采取必要的措施。例：進度報告(節(jié)選)任務概述計劃完成日期時間完成日期偏差分析任務18月3日8月5日.任務28月10日8月11日.任務n

7、8月15日未完成.在軟件測試中，會記錄各類缺陷的情況，并且在測試報告中報告缺陷的一些數(shù)據(jù)。項目組會根據(jù)缺陷方面的數(shù)據(jù)，分析軟件的質量，并考慮后續(xù)的改進措施。例：測試報告(節(jié)選)：嚴重級別已解決的缺陷數(shù)量未解決的缺陷數(shù)量致命20嚴重61一般202輕微154匯總437總缺陷數(shù)量：50建議：需要在后續(xù)版本中修復沒有解決的缺陷。感知級的企業(yè)，有這樣的一些特點：1)有明確的度量目的。2)有度量值的比較基準，如例子中的計劃完成時間與實際完成時間的對比。3)被度量對象的屬性定義得比較清楚，如上例中缺陷的屬性。4)對度量的結果進行分析，并且要考慮改進措施。感知級的企業(yè)，應該滿足CMMI2級中MA(度量)這個P

8、A的要求的，感興趣的讀者可以去看看MA個PA。下面這種情況，算不算感知級呢?在項目總結報告中，統(tǒng)計項目進度、成本等情況，分析與計劃比較的差異，提出對以后有用的改進意見。如果只在項目總結報告的時候，才進行度量的話，是不能算感知級的，度量的結果要能用于項目管理，而不是項目結束后了統(tǒng)計出到一些數(shù)字，盡管這些數(shù)字可以用來改善以后的工作，但對該項目本身工作的改善已經沒有任何作用了。達到初級量化管理的企業(yè)，能明確量化管理的目標，通過合適的度量辦法，感知項目的各類參數(shù)，并根據(jù)各度量指標的實際數(shù)值，采取改善項目行為的措施。進行量化管理過程中，我們能得到各類參數(shù)值，但該參數(shù)值應該怎樣才算合理呢?例如進度偏差多少

9、才算合理?遺留缺陷數(shù)量多少個才算合理?前面提到用功能點法來估算項目的規(guī)模，然后我們可以由規(guī)模導出工作量，但規(guī)模與工作量是怎樣的一個關系呢?怎樣根據(jù)規(guī)模導出工作量呢?相同規(guī)模的軟件，不同的軟件企業(yè)來做，導出的工作量是不一樣的。進行初級量化管理的時候，企業(yè)通過實際的參數(shù)值，來感覺項目的狀況，當積累足夠多數(shù)據(jù)的時候，管理者可能會找出項目間的一些共同的數(shù)據(jù)特點，如可以統(tǒng)計出平均值、最大值、最小值，這些數(shù)據(jù)，可以描述組織整體的性能。當數(shù)據(jù)積累比較多的時候，組織級的經驗數(shù)據(jù)，可以用來指導管理以后的項目，例如可以用組織的平均值做為量化管理的要求。這個時候，就達到了中級量化管理水平了。中級量化管理有以下特點：

10、1)對歷史數(shù)據(jù)進行一定的分析，得出一些數(shù)值，從這些數(shù)據(jù)能大概掌握企業(yè)的能力狀況。2)根據(jù)大概的企業(yè)能力狀況，定出項目量化的管理目標，并用于管理項目。3)利用歷史的經驗數(shù)據(jù)，由項目規(guī)模導出工作量。例：項目規(guī)模與工作量的關系根據(jù)歷史的經驗數(shù)據(jù)，可以繪出規(guī)模與工作量的關系，由這個關系可用來估計新項目的工作量。如果沒有大量的經驗數(shù)據(jù)，這是不能做到的。CMMI3級中，并沒有專門的PA是與度量直接對應的，為什么說中級量化管理與CMMI3級的要求是對應的呢?CMMI3級的重要特點之一就是，有組織級的度量庫，并且項目依據(jù)組織級度量庫的數(shù)據(jù)，定義和管理項目的過程。中級量化管理與初級量化管理的最大區(qū)別就是，度量數(shù)

11、據(jù)已經上升到組織級別，每個項目都可以利用組織的經驗(即歷史數(shù)據(jù))來管理項目。麥當勞的薯條不少人都吃過，味道很好，而且每家麥當勞的薯條味道很一致。麥當勞是如何做到的呢?我們分析一下生產過程，我們發(fā)現(xiàn)薯條從原材料開始，到后續(xù)加工，油炸的時間，薯條炸出來后多少分鐘沒有售出，就銷毀，整個過程都有嚴格的控制，而且很多地方是量化控制，時間甚至精確到秒。嚴格的過程控制，保證了薯條能高質量地穩(wěn)定地產出。全球的麥當勞，都用同一的嚴格過程來管理，所以保證了全球的麥當勞的食品都是高質量的而且是高度一致的。從另外一個角度說，只要麥當勞按照既定的過程來生產食物，我們就可以預測出最終食物的情況，我們將對最終產品的質量非常

12、有信心。那么我們軟件開發(fā)，是不是也希望能達到這樣的效果呢?大家可以回答一下這個問題：如果項目的規(guī)模、采用的技術、人員的水平等因素都確定了，那么您是否可以很有信心去預測這個項目的最終結果呢?如果按照中級量化管理的辦法，還是比較難達到這個效果的，可預測級的量化管理應該是怎樣的呢?在回答這個問題之前，我們需要先搞清楚什么是穩(wěn)定的過程，什么是不穩(wěn)定的過程。我們以煮飯為例，說明什么是穩(wěn)定的過程什么是不穩(wěn)定的過程。大家小的時候可能都野炊過，野炊煮出來的飯可能普遍都是不太好吃的，不是太硬就是太軟。為什么煮出來的效果會差異這么大呢?仔細分析一下，我們發(fā)現(xiàn)很多因素會影響煮飯的最終質量，如：飯鍋、火候、煮的時間、

13、水量等。當我們用野炊的方式煮飯時，這些因素都不太好控制，所以出來飯的質量變化就會比較大了。我們換一種方式來煮飯，用電飯煲煮飯，失手的幾率是不是極大地降低了?為什么會這樣呢?當我們用電飯煲的時候，飯鍋、火候、時間等因素都被固定在理想范圍了，所以最終出來的結果是比較穩(wěn)定而且質量比較好。再看看我們的軟件開發(fā)過程，1級的企業(yè)做出來的軟件，結果是很不穩(wěn)定的，而4級的企業(yè)，能穩(wěn)定地輸出比較好的結果。4級的軟件企業(yè)，只需要確定了項目的規(guī)模、性質、技術、人員技能等因素后，只要按照既定的過程來生產軟件，那么就可以很有信心地預測這個項目的最終結果，這個預測是有很高的可信度的。而CMMI2、3級的企業(yè)，雖然也能預測

14、項目的最終結果，但只能大概預測，4級企業(yè)的預測能準確估計出最終結果的范圍，而且這個范圍是量化的。穩(wěn)定的過程與不穩(wěn)定的過程，大家應該有大致的體會了吧。2、3級的企業(yè)，過程還不能說是穩(wěn)定的，而4級的企業(yè)，過程一定是穩(wěn)定的。同樣，初級、中級量化管理，用數(shù)據(jù)管理的過程，也不能說是穩(wěn)定的，而高級量化管理，用數(shù)據(jù)管理的過程，一定是穩(wěn)定的。用數(shù)據(jù)管理過程，要進入高級階段，就必須了解統(tǒng)計過程控制(SPC)的學問，要了解什么是基線(Baseline)，所謂的六西格瑪管理，其實就是統(tǒng)計過程控制。例：某公司每周對項目的CPI(成本指數(shù)，這是項目掙值管理中的一個重要概念，這里不作介紹)進行度量，分析項目的實際性能。通

15、過分析，發(fā)現(xiàn)CPI波動范圍比較寬，從最低的10%到最高的210%，這樣意味著最終項目的成本很可能會與預算相差1倍以上。作為管理者來說，這是不可以接受的，管理者希望最終的成本與預算相差在比較小的范圍內。為什么CPI會波動這么大呢?影響CPI波動的因素非常多，有估算、計劃、過程、人的能力等等，如果要收窄波動，就需要在這些影響因素上下功夫，想辦法減少這些影響因素的影響。經過改進后，項目的CPI情況如下：以上的做法是不是已經達到統(tǒng)計過程控制的層次呢?還不是，我們看看下圖。這個控制圖，把整個項目過程分為四個階段：需求階段、設計階段、編碼階段、測試階段。每個階段執(zhí)行的過程不一樣，工作的性質不一樣，故繪制控

16、制圖的時候需要予以區(qū)分。對不同階段的CPI數(shù)據(jù)點繪制XmR圖，得出不同階段的中值與上下限。用不同階段的CPI的中值及上下限來監(jiān)控項目的行為，項目管理的重點就是監(jiān)控各數(shù)據(jù)點有沒有超出上下限，對超出上下限的數(shù)據(jù)點(如圖中的紅點)，分析其原因并采取措施，使之回歸到范圍內。所謂的統(tǒng)計過程控制是這樣的一個過程：1)進行統(tǒng)計過程控制的過程是穩(wěn)定的，影響該過程的各類因素，都被很好地控制在一定的范圍內，故最終的結果也是在可控的范圍內的，可預測的。什么叫穩(wěn)定?簡單地說，就是在給定的條件下，產出的結果是在一定可接受的范圍內的。如：只要項目性質和以前的項目差不多，項目的人員水平和以前的大體一致，執(zhí)行的過程也和以前一

17、致，那么該項目的結果應該是在可預測的可接受的范圍內的。如果從統(tǒng)計學的角度，可以對數(shù)據(jù)點進行穩(wěn)定性測試，判斷其是否穩(wěn)定。詳細信息請參考SPC方面的書籍。2)要對過程進行足夠地細分，才能清晰地區(qū)分出各影響因素，使度量出來的數(shù)據(jù)點很容易識別是信號還是噪音。在進行數(shù)據(jù)分組的時候，保證數(shù)據(jù)之間的可比性是非常重要的，蘋果只能跟蘋果比，不能蘋果跟香蕉比。很多做CMMI4級的企業(yè)，很容易犯這樣的錯誤，沒有很好地進行數(shù)據(jù)分組，進行數(shù)據(jù)分組的時候，要充分考慮項目的性質、人員的水平、所執(zhí)行的過程等因素。數(shù)據(jù)分組是否合理的重要標準就是，是否能清晰區(qū)分出信號還是噪音。什么是信號?信號可以說是過程之音，就是過程本身內在的

18、特點所引起的正常波動，如項目的性質、技術、執(zhí)行的過程、人員的水平等。信號反映了過程的正常的能力。什么是噪音?噪音表明實際工作中出現(xiàn)了一些過程之外的特殊情況，如由沒有具備項目管理技能的人來擔當項目經理工作，而當前過程要求的是需要具備項目管理能力的人來負責的，這樣過程執(zhí)行效果肯定會與預計的效果發(fā)生比較大的偏差，從而超出上下限范圍。信號體現(xiàn)了過程正在被正常執(zhí)行，而噪音則反映出過程正在被偏離執(zhí)行。3)數(shù)據(jù)點的偏差，是由公共原因(Common Cause)和可歸屬原因(Special Cause)共同作用下導致的。在控制限內的數(shù)據(jù)點的偏差，主要是由公共原因導致的，而超出上下限的偏差，則是由公共原因和可歸

19、屬原因共同引起的。什么是公共原因?公共原因是指過程本身特有的引起偏差的因素，如果人員的水平波動、項目性質的差異、執(zhí)行過程的力度差異等，這些引起偏差的因素在本過程內已經被削弱，但不可能完全被消除，這些因素共同作用下，會引起數(shù)據(jù)點的正常波動。信號是由公共原因引起的。什么是可歸屬原因?可歸屬原因是指出現(xiàn)了過程沒有考慮或者違背了過程的情況，引入了新的引起波動的因素，如：沒有安排好相應培訓、沒有按過程執(zhí)行等。出現(xiàn)了可歸屬原因，將會加大數(shù)據(jù)點的波動，從而超出上下限范圍。噪音是由公共原因和可歸屬原因共同作用引起的。4)通過統(tǒng)計學的辦法計算出性能基線，如用XR圖、XmR圖。5)用性能基線進行項目管理，項目管理

20、的重點是監(jiān)控超出范圍內的數(shù)據(jù)點，分析其原因，想辦法排除可歸屬原因。消除可歸屬原因后，就可以消除由于可歸屬原因引起的波動，這樣數(shù)據(jù)點就會重新回到上下限范圍內。組織級應該有詳細的進行可歸屬原因分析及問題解決的指導，項目經理根據(jù)該指導來排除可歸屬原因。SPC的原理比較深奧，想有深刻的理解是不容易的。SPC在制造業(yè)等其它行業(yè)已經被廣泛應用，其基本原因就是通過改造生產流水線，消除或者限制影響產品規(guī)格的因素，使產出的產品規(guī)格在一定的范圍內并符合要求。這個原理要用到軟件生產，就沒有那么簡單了，影響軟件質量的因素非常多，需要功力深厚的人分析各影響因素，并通過改造過程來消除或者削弱這些因素的影響。在這個層面上，

21、用數(shù)據(jù)管理過程的檔次已經提高了一大截，這時候數(shù)據(jù)管理的過程是穩(wěn)定的過程，該過程的中值和上下限反映出該過程的能力。這里我們引出一個新的問題，什么是有能力的過程?什么是沒有能力的過程?什么是能力高的過程?什么是能力低的過程?不穩(wěn)定的過程，談不上能力之說，穩(wěn)定的過程才能談能力。穩(wěn)定的過程，可以通過不斷地提高性能來提高能力，如收窄性能基線的上下限范圍，使中值更接近理想的目標值等，這些都體現(xiàn)了能力的提高。高級量化管理主要講述的是如何把不穩(wěn)定的過程變成穩(wěn)定的過程，而超級量化管理主要講述的是把有能力的過程變成更加有能力的過程。前面提到的CPI中值和上下限，有可能不滿足商業(yè)目標的需要，如CPI平均值達不是所期

22、望的值，上下限的范圍太寬，這樣就有必要想辦法做一些改進，提高能力，并且能力提高后的過程同樣也是穩(wěn)定的過程。那么有什么辦法可以提高能力呢?1)改進過程。過程的性能基線的中值及上下限，是由公共原因所引至的，要提高其性能，必須從這些公共原因入手，對信號進行分析，想辦法進一步削弱公共原因引起的偏差，想辦法改造過程，使中值符合要求。2)采用新技術?？紤]引入新的技術，并調整相應的過程，來提高過程的性能。3)對噪音進行原因分析。噪音是由公共原因和可歸屬原因共同作用引起的，對每個噪音的可歸屬原因進行詳細的分析，將很可能找到改進的機會。分析過程的可改進地方是比較復雜的，有可能需要對過程進行更深一步的細分，可能會

23、發(fā)現(xiàn)原因的數(shù)據(jù)分組達不到要求，需求增強粒度，以能區(qū)分出更多的公共原因，找出可改進點。另外，原來不需要進行基線級別管理的過程，可能也會因為商業(yè)目標的需要，需要建立基線并進行基線級別的管理。在這個級別上用數(shù)據(jù)管理過程意義在于，通過數(shù)據(jù)來監(jiān)控過程的改進效果，比較能力的變化，為決策提供依據(jù)。當形成新的更有能力的能力基線時，企業(yè)將用新的能力基線來管理項目。SPC的建立及優(yōu)化過程的成本是很高的，但進行SPC管理的過程成功概率是非常高的，企業(yè)根據(jù)自己的商業(yè)目標需要，選擇需要進行SPC管理的過程，并不斷優(yōu)化，使企業(yè)具備越來越強的競爭力，而這種競爭力是別的企業(yè)難以模仿并難以超越的。8.我為高級而狂?由感知級到經驗級，再到可預測級、持續(xù)優(yōu)化級這個過程是不可跨越的，不同級別的用數(shù)據(jù)管