設備roi分析案例

設備roi分析案例介紹很多領導將自動化測試視為銀彈。他們認為自動化測試能解決諸如測試規(guī)劃、測試成本、缺陷報告等很多問題。自動化測試在很多方面會帶來積極的效果，并且已經有很多成功的案例能使人們認為自動化測試能節(jié)省成本和解決一些測試方面的問題。但是，同樣存在很多恐怖的故事，失望大于期望、過程的痛苦，甚至出現(xiàn)在某些獲得了收益的案例里。我就曾經遇到過很多自動化測試項目最終不幸失敗的案例。這些項目進行了巨大的投入，最終都舍棄了花費數年的時間開發(fā)出來的自動化測試成果。本文的目的就是基于有實際意義的指導，使人們能夠理解和計算進行自動化測試工作所需的投入和可能獲得的回報。它描述了在建設自動化測試的過程中將會遇到的諸如商務、組織和管理、以及測試工作方面的影響。在規(guī)劃自動化測試的時候，要從多方面來考慮。例如，自動化測試將會改變測試的復雜性，也將會改變從測試設計到測試運行的測試組織和管理方法。它通常在組織管理方面帶來廣泛的影響，諸如任務執(zhí)行、測試方法、甚至在產品的特性上。在考慮自動化測試的收益和能力上，我們可以將影響因素分為有形的和無形的兩類。在自動化測試的前后可以用現(xiàn)有的測量技術（例如代碼覆蓋分析）來評估和計算測試的效果。自動化測試可以達到非常有效的程度，可以增加代碼覆蓋的程度，可以提供一個新的角度來觀察被測軟件。同時，自動化測試為我們提供了一種手工測試無法實現(xiàn)某些特定測試的解決途徑。自動化測試可以產生無數的指令和組合方式，僅僅受限于電腦的能力和可用來運行測試的時間而已。這些測試可以在覆蓋了100%的代碼基礎上去發(fā)現(xiàn)缺陷。自動化的探針程序可以看到程序的內部，諸如中間處理的結果、內存中的數據、內部程序的狀態(tài)，從而能判斷被測軟件是否能完成期望的功能。管理的觀點我們需要在多個方面設置管理上的期望值：無形成本和收益、不切實際的收益期望、手工測試和自動化測試的共同因素、組織的影響。我們也要注意測量和計算的方法。無形成本是非常難于合理的計算的。在可衡量它們的點上，當我們確定它們的財務上的價值時會存在很大的變數。在衡量自動化測試能帶來多大的改變時也很難計算實際的數值。通常情況下，有的無形成本是絕對的，有時是相對的，但是絕大部分是無法區(qū)分的，這要取決于一個人的觀點和處理的方式?；谶@個理解，建議在大多數的案例中，盡量將這些無形成本從投入回報比的計算中省去。一些無形成本的例子：1）無用戶干預的測試。盡管人的成本很容易計算，但是附加的計算機控制行為的成本是很難量化的。2）測試機構的經過改良的方法。這一點通常能提高生產力，但隨之而來的是自動化測試所需的新規(guī)則和新任務。3）測試機構的可觀察到的驟然生產力的降低。這個觀察一般基于測試工作啟動后人員開始逐漸增加時出現(xiàn)了停滯的現(xiàn)象，安裝測試工具和創(chuàng)建自動化測試腳本的延遲。4）并非所有測試組里的人都期望改變。自動化測試會迫使個人習慣產生很大的改變，甚至某些測試人員在仍需繼續(xù)執(zhí)行手工測試時，還得進行自動化測試。5）發(fā)布前軟件產品測試循環(huán)的次數。自動化測試能對產品的構建（Build）進行快速確認，并能鼓舞人們多次使用。但是往復循環(huán)雖然能提高生產力和提高質量，也可能導致人員的懶散、關注力逐漸降低、和質量逐漸降低的情況。6）測試覆蓋率。既能增加測試覆蓋率，也可能反之，主要取決于手工測試的效率，自動化的測試工具，和自動化的測試。a）某些測試只能用自動化測試來實現(xiàn)b）測試覆蓋率改變的數值難于測量c）好的探索性的測試或許比一般的自動化測試更能發(fā)現(xiàn)一些不同尋常的情況d）手工測試可能使得某些情況或者環(huán)境難于進行自動化自動化測試管理的期望值往往在設定上受到媒體、會議、廠商的大肆宣傳、相關書籍上對自動化優(yōu)點的宣揚。部分信息是準確的和可適用的，但是大部分信息是出現(xiàn)在某些特定的環(huán)境下，適用于某些特定的項目，并且被過分的強調了成功這個字眼。自動化測試不是一個銀彈。它不能解決所有的測試方面的問題，需要進行小心細致的規(guī)劃。不正確的期望會最終導致一個獲得了收益的自動化測試變成了失敗的案例。例如：1）所有的測試都要自動化。這是不切實際和可望不可即的。2）從自動化測試獲得立即的回報。某些自動化測試可能能看到立即的效果，例如Build測試，但通常情況下，回報總是在投入一段時期后才能看到。需要花費很多的時間和努力來創(chuàng)建大多數的自動化測試內容，而收效總是在一遍又一遍的測試運行之后才能獲得。3）零啟動時間。將測試自動化是要花費時間的。要選擇測試工具、搭建、安裝，而規(guī)劃和實現(xiàn)自動化測試則要花費數倍于手工測試的功夫。4）自動化所有測試規(guī)劃的內容。自動化測試工具無法做所有的事情。5）使用錄制/回放進行回歸測試。這種情況僅適用于被測軟件非常穩(wěn)定，即將來只有極少的測試案例會發(fā)生改變。這種情況非常少。6）自動缺陷報告（無需用戶干預）。這通常會給測試的組織或開發(fā)帶來很大的問題。包括判斷是否與已有缺陷重復，錯誤的失效原因探測，一個錯誤引起多個測試的失效，無法重現(xiàn)的錯誤等等。組織管理方面的影響包括設計自動化測試和執(zhí)行自動化測試所需的技能、自動化測試工具、自動化測試環(huán)境。開發(fā)和維護自動化測試與手工測試之間是有很大的區(qū)別的。在建設自動化測試時，工作技能變了、測試方法變了，甚至測試本身也發(fā)生了變化。自動化測試還會對被測的產品、開發(fā)過程和發(fā)布過程產生潛在的影響。我們不得不仔細考慮和分析這些影響中的積極和消極的因素。自動化測試若想成功，要從管理上設置合理的期望值，要正確地認識到將要從自動化測試中獲得哪些益處。關鍵是要牢記自動化測試的目標是要在某些方面將測試做的更好。自動化測試僅僅是一個手段，借助這個手段來完成我們的任務—測試一個軟件產品。在管理測試工作和向測試工作進行投入方面，成本/收益的分析向我們提供了非常有用的信息。我們也要看到，不同的自動化測試實施行為將會帶來好處，也會帶來問題。例如，自動化測試將會減少測試所需的人力資源，從而節(jié)省運行測試過程中的人力耗費。但是，自動化測試也可能會產生各種各樣的結果，需要耗費更多的人力進行分析，從而產生比手工測試更多的人力成本耗費。通常情況下，獲得自動化測試的結果后，需要更長的時間去分析和隔離所發(fā)現(xiàn)的缺陷。投入回報比的影響要素：投入回報比（口。1）通常用獲得的收益除以投入成本來計算。如果我們開始一個新的項目，我們就用測試的價值除以測試的成本來計算測試的投入回報比。有時，自動化測試的引入發(fā)生在