對(duì)Web 服務(wù)器進(jìn)行壓力測試

測試方法傳統(tǒng)的測試方法包括某種形式的簡單單元測試，通常由開發(fā)人員執(zhí)行。設(shè)計(jì)這些測試需要了解軟件的內(nèi)部知識(shí)，并且這些測試幾乎總是針對(duì)產(chǎn)品的非常小的、特定的部分。這些類型的測試非常適合與其他代碼組件極少交互，甚至沒有交互的簡單Web服務(wù)。功能驗(yàn)證（FunctionalVerification）也是一種測試過程，在這個(gè)過程中，對(duì)產(chǎn)品源代碼了解有限的設(shè)計(jì)者進(jìn)行測試以確認(rèn)產(chǎn)品或服務(wù)的核心功能。設(shè)計(jì)這種測試是為了證明這個(gè)核心功能符合某個(gè)規(guī)范。舉個(gè)例子，我的在線拍賣顯示的是輸入的正確出價(jià)嗎？我的保險(xiǎn)經(jīng)紀(jì)人系統(tǒng)找到最便宜的報(bào)價(jià)了嗎？如果這些測試失敗，通常就意味著檢測到了產(chǎn)品的一個(gè)基本問題（這個(gè)問題通常是可以直接修復(fù)）。這種測試也是適合簡單的Web服務(wù)，使您可以檢查服務(wù)是否能夠正確執(zhí)行它的各個(gè)功能。系統(tǒng)測試（SystemTest）通常是在功能驗(yàn)證階段完成，驗(yàn)證了核心功能后進(jìn)行。它傾向于把整個(gè)系統(tǒng)作為一個(gè)整體來查找問題—弄清Web服務(wù)作為系統(tǒng)的一部分怎樣運(yùn)作，以及Web服務(wù)相互之間如何交互。由于系統(tǒng)測試是在開發(fā)生命周期快結(jié)束時(shí)才進(jìn)行，所以通常不能給它分配足夠的時(shí)間來完成。又因?yàn)榫o張的發(fā)行日程安排以及開發(fā)的各個(gè)重要階段的后移，系統(tǒng)測試階段經(jīng)常被忽略，并且一些通常都可以發(fā)現(xiàn)的、少見的錯(cuò)誤都不能被檢測到。即使發(fā)現(xiàn)了這種錯(cuò)誤，這時(shí)也來不及確定錯(cuò)誤的原因并設(shè)法修復(fù)它們了。因此，在查找代碼錯(cuò)誤時(shí)，必需把系統(tǒng)測試應(yīng)用設(shè)計(jì)得盡可能高效。系統(tǒng)測試通常由三部分組成，它們是：1.性能（Performance）：這涉及到確定相關(guān)的產(chǎn)品統(tǒng)計(jì)數(shù)據(jù)的過程。例如：每秒有多少條消息？一個(gè)服務(wù)可同時(shí)接受多少個(gè)用戶？2.案例（Scenario）：這是重新創(chuàng)建客戶所需的確切配置的過程。因此在案例中發(fā)現(xiàn)的任何問題都可以在客戶使用該產(chǎn)品之前被檢測出來。3.壓力（或稱工作負(fù)載平衡）：它與另兩個(gè)部分不同，因?yàn)樗辉O(shè)計(jì)為通過應(yīng)用很大的工作負(fù)載來使軟件超負(fù)荷運(yùn)轉(zhuǎn)。如果壓力測試通過對(duì)產(chǎn)品保持高強(qiáng)度的使用（但不超過性能統(tǒng)計(jì)數(shù)字確定的限制）能有效地執(zhí)行，那么它就經(jīng)常能夠發(fā)現(xiàn)許多隱蔽的錯(cuò)誤，而這些錯(cuò)誤用上面提到的任何其他技術(shù)都是發(fā)現(xiàn)不了的（這些錯(cuò)誤也經(jīng)常是最難修復(fù)的）。從檢測代碼錯(cuò)誤這方面來說，可以證明這三個(gè)系統(tǒng)測試組件中效率最高的是壓力測試部分。但由于這個(gè)過程經(jīng)常跟系統(tǒng)的其他要素或功能測試混淆在一起，所以這個(gè)過程涉及到的方法還沒有被正確著手處理或?qū)崿F(xiàn)。壓力下的錯(cuò)誤使用壓力測試，您有希望找到很多種用其他測試方法更難發(fā)現(xiàn)的錯(cuò)誤。有兩種錯(cuò)誤類型是：1.內(nèi)存泄漏（Memoryleak）：一種極難檢測的現(xiàn)象。內(nèi)存泄漏經(jīng)常發(fā)生在已發(fā)行的產(chǎn)品中，原因很簡單，很難設(shè)計(jì)測試用例來檢測它們。使用簡單的功能測試，幾乎發(fā)現(xiàn)不了內(nèi)存泄漏問題，因?yàn)樵诋a(chǎn)品完成之前測試沒對(duì)產(chǎn)品進(jìn)行足夠多的使用。內(nèi)存泄漏通常要求操作要重復(fù)非常多的次數(shù)以使內(nèi)存消耗達(dá)到能引起注意的程度。盡管與其它編程語言（如C/C++）相比，Java程序更難引入內(nèi)存泄漏錯(cuò)誤，但只要程序仍保持著對(duì)對(duì)象的引用，該對(duì)象仍有可能被實(shí)例化并且它占用的內(nèi)存永遠(yuǎn)不會(huì)被釋放。2.并發(fā)與同步（ConcurrencyandSynchronization）：壓力測試在查找并發(fā)性問題上非常出眾，這是因?yàn)樵谌魏我粋€(gè)測試生命周期中，它都應(yīng)用了許多不同的代碼路徑和定時(shí)條件。一般的規(guī)則是，壓力測試運(yùn)行的時(shí)間越長，涉及并應(yīng)用的代碼路徑組合和定時(shí)條件就越多。當(dāng)然，這也的確使得這些問題很難再現(xiàn)（錯(cuò)誤可以在5分鐘或5天后發(fā)生）。死鎖、線程泄漏以及任何一般的同步問題通常只能在壓力測試階段被檢測出來。這些類型的問題很難通過執(zhí)行單元測試來發(fā)現(xiàn)。開發(fā)人員不會(huì)一直考慮他或她的代碼將與其他地方的代碼（在執(zhí)行單元測試時(shí)這些代碼可能還沒寫出來）進(jìn)行交互?，F(xiàn)有的壓力測試工具有許多聲稱能夠?qū)Ξa(chǎn)品進(jìn)行壓力測試的可用工具目前正在開發(fā)中。被廣泛應(yīng)用的是針對(duì)Web服務(wù)的那些工具。然而，這些工具中有許多只是簡單的HTML/SOAP生成器，它們模擬許多客戶機(jī)連接，并因此對(duì)Web服務(wù)器生成高負(fù)載（這對(duì)于查找Web服務(wù)器的問題很有用，但對(duì)于查找Web服務(wù)的問題就沒那么有用了）。這些工具對(duì)基本的壓力測試比較有用，但它們經(jīng)常是僅僅擴(kuò)展功能驗(yàn)證階段來重復(fù)地執(zhí)行相同的功能任務(wù)。如果足夠的時(shí)間和資源可用，就可以通過創(chuàng)建定制構(gòu)建的壓力測試系統(tǒng)來實(shí)現(xiàn)更有效的測試。由于壓力系統(tǒng)的設(shè)計(jì)者通常對(duì)要測試的產(chǎn)品和Web服務(wù)有更多的了解，所以他們將能夠確保壓力系統(tǒng)可以用于哪些具體的代碼區(qū)域。設(shè)計(jì)壓力應(yīng)用設(shè)計(jì)試圖對(duì)Web服務(wù)進(jìn)行壓力測試的壓力測試系統(tǒng)時(shí)，要讓它們以某種特定的方式運(yùn)行代碼。這些風(fēng)格超越了功能驗(yàn)證，目的是要弄清楚被測試的Web服務(wù)是不是不僅能做我們認(rèn)為它能做的事，而且在被施加了某些高強(qiáng)度壓力的情況下仍然繼續(xù)正常運(yùn)行。壓力測試必須對(duì)Web服務(wù)應(yīng)用四個(gè)基本條件。許多已建立的壓力系統(tǒng)應(yīng)用了這些條件。有效的壓力測試系統(tǒng)將應(yīng)用以下這些關(guān)鍵條件：1.重復(fù)（Repetition）：或許最明顯的且最容易理解的壓力條件就是測試的重復(fù)。換句話說，測試的重復(fù)就是一遍又一遍地執(zhí)行某個(gè)操作或功能，比如重復(fù)調(diào)用一個(gè)Web服務(wù)。功能驗(yàn)證測試可以用來被弄清楚一個(gè)操作能否正常執(zhí)行。而壓力測試將確定一個(gè)操作能否正常執(zhí)行，并且能否繼續(xù)在每次執(zhí)行時(shí)都正常。這對(duì)于推斷一個(gè)產(chǎn)品是否適用于某種生產(chǎn)情況至關(guān)重要?？蛻敉ǔ?huì)重復(fù)使用產(chǎn)品，因此壓力測試應(yīng)該在客戶之前發(fā)現(xiàn)代碼錯(cuò)誤。許多最簡單的壓力系統(tǒng)只實(shí)現(xiàn)這一個(gè)條件，但簡單地?cái)U(kuò)展功能驗(yàn)證測試來多次重復(fù)并不能構(gòu)成一個(gè)有效的壓力測試。當(dāng)與下面的一些原則結(jié)合起來使用時(shí)，重復(fù)就可以發(fā)現(xiàn)許多隱蔽的代碼錯(cuò)誤。2.并發(fā)（Concurrency）：并發(fā)是同時(shí)執(zhí)行多個(gè)操作的行為。換句話說，就是在同一時(shí)間執(zhí)行多個(gè)測試，例如在同一個(gè)服務(wù)器上同時(shí)調(diào)用許多Web服務(wù)。這個(gè)原則不一定適用于所有的產(chǎn)品（比如無狀態(tài)服務(wù)），但是多數(shù)軟件都具有某個(gè)并發(fā)行為或多線程行為元素，這一點(diǎn)只能通過執(zhí)行多個(gè)代碼示例才能測出來。功能測試或單元測試幾乎不會(huì)與任何并發(fā)設(shè)計(jì)結(jié)合。壓力系統(tǒng)必須超越功能測試，要同時(shí)遍歷多條代碼路徑。至于怎么做到這一點(diǎn)取決于具體的產(chǎn)品。例如，一個(gè)Web服務(wù)壓力測試需要一次模擬多個(gè)客戶機(jī)。Web服務(wù)（或者任何多線程代碼）通常會(huì)訪問多個(gè)線程實(shí)例間的一些共享數(shù)據(jù)。因額外方面的編程而增加的復(fù)雜性通常意味著代碼會(huì)具有許多因并發(fā)引起的錯(cuò)誤。由于引入并發(fā)性意味著一個(gè)線程中的代碼有可能被其他線程中的代碼中斷，所以錯(cuò)誤只在一個(gè)指令集以特定的順序（例如以特定的定時(shí)條件）執(zhí)行時(shí)才會(huì)被發(fā)現(xiàn)。把這個(gè)原則與重復(fù)原則結(jié)合在一起，您可以應(yīng)用許多代碼路徑和定時(shí)條件。3.量級(jí)（Magnitude）：壓力系統(tǒng)應(yīng)該應(yīng)用于產(chǎn)品的另一個(gè)條件考慮到了每個(gè)操作中的負(fù)載量。壓力測試可以重復(fù)執(zhí)行一個(gè)操作，但是操作自身也要盡量給產(chǎn)品增加負(fù)擔(dān)。例如，一個(gè)Web服務(wù)允許客戶機(jī)輸入一條消息，您可以通過模擬輸入超長消息的客戶機(jī)來使這個(gè)單獨(dú)的操作進(jìn)行高強(qiáng)度的使用。換句話說就是，您增加了這個(gè)操作的量級(jí)。這個(gè)量級(jí)總是特定于應(yīng)用的，但是可以通過查找產(chǎn)品的可被用戶計(jì)量和修改的值來確定它—例如，數(shù)據(jù)的大小、延遲的長度、資金數(shù)量的轉(zhuǎn)移、輸入速度以及輸入的變化等等。單獨(dú)的高強(qiáng)度操作自身可能發(fā)現(xiàn)不了代碼錯(cuò)誤（或者僅能發(fā)現(xiàn)功能上的缺陷），但與其他壓力原則結(jié)合在一起時(shí)，您將可以增加發(fā)現(xiàn)問題的機(jī)會(huì)。4.隨機(jī)變化：最后一點(diǎn)，任何壓力系統(tǒng)都多多少少具有一些隨機(jī)性。如果您隨機(jī)使用前面的壓力原則中介紹的無數(shù)變化形式，您就能夠在每次測試運(yùn)行時(shí)應(yīng)用許多不同的代碼路徑。下面是幾個(gè)關(guān)于怎樣在測試生命周期內(nèi)改變測試的示例。使用重復(fù)時(shí)，在重新啟動(dòng)或重新連接服務(wù)之前，您可以改變重復(fù)操作間的時(shí)間間隔、重復(fù)的次數(shù)，或者也可以改變被重復(fù)的Web服務(wù)的順序。使用并發(fā)，您可以改變一起執(zhí)行的Web服務(wù)、同一時(shí)間運(yùn)行的Web服務(wù)數(shù)目，或者也可以改變關(guān)于是運(yùn)行許多不同的服務(wù)還是運(yùn)行許多同樣的實(shí)例的決定。量級(jí)或許是最容易更改的—每次重復(fù)測試時(shí)都可以更改應(yīng)用程序中出現(xiàn)的變量（例如，發(fā)送各種大小的消息或數(shù)字輸入值）。如果測試完全隨機(jī)的話，因?yàn)楹茈y一致地重現(xiàn)壓力下的錯(cuò)誤，所以一些系統(tǒng)使用基于一個(gè)固定隨機(jī)種子的隨機(jī)變化。這樣，用同一個(gè)種子，重現(xiàn)錯(cuò)誤的機(jī)會(huì)就會(huì)更大。一個(gè)壓力測試通常會(huì)結(jié)合上述的所有原則，并且在允許的范圍內(nèi)盡可能長時(shí)間地運(yùn)行。測試被允許的執(zhí)行時(shí)間越長，就可以遍歷越多的代碼路徑，并且發(fā)現(xiàn)的錯(cuò)誤也越多。當(dāng)然，一旦找到錯(cuò)誤就必須診斷并修復(fù)它。由于一個(gè)代碼錯(cuò)誤可以在壓力測試運(yùn)行多日以后自己顯示出來，所以系統(tǒng)必須保證當(dāng)出現(xiàn)錯(cuò)誤時(shí)所有可用的調(diào)試信息都被生成—否則可能就必須花費(fèi)