專家眼中的QA、敏捷測試

第第頁專家眼中的QA、敏捷測試專家眼中的QA、敏捷測試

發(fā)表于：2023-09-04來源：InfoQ：賈國清點(diǎn)擊數(shù)：標(biāo)簽：QA、敏捷測試

編者按：測試、QA一直是大家關(guān)注的話題，只要有軟件開發(fā)，就離不開QA和軟件測試。本次特別邀請到一淘網(wǎng)測試架構(gòu)師@公直_黃利，諾基亞敏捷及精益教練@徐毅-Kaveri和百度高級測試工程師楊進(jìn)，請他們談下各自對QA和測試的理解，內(nèi)容涉及如何衡量軟件測試的有

編者按：（測試）、QA一直是大家關(guān)注的話題，只要有軟件（開發(fā)），就離不開QA和軟件（測試）。本次特別邀請到一淘網(wǎng)測試架構(gòu)師@公直_黃利，諾基亞敏捷及精益教練@徐毅-Kaveri和百度高級測試（工程師）楊進(jìn)，請他們談下各自對QA和測試的理解，內(nèi)容涉及如何衡量（軟件測試）的有效性，探索式測試，（敏捷測試），（開源）對測試的影響，測試的開放性以及測試框架推薦等。

InfoQ：請先做下自我介紹。

徐毅：我叫徐毅，現(xiàn)在在諾基亞北京擔(dān)任敏捷及精益教練的工作。我是從05年在杭州諾基亞網(wǎng)絡(luò)的時(shí)候開始轉(zhuǎn)做專職測試的，同期也加入公司剛成立的測試（自動(dòng)化）小組，這對我的理念有很大的影響，基本上我認(rèn)為所有的測試都應(yīng)該（自動(dòng)化）。06年初加入當(dāng)時(shí)的第一個(gè)Scrum試點(diǎn)項(xiàng)目，體會(huì)了一把敏捷測試，當(dāng)時(shí)還根據(jù)我們的經(jīng)驗(yàn)總結(jié)出了一套輕量化的測試流程。后來我們在公司內(nèi)推廣使用robotframework這個(gè)工具，作為（培訓(xùn)）師指導(dǎo)大家學(xué)會(huì)使用這個(gè)工具來進(jìn)行測試自動(dòng)化。后來還擔(dān)任了一段時(shí)間的測試自動(dòng)化教練的工作。

公直：阿里巴巴一淘網(wǎng)測試架構(gòu)師。

楊進(jìn)：百度高級（測試工程師），06年加入百度，之前有過4年的測試開發(fā)工作，加入百度以來，主要從事自動(dòng)化開發(fā)、（測試方法）改進(jìn)以及（系統(tǒng)測試）相關(guān)的工作。

InfoQ：最近主要在從事哪方面的工作?

徐毅：最近主要是在敏捷及精益教練這個(gè)方面做得比較多，輔助組織和個(gè)人進(jìn)行敏捷轉(zhuǎn)型，由于有很強(qiáng)的測試背景，所以同時(shí)也做敏捷測試相關(guān)的工作。

公直：最近半年一直在做代碼質(zhì)量的相關(guān)工作。在一淘業(yè)務(wù)線測試團(tuán)隊(duì)支持之下，與測試、產(chǎn)品架構(gòu)師、PE等合作，從系統(tǒng)層面出發(fā)，優(yōu)化目前的測試策略和方法，提升系統(tǒng)的可測試性和可部署性。

楊進(jìn)：近1年主要focus在系統(tǒng)測試和效果監(jiān)控等系統(tǒng)層面的工作，目前是線下百度和大搜索效果監(jiān)控的負(fù)責(zé)人，線下百度是一個(gè)基礎(chǔ)的系統(tǒng)測試平臺，對外提供預(yù)上線、故障預(yù)演、數(shù)據(jù)測試等系統(tǒng)層面的服務(wù)，而效果監(jiān)控目標(biāo)是快速發(fā)現(xiàn)產(chǎn)品嚴(yán)重影響用戶體驗(yàn)的效果問題，它和線下百度相互相成，共同提升百度對外服務(wù)的質(zhì)量。

InfoQ：國內(nèi)外一直有很多人把測試與質(zhì)量保證混為一談，其實(shí)測試屬于質(zhì)量控制(QC)，而QA還有更多內(nèi)容，請談?wù)勀鷮A和測試的理解。

徐毅：其實(shí)不管是保證還是控制，都很難達(dá)到名副其實(shí)的效果。測試做得再充分、再徹底、再快速，也無法把質(zhì)量給控制起來，最多只能夠更頻繁地展現(xiàn)出質(zhì)量的現(xiàn)狀。關(guān)于QA么，我曾經(jīng)在微博上發(fā)起過一個(gè)討論，還是比較熱鬧的，大家可以去看看，WhatisthevalueofQualityManager。至于"質(zhì)量保證'這個(gè)詞，大家可以想一想，如果我跟你拍胸脯說某件事情包在我身上，我保證辦到，但實(shí)際情況是，回過頭去我得催著一撥人做這個(gè)做那個(gè)才能保證你的事情辦妥，你覺得這是你理解中的"保證'嗎?更重要的問題在于，"質(zhì)量是什么'。如今，我們可以說質(zhì)量的外延發(fā)生了變化，已經(jīng)涵蓋了許多方面;也可以說，質(zhì)量已經(jīng)不再重要，用戶體驗(yàn)才是最重要的。溫伯格在他的《質(zhì)量軟件管理》書中說到"qualityisvaluetosomeperson'，對于不同的人來說，同一件東西的價(jià)值可以是不同的。

公直：其實(shí)一直以來個(gè)人不太喜歡把測試工程師稱呼為QA，QA一般是指質(zhì)量保證，范疇更大一些，在一淘，像過程改進(jìn)工程師、配置管理工程師都在做質(zhì)量控制的事情。單純地靠測試工程師本身也是沒有辦法控制質(zhì)量的，因?yàn)閷Q定軟件質(zhì)量的還是開發(fā)工程師。這個(gè)在博客中的《Google如何測試》系列文章中提及，對于質(zhì)量來說，預(yù)防問題比發(fā)現(xiàn)問題本身更重要。質(zhì)量更多是開發(fā)人員的問題，而不是（測試人員）的。通過把測試工作融入到開發(fā)過程中，我們能降低那些富產(chǎn)Bug的人的出錯(cuò)機(jī)會(huì)，不僅可以避免了大量最終用戶的使用問題，而且還可以極大地降低（測試人員）報(bào)無效Bug的數(shù)量。測試的未來在于發(fā)現(xiàn)設(shè)計(jì)和（編程）人員解決問題方法上的局限、思路中的狹隘和技能方面的不足，這是我對測試的理解，也認(rèn)為是以后測試發(fā)展的一個(gè)方向。

楊進(jìn)：我理解測試關(guān)注的更多是被測對象上線前的質(zhì)量，而QA關(guān)注的是宏觀意義上的質(zhì)量，包括開發(fā)環(huán)節(jié)的質(zhì)量控制(如何提高代碼本身質(zhì)量)、測試環(huán)節(jié)、上線環(huán)節(jié)以及運(yùn)維環(huán)節(jié)(如線上出現(xiàn)問題后如何快速止損)，甚至還包括用那種開發(fā)模式能更有效的提升項(xiàng)目開發(fā)質(zhì)量和效率，因而是一個(gè)更寬泛的領(lǐng)域。

InfoQ：如何衡量軟件測試的有效性?

徐毅：衡量一個(gè)東西的有效性，對我來說就看比較有無之間的區(qū)別，也就是說比較"有軟件測試'和"無軟件測試'在"效果'上面的差異，那就是有效性啦，也即是有效的程度。那么，你所期望的"效果'又是什么呢?

公直：從90年代末開始，測試進(jìn)入所謂的"Preventionorientedperiod'(參見wiki)階段，強(qiáng)調(diào)2點(diǎn)，第一個(gè)（缺陷）預(yù)防，第二就是軟件度量。就是這個(gè)問題本身(如何衡量軟件測試的有效性)，如何度量你做的測試有什么收益，如何判斷你的測試活動(dòng)的有效性，無論是學(xué)術(shù)界還是工業(yè)界，好像也還沒有什么比較好的方法，特別是在國內(nèi)目前的現(xiàn)狀(人治，部門經(jīng)理或者項(xiàng)目經(jīng)理決定太多東西)，度量系統(tǒng)(例如sonar)計(jì)算出的測試ROI本身可能也不一定準(zhǔn)確，人的因素變化太多。我就簡單說下我們這邊判斷測試有效性做法好了，基本上還是還是從結(jié)果來看，上線失敗次數(shù)、線上故障、線上Bug幾個(gè)維度來評估測試的有效性。

楊進(jìn)：要想全面評判測試的有效性是比較困難的，目前比較通用的手段是在產(chǎn)品發(fā)布以后，利用用戶報(bào)告（bug）的數(shù)量和趨勢來判斷測試的有效性，然后這種判斷方法需要上線后才能進(jìn)行因而顯得價(jià)值有限，上線前也有一些可參考的手段，比如UT完成后的代碼覆蓋率，（測試（用例））完后的評審，測試報(bào)告的評審等。我自己比較喜歡手段是代碼覆蓋率，因?yàn)榇a覆蓋率是一個(gè)利用客觀標(biāo)準(zhǔn)進(jìn)行判定的方法。此外基于測試（需求）覆蓋率也是一個(gè)好方法。

InfoQ：請談下您對探索式測試的理解，請分享下這方面的實(shí)踐經(jīng)驗(yàn)?

徐毅：其實(shí)探索式測試是什么，CemK