如何設(shè)計(jì)CaseFramework

1、如何設(shè)計(jì)測(cè)試用例文檔信息文檔名稱：如何設(shè)計(jì)測(cè)試用例文檔版本：V1.0提交部門(mén)：測(cè)試部門(mén)適用人群：Dolphin INT-Shell Test team修訂記錄版本日期修訂人內(nèi)容概述V1.02015/1/28Qing Chen文檔創(chuàng)建目錄文檔信息1修訂記錄1文檔明細(xì)1背景21. 如何設(shè)計(jì)Case Framework21.2為什么要設(shè)計(jì)Case Framework21.4如何設(shè)計(jì)Case Framework22.如何設(shè)計(jì)Detailed Test Case（TBD）6文檔明細(xì)背景目前用例重構(gòu)和新需求都需要設(shè)計(jì)測(cè)試用例，該活動(dòng)由設(shè)計(jì)Case Framework和設(shè)計(jì)Detailed Test Cas

2、e組成，在設(shè)計(jì)這兩塊時(shí)，大家出現(xiàn)了各種不同的問(wèn)題也提出了很多疑惑，本文從這兩方面講解設(shè)計(jì)測(cè)試用例的基本方法和一些常見(jiàn)的錯(cuò)誤，以作為設(shè)計(jì)測(cè)試用例時(shí)的基本指導(dǎo)，并規(guī)避一些常見(jiàn)錯(cuò)誤。1. 如何設(shè)計(jì)Case Framework（用例框架）1.2為什么要設(shè)計(jì)Case FrameworkCase Framework是通讀并理解Spec后，設(shè)計(jì)詳細(xì)測(cè)試用例前，設(shè)計(jì)的一套測(cè)試用例框架，用來(lái)引導(dǎo)后續(xù)設(shè)計(jì)詳細(xì)測(cè)試用例，它有以下作用：l 便于理清用例邏輯設(shè)計(jì)思路，避免設(shè)計(jì)詳細(xì)測(cè)試用例時(shí)思路不清晰導(dǎo)致重復(fù)更改l 便于設(shè)計(jì)用例之初完全覆蓋Spec（規(guī)格）上的需求點(diǎn)l 便于執(zhí)行者或新人快速了解模塊邏輯結(jié)構(gòu)1.4如何設(shè)計(jì)C

3、ase Framework1.4.1設(shè)計(jì)Case Framework步驟：1. 通讀并理解Spec上所有需求點(diǎn)l 若Spec上無(wú)需求點(diǎn)標(biāo)注或標(biāo)注缺失、錯(cuò)誤，及時(shí)告知相應(yīng)PM（產(chǎn)品經(jīng)理）進(jìn)行修改l 若對(duì)Spec上內(nèi)容有異議或無(wú)法理解，需向PM/Dev確認(rèn)，切忌將模糊不清的內(nèi)容寫(xiě)入用例2. 劃分測(cè)試該功能的測(cè)試類型，基本類型如下：l BFT(Basic Functional Test)基本功能測(cè)試l IAT(Interaction Test)交互測(cè)試l BOT(Boundary Test)邊界值測(cè)試l ROT(Robustness Test)穩(wěn)定性測(cè)試l OTA(Over the Air) 升級(jí)測(cè)

4、試l User Story：場(chǎng)景測(cè)試l ET(Exploratory Test) 拓展測(cè)試每種類型詳細(xì)設(shè)計(jì)說(shuō)明見(jiàn)2.如何設(shè)計(jì)Detailed Test Case3. 根據(jù)對(duì)Feature（特征）的理解，組織用例的邏輯，編寫(xiě)測(cè)試用例框架：以Dolphin Browser為例，一般按用戶操作習(xí)慣順序編寫(xiě)：入口功能的UI功能正面驗(yàn)證功能負(fù)面驗(yàn)證升級(jí)User StoryET4. Case Framework設(shè)計(jì)完畢后，檢查：l 是否覆蓋Spec上所有需求點(diǎn)l 邏輯是否有條理、清晰1.4.1實(shí)例：模塊：Speed DialTest TypeMain ComponentPriority Check Poi

5、ntTraceability BFT預(yù)置數(shù)據(jù)(運(yùn)營(yíng)配置，無(wú)需設(shè)計(jì)case)0根據(jù)地區(qū)語(yǔ)言信息和版本信息配置預(yù)制的speed dial2.1-11針對(duì)特定的speed dial設(shè)置無(wú)Add to home screen或Remove操作2.1-21設(shè)置speed dial右上角出現(xiàn)更新提醒2.1-3首次啟動(dòng)2Hot Apps出現(xiàn)小紅點(diǎn)缺失Dolphin文件夾3內(nèi)容，排序缺失3Lab，F(xiàn)eatures，Blog，F(xiàn)AQ，F(xiàn)eedback，Updates缺失添加speed dial0首頁(yè)點(diǎn)擊"+"2.2-10Menu -> Add speed dial(默認(rèn)灰顯)2.2-2

6、2Gesture:Add to speed dial手勢(shì)2.2-31Add speed dial編輯框2.2-40Name input box，添加后名字顯示的長(zhǎng)度2.2-50Address input box2.2-61Cancel button2.2-70Add button2.2-82Name和Address為空2.2-102Gesture:添加重復(fù)speed dial2.2-92添加相同名稱或網(wǎng)址的speed dial缺失2添加相同名稱和網(wǎng)址的speed dial2.2-9長(zhǎng)按speed dial0長(zhǎng)按UI:橫豎屏缺失編輯speed dial1長(zhǎng)按選項(xiàng):Add to home scre

7、en2.3-1，2.3-23重復(fù)添加桌面快捷方式缺失0長(zhǎng)按選項(xiàng):Remove2.3-33長(zhǎng)按Feedback:無(wú)法添加到主頁(yè)缺失3無(wú)法刪除speed dial:Hot Apps2.3-30移動(dòng)speed dial位置2.3-100點(diǎn)擊speed dial缺失文件夾操作1創(chuàng)建文件夾2.3-4，2.3-5，2.3-61文件夾預(yù)覽缺失1編輯文件夾名稱(默認(rèn)值)2.3-72修改為已存在文件夾名缺失1文件夾展開(kāi)、收攏:橫豎屏缺失1改變文件夾位置2.3-81移動(dòng)文件夾內(nèi)speed dial:內(nèi)部、移進(jìn)、移出2.3-92文件夾中speed dial長(zhǎng)按操作:Add to home screen，remove

8、缺失0清除文件夾缺失3可移動(dòng)speed dial到Dolphin文件夾缺失Speed dial在主頁(yè)的排列0中屏機(jī):橫豎屏缺失3大屏機(jī):橫豎屏缺失3小屏機(jī):橫豎屏缺失Speed dial在文件夾中的排列0分辨率>=320*480:橫豎屏缺失3分辨率為320*240:橫豎屏缺失滑屏操作0橫豎屏:不超過(guò)一屏、超過(guò)一屏?xí)r滑動(dòng)speed dial/文件夾缺失異常操作3crash之后啟動(dòng)程序缺失3通過(guò)第三方鏈接進(jìn)入主頁(yè)缺失BOT3分辨率高于320*480:文件夾中最多容納24個(gè)speed dial缺失3分辨率=320*240:文件夾中最多容納12個(gè)speed dial 缺失ROT2添加多個(gè)spee

9、d dial/文件夾缺失OTA3升級(jí):保持speed dial數(shù)據(jù)、順序并去重文件夾缺失3升級(jí):most visited文件夾缺失User Story3家庭婦女使用Speed Dial1-1，1-2ET3speed dial探索性測(cè)試N/A1.4.2設(shè)計(jì)Case Framework通用方法 l Case Framework結(jié)構(gòu)：1) 順序：按照用戶操作順序來(lái)寫(xiě)示例：News主模塊子模塊測(cè)試點(diǎn)News界面組成滑塊指示UI&功能與滑出Control panel的區(qū)分首頁(yè) （和滑塊換一下順序）組成:地址欄、天氣、Top news、speed dial天氣各情況下顯示無(wú)網(wǎng)絡(luò)連接:默認(rèn)給一套當(dāng)前

10、語(yǔ)言的首都正常:天氣圖標(biāo)放置服務(wù)器有位置更新:漸隱消失，漸隱出現(xiàn)替換有內(nèi)容更新:漸隱消失，漸隱出現(xiàn)替換默認(rèn)顯示:上一次的天氣信息UI （和上面換一下位置）顯示格式、圖標(biāo)點(diǎn)擊動(dòng)作前往accu天氣2) 結(jié)構(gòu)l 要列出所有check pointl 當(dāng)功能結(jié)構(gòu)復(fù)雜時(shí)，可分主模塊和子模塊描述l UI與功能的驗(yàn)證點(diǎn)分開(kāi)要考慮到執(zhí)行時(shí)，是否便于用例挑選。一個(gè)功能點(diǎn)的驗(yàn)證包括:UI、正面、負(fù)面的驗(yàn)證，其優(yōu)先級(jí)依次降低。對(duì)錯(cuò)示例：Dolphin Whistle測(cè)試點(diǎn)：響應(yīng)式:UX改善計(jì)劃類型優(yōu)先級(jí)測(cè)試點(diǎn)錯(cuò)誤×0出現(xiàn)時(shí)機(jī)、樣式1點(diǎn)擊， 點(diǎn)擊×正確0出現(xiàn)時(shí)機(jī)、樣式1點(diǎn)擊2點(diǎn)擊×l 測(cè)試

11、類型無(wú)需強(qiáng)制全部覆蓋，沒(méi)必要寫(xiě)ROT/BOT/User Story的可以不寫(xiě)比如Dolphin Whistle：無(wú)User Storyl 測(cè)試點(diǎn)描述只需簡(jiǎn)單描述需求，無(wú)需描述詳細(xì)操作步驟和結(jié)果，尤其不要copy spec中大段文字對(duì)錯(cuò)示例：SpecSidebar引導(dǎo)描述：D）Sidebar推薦僅在Home頁(yè)顯現(xiàn)。即用戶點(diǎn)擊Speed dial訪問(wèn)網(wǎng)頁(yè)時(shí)，Sidebar被覆蓋到網(wǎng)頁(yè)下方，當(dāng)返回Home時(shí)，Sidebar推薦依然顯示。3.3.3.D 4測(cè)試點(diǎn)錯(cuò)誤×正確Sidebar推薦僅在Home頁(yè)顯現(xiàn)。即用戶點(diǎn)擊Speed dial訪問(wèn)網(wǎng)頁(yè)時(shí)，Sidebar被覆蓋到網(wǎng)頁(yè)下方，當(dāng)返回Ho

12、me時(shí)，Sidebar推薦依然顯示Sidebar推薦與網(wǎng)頁(yè)的交互l 當(dāng)某項(xiàng)功能被新功能取代時(shí)，只需驗(yàn)證新功能work即可，無(wú)需再驗(yàn)證老功能不存在如：Spec描述：觸發(fā)機(jī)制，用戶在Setting中，打開(kāi)Sidebar開(kāi)關(guān)回到原頁(yè)面時(shí)，出現(xiàn)圖文對(duì)話提醒框，不再出現(xiàn)原有的動(dòng)畫(huà)引導(dǎo)。3.2.1 1對(duì)錯(cuò)示例：測(cè)試點(diǎn)錯(cuò)誤×正確出現(xiàn)圖文對(duì)話框時(shí)，不再出現(xiàn)原來(lái)的左右側(cè)邊欄彈動(dòng)動(dòng)畫(huà)無(wú)需驗(yàn)證這個(gè)，只需驗(yàn)證新的圖文對(duì)話框出現(xiàn)即可l User Story：描述方式：XX（角色）使用XX（模塊）示例：商務(wù)人士使用Newsl ET：描述方式：XX（模塊）探索性測(cè)試示例：News探索性測(cè)試l 需求點(diǎn)標(biāo)注：1) 標(biāo)

13、注Spec中無(wú)該需求點(diǎn)，則將其”Traceability”標(biāo)注為”缺失”ET和User Story關(guān)聯(lián)的需求點(diǎn)太多，無(wú)需標(biāo)注，標(biāo)注為”N/A”即可2） 不要遺漏需求點(diǎn)需求點(diǎn)檢查方法：將spec中所有需求點(diǎn)在excel中一一列出，再與Case Framework一一比對(duì)2.如何設(shè)計(jì)Detailed Test Case（TBD）1) BFT(Basic Functional Test)：基本功能測(cè)試。驗(yàn)證Feature最基本的功能。示例：Speed Dial測(cè)試點(diǎn)添加speed dial首頁(yè)點(diǎn)擊"+"Menu -> Add speed dial(默認(rèn)灰顯)2) IAT(I

14、nteraction Test)：交互測(cè)試。模仿用戶的行為，進(jìn)行較為復(fù)雜的交互操作。往往覆蓋多個(gè)需求，且在靜態(tài)/動(dòng)態(tài)環(huán)境下可能有事件(Interrupt/Event)發(fā)生示例: Gesture & Sonar測(cè)試點(diǎn)后臺(tái)播放音樂(lè)時(shí)，使用聲吶詳細(xì)測(cè)試用例描述前提條件步驟期望結(jié)果驗(yàn)證后臺(tái)播放音樂(lè)時(shí)使用Sonar，后臺(tái)音樂(lè)播放暫停，退出Sonar時(shí)，后臺(tái)音樂(lè)播放恢復(fù)1.手機(jī)上持續(xù)播放音樂(lè)2.啟動(dòng)瀏覽器3.當(dāng)前為瀏覽器主頁(yè)/網(wǎng)頁(yè)界面1.搖一搖進(jìn)入Sonar命令識(shí)別界面2.點(diǎn)"X"圖標(biāo)或手機(jī)back鍵畫(huà)手勢(shì)并正確識(shí)別按手機(jī)Home鍵切換到Gesture界面1.后臺(tái)音樂(lè)播放暫停2

15、.后臺(tái)音樂(lè)恢復(fù)播放3) BOT(Boundary Test)：邊界值測(cè)試。測(cè)試功能或者參數(shù)的邊界情況（如min， max， min-1，max+1）。如用戶已打開(kāi)最多Tab，再打開(kāi)一個(gè)Tab會(huì)出現(xiàn)什么情況主要覆蓋用戶容易使用到的邊界場(chǎng)景，太過(guò)冷僻的場(chǎng)景不需要覆蓋。示例: Speed dial測(cè)試點(diǎn)分辨率高于320*480:文件夾中最多容納24個(gè)speed dial詳細(xì)測(cè)試用例描述前提條件步驟期望結(jié)果驗(yàn)證在分辨率>=320*480的手機(jī)上，文件夾中最多容納24個(gè)speed dial1.測(cè)試機(jī)分辨率>=320*4802.啟動(dòng)Dolphin3.當(dāng)前為瀏覽器主頁(yè)1.Speed dial區(qū)域

16、創(chuàng)建文件夾A，添加24個(gè)speed dial到文件夾2.長(zhǎng)按文件夾外任意speed dial并拖動(dòng)到文件夾A處松手1.24個(gè)Speed dial添加成功2.無(wú)法將該speed dial添加到文件夾4) ROT(Robustness Test)：健壯性測(cè)試。用來(lái)測(cè)試系統(tǒng)出現(xiàn)故障時(shí)，能否自動(dòng)恢復(fù)或者忽略故障繼續(xù)運(yùn)行。主要覆蓋一些負(fù)面的場(chǎng)景。示例: News測(cè)試點(diǎn)反復(fù)上/下拉刷新新聞列表詳細(xì)測(cè)試用例描述前提條件步驟期望結(jié)果驗(yàn)證反復(fù)上/下拉新聞列表，正常刷新新聞1.安裝并啟動(dòng)瀏覽器，當(dāng)前獲取smart locale為News目標(biāo)國(guó)(如:臺(tái)灣，zh-tw)2.當(dāng)前為右屏news列表(主頁(yè)左滑)1.反復(fù)上

17、拉新聞列表2.反復(fù)下拉新聞列表3.在上拉和下拉動(dòng)作之間來(lái)回切換4.切換不同的新聞分類，重復(fù)步驟131.加載更多舊聞2.加載更多新聞3.新聞?wù)＜虞d4.對(duì)應(yīng)分類下的新聞?wù)＜虞d5) OTA(Over the Air)：升級(jí)測(cè)試用來(lái)測(cè)試升級(jí)后的數(shù)據(jù)和功能是否完整可用示例: Tab Management測(cè)試點(diǎn)升級(jí)后保留接收到的tab詳細(xì)測(cè)試用例描述前提條件步驟期望結(jié)果驗(yàn)證升級(jí)后保留接收到的tab1.安裝并啟動(dòng)當(dāng)前版本之前的版本，如:V11.1.02.當(dāng)前為CLOUD TABS界面(Menu bar 上點(diǎn)擊tab list圖標(biāo) -> 點(diǎn)擊Could Tabs圖標(biāo)）3.測(cè)試機(jī)和其它設(shè)備已登錄同一d

18、olphin connect賬號(hào)，如:PC端通過(guò)dolphin connect插件登錄1.PC上打開(kāi)多個(gè)tab: A()，B()，C()，并將tab A、B、C依次發(fā)送給當(dāng)前測(cè)試機(jī)2.測(cè)試機(jī)上查看"Received"記錄3.升級(jí)瀏覽器至最新版本 -> 進(jìn)入CLOUD TABS頁(yè)面查看"Received"記錄2&3 "Received"列表依次顯示tab A、B、C網(wǎng)頁(yè)記錄6) User Story：場(chǎng)景測(cè)試從用戶的角度來(lái)描述用戶希望得到的功能，以及這個(gè)功能完成之后將會(huì)產(chǎn)生什么效果，或者說(shuō)能為客戶創(chuàng)造什么價(jià)值。示例: Th

19、eme測(cè)試點(diǎn)潮流達(dá)人使用Themes詳細(xì)測(cè)試用例步驟期望結(jié)果1.Cindy是一名潮流達(dá)人，喜歡依據(jù)心情、最近的節(jié)日更換自己的主題。最近是圣誕節(jié)，由于預(yù)置壁紙里沒(méi)有該種類型，她于是去Theme Store里面下載相關(guān)的主題。2.除此之外，她還喜歡將自己最新的大頭美照自定義為主題。1&2. 主題應(yīng)用成功，且顯示清晰正常7) ET(Exploratory Test)：拓展測(cè)試沒(méi)有很多實(shí)際的測(cè)試方法、技術(shù)和工具，但是卻是所有測(cè)試人員都應(yīng)該掌握的一種測(cè)試思維方式。探索性強(qiáng)調(diào)測(cè)試人員的主觀能動(dòng)性，拋棄繁雜的測(cè)試計(jì)劃和測(cè)試用例設(shè)計(jì)過(guò)程，強(qiáng)調(diào)在碰到問(wèn)題時(shí)及時(shí)改變測(cè)試策略。示例: News測(cè)試點(diǎn)News

20、探索性測(cè)試詳細(xì)測(cè)試用例前提條件步驟期望結(jié)果1.安裝并啟動(dòng)瀏覽器，當(dāng)前獲取smart locale為News目標(biāo)國(guó)(如:臺(tái)灣，zh-tw)1.各種場(chǎng)景下使用News:查看天氣/地理位置查看Top news/右屏News列表/新聞詳情頁(yè)/更多新聞/分類新聞查看無(wú)圖/單圖/圖集新聞?dòng)袌D/無(wú)圖模式下使用News切換不同國(guó)家后使用News(RTL)全屏模式夜間模式切換壁紙橫豎屏下使用News大/中/小屏上使用News不同網(wǎng)絡(luò)情況(斷網(wǎng)/弱網(wǎng)/聯(lián)網(wǎng))1.各種組合情況下，News功能正常l User Story設(shè)計(jì)：不要描述詳細(xì)操作步驟，寫(xiě)常見(jiàn)用戶場(chǎng)景，不要太復(fù)雜，也不能太簡(jiǎn)略對(duì)錯(cuò)示例1：Menu用戶場(chǎng)景：

21、太過(guò)簡(jiǎn)略類型操作步驟期望結(jié)果錯(cuò)誤×Rodney是個(gè)小說(shuō)迷，經(jīng)常使用Dolphin在線看小說(shuō)看小說(shuō)時(shí)，他使用Menu bar和Menu面板上的各功能Rodney正常使用MenuRodney正常使用Menu正確Rodney是個(gè)小說(shuō)迷，經(jīng)常使用Dolphin在線看小說(shuō)，看小說(shuō)時(shí)，他使用Menu bar上的""""進(jìn)行頁(yè)面前進(jìn)和回退，使用Home按鈕回到主頁(yè)在目錄頁(yè)使用Find in page快速找到感興趣的章節(jié)看到喜歡的小說(shuō)時(shí)，通過(guò)Menu面板將相關(guān)網(wǎng)頁(yè)添加為書(shū)簽或speed dial，也會(huì)分享到社交平臺(tái)或推送到電腦端閱讀看完小說(shuō)后，通過(guò)Clear data清除閱讀記錄并使用Exit退出瀏覽器Rodney正常使用Menu對(duì)錯(cuò)示例2：Speed Dial用戶場(chǎng)景：太過(guò)繁瑣類型操作步驟期望結(jié)果錯(cuò)誤×1.Rose經(jīng)常在Amazon和ebay等購(gòu)物