如何設(shè)計CaseFramework

1、如何設(shè)計測試用例文檔信息文檔名稱：如何設(shè)計測試用例文檔版本：V1.0提交部門：測試部門適用人群：Dolphin INT-Shell Test team修訂記錄版本日期修訂人內(nèi)容概述V1.02015/1/28Qing Chen文檔創(chuàng)建目錄文檔信息1修訂記錄1文檔明細(xì)1背景21. 如何設(shè)計Case Framework21.2為什么要設(shè)計Case Framework21.4如何設(shè)計Case Framework22.如何設(shè)計Detailed Test Case（TBD）6文檔明細(xì)背景目前用例重構(gòu)和新需求都需要設(shè)計測試用例，該活動由設(shè)計Case Framework和設(shè)計Detailed Test Cas

2、e組成，在設(shè)計這兩塊時，大家出現(xiàn)了各種不同的問題也提出了很多疑惑，本文從這兩方面講解設(shè)計測試用例的基本方法和一些常見的錯誤，以作為設(shè)計測試用例時的基本指導(dǎo)，并規(guī)避一些常見錯誤。1. 如何設(shè)計Case Framework（用例框架）1.2為什么要設(shè)計Case FrameworkCase Framework是通讀并理解Spec后，設(shè)計詳細(xì)測試用例前，設(shè)計的一套測試用例框架，用來引導(dǎo)后續(xù)設(shè)計詳細(xì)測試用例，它有以下作用：l 便于理清用例邏輯設(shè)計思路，避免設(shè)計詳細(xì)測試用例時思路不清晰導(dǎo)致重復(fù)更改l 便于設(shè)計用例之初完全覆蓋Spec（規(guī)格）上的需求點l 便于執(zhí)行者或新人快速了解模塊邏輯結(jié)構(gòu)1.4如何設(shè)計C

3、ase Framework1.4.1設(shè)計Case Framework步驟：1. 通讀并理解Spec上所有需求點l 若Spec上無需求點標(biāo)注或標(biāo)注缺失、錯誤，及時告知相應(yīng)PM（產(chǎn)品經(jīng)理）進(jìn)行修改l 若對Spec上內(nèi)容有異議或無法理解，需向PM/Dev確認(rèn)，切忌將模糊不清的內(nèi)容寫入用例2. 劃分測試該功能的測試類型，基本類型如下：l BFT(Basic Functional Test)基本功能測試l IAT(Interaction Test)交互測試l BOT(Boundary Test)邊界值測試l ROT(Robustness Test)穩(wěn)定性測試l OTA(Over the Air) 升級測

4、試l User Story：場景測試l ET(Exploratory Test) 拓展測試每種類型詳細(xì)設(shè)計說明見2.如何設(shè)計Detailed Test Case3. 根據(jù)對Feature（特征）的理解，組織用例的邏輯，編寫測試用例框架：以Dolphin Browser為例，一般按用戶操作習(xí)慣順序編寫：入口功能的UI功能正面驗證功能負(fù)面驗證升級User StoryET4. Case Framework設(shè)計完畢后，檢查：l 是否覆蓋Spec上所有需求點l 邏輯是否有條理、清晰1.4.1實例：模塊：Speed DialTest TypeMain ComponentPriority Check Poi

5、ntTraceability BFT預(yù)置數(shù)據(jù)(運營配置，無需設(shè)計case)0根據(jù)地區(qū)語言信息和版本信息配置預(yù)制的speed dial2.1-11針對特定的speed dial設(shè)置無Add to home screen或Remove操作2.1-21設(shè)置speed dial右上角出現(xiàn)更新提醒2.1-3首次啟動2Hot Apps出現(xiàn)小紅點缺失Dolphin文件夾3內(nèi)容，排序缺失3Lab，F(xiàn)eatures，Blog，F(xiàn)AQ，F(xiàn)eedback，Updates缺失添加speed dial0首頁點擊"+"2.2-10Menu -> Add speed dial(默認(rèn)灰顯)2.2-2

6、2Gesture:Add to speed dial手勢2.2-31Add speed dial編輯框2.2-40Name input box，添加后名字顯示的長度2.2-50Address input box2.2-61Cancel button2.2-70Add button2.2-82Name和Address為空2.2-102Gesture:添加重復(fù)speed dial2.2-92添加相同名稱或網(wǎng)址的speed dial缺失2添加相同名稱和網(wǎng)址的speed dial2.2-9長按speed dial0長按UI:橫豎屏缺失編輯speed dial1長按選項:Add to home scre

7、en2.3-1，2.3-23重復(fù)添加桌面快捷方式缺失0長按選項:Remove2.3-33長按Feedback:無法添加到主頁缺失3無法刪除speed dial:Hot Apps2.3-30移動speed dial位置2.3-100點擊speed dial缺失文件夾操作1創(chuàng)建文件夾2.3-4，2.3-5，2.3-61文件夾預(yù)覽缺失1編輯文件夾名稱(默認(rèn)值)2.3-72修改為已存在文件夾名缺失1文件夾展開、收攏:橫豎屏缺失1改變文件夾位置2.3-81移動文件夾內(nèi)speed dial:內(nèi)部、移進(jìn)、移出2.3-92文件夾中speed dial長按操作:Add to home screen，remove

8、缺失0清除文件夾缺失3可移動speed dial到Dolphin文件夾缺失Speed dial在主頁的排列0中屏機(jī):橫豎屏缺失3大屏機(jī):橫豎屏缺失3小屏機(jī):橫豎屏缺失Speed dial在文件夾中的排列0分辨率>=320*480:橫豎屏缺失3分辨率為320*240:橫豎屏缺失滑屏操作0橫豎屏:不超過一屏、超過一屏?xí)r滑動speed dial/文件夾缺失異常操作3crash之后啟動程序缺失3通過第三方鏈接進(jìn)入主頁缺失BOT3分辨率高于320*480:文件夾中最多容納24個speed dial缺失3分辨率=320*240:文件夾中最多容納12個speed dial 缺失ROT2添加多個spee

9、d dial/文件夾缺失OTA3升級:保持speed dial數(shù)據(jù)、順序并去重文件夾缺失3升級:most visited文件夾缺失User Story3家庭婦女使用Speed Dial1-1，1-2ET3speed dial探索性測試N/A1.4.2設(shè)計Case Framework通用方法 l Case Framework結(jié)構(gòu)：1) 順序：按照用戶操作順序來寫示例：News主模塊子模塊測試點News界面組成滑塊指示UI&功能與滑出Control panel的區(qū)分首頁 （和滑塊換一下順序）組成:地址欄、天氣、Top news、speed dial天氣各情況下顯示無網(wǎng)絡(luò)連接:默認(rèn)給一套當(dāng)前

10、語言的首都正常:天氣圖標(biāo)放置服務(wù)器有位置更新:漸隱消失，漸隱出現(xiàn)替換有內(nèi)容更新:漸隱消失，漸隱出現(xiàn)替換默認(rèn)顯示:上一次的天氣信息UI （和上面換一下位置）顯示格式、圖標(biāo)點擊動作前往accu天氣2) 結(jié)構(gòu)l 要列出所有check pointl 當(dāng)功能結(jié)構(gòu)復(fù)雜時，可分主模塊和子模塊描述l UI與功能的驗證點分開要考慮到執(zhí)行時，是否便于用例挑選。一個功能點的驗證包括:UI、正面、負(fù)面的驗證，其優(yōu)先級依次降低。對錯示例：Dolphin Whistle測試點：響應(yīng)式:UX改善計劃類型優(yōu)先級測試點錯誤×0出現(xiàn)時機(jī)、樣式1點擊， 點擊×正確0出現(xiàn)時機(jī)、樣式1點擊2點擊×l 測試

11、類型無需強(qiáng)制全部覆蓋，沒必要寫ROT/BOT/User Story的可以不寫比如Dolphin Whistle：無User Storyl 測試點描述只需簡單描述需求，無需描述詳細(xì)操作步驟和結(jié)果，尤其不要copy spec中大段文字對錯示例：SpecSidebar引導(dǎo)描述：D）Sidebar推薦僅在Home頁顯現(xiàn)。即用戶點擊Speed dial訪問網(wǎng)頁時，Sidebar被覆蓋到網(wǎng)頁下方，當(dāng)返回Home時，Sidebar推薦依然顯示。3.3.3.D 4測試點錯誤×正確Sidebar推薦僅在Home頁顯現(xiàn)。即用戶點擊Speed dial訪問網(wǎng)頁時，Sidebar被覆蓋到網(wǎng)頁下方，當(dāng)返回Ho

12、me時，Sidebar推薦依然顯示Sidebar推薦與網(wǎng)頁的交互l 當(dāng)某項功能被新功能取代時，只需驗證新功能work即可，無需再驗證老功能不存在如：Spec描述：觸發(fā)機(jī)制，用戶在Setting中，打開Sidebar開關(guān)回到原頁面時，出現(xiàn)圖文對話提醒框，不再出現(xiàn)原有的動畫引導(dǎo)。3.2.1 1對錯示例：測試點錯誤×正確出現(xiàn)圖文對話框時，不再出現(xiàn)原來的左右側(cè)邊欄彈動動畫無需驗證這個，只需驗證新的圖文對話框出現(xiàn)即可l User Story：描述方式：XX（角色）使用XX（模塊）示例：商務(wù)人士使用Newsl ET：描述方式：XX（模塊）探索性測試示例：News探索性測試l 需求點標(biāo)注：1) 標(biāo)

13、注Spec中無該需求點，則將其”Traceability”標(biāo)注為”缺失”ET和User Story關(guān)聯(lián)的需求點太多，無需標(biāo)注，標(biāo)注為”N/A”即可2） 不要遺漏需求點需求點檢查方法：將spec中所有需求點在excel中一一列出，再與Case Framework一一比對2.如何設(shè)計Detailed Test Case（TBD）1) BFT(Basic Functional Test)：基本功能測試。驗證Feature最基本的功能。示例：Speed Dial測試點添加speed dial首頁點擊"+"Menu -> Add speed dial(默認(rèn)灰顯)2) IAT(I

14、nteraction Test)：交互測試。模仿用戶的行為，進(jìn)行較為復(fù)雜的交互操作。往往覆蓋多個需求，且在靜態(tài)/動態(tài)環(huán)境下可能有事件(Interrupt/Event)發(fā)生示例: Gesture & Sonar測試點后臺播放音樂時，使用聲吶詳細(xì)測試用例描述前提條件步驟期望結(jié)果驗證后臺播放音樂時使用Sonar，后臺音樂播放暫停，退出Sonar時，后臺音樂播放恢復(fù)1.手機(jī)上持續(xù)播放音樂2.啟動瀏覽器3.當(dāng)前為瀏覽器主頁/網(wǎng)頁界面1.搖一搖進(jìn)入Sonar命令識別界面2.點"X"圖標(biāo)或手機(jī)back鍵畫手勢并正確識別按手機(jī)Home鍵切換到Gesture界面1.后臺音樂播放暫停2

15、.后臺音樂恢復(fù)播放3) BOT(Boundary Test)：邊界值測試。測試功能或者參數(shù)的邊界情況（如min， max， min-1，max+1）。如用戶已打開最多Tab，再打開一個Tab會出現(xiàn)什么情況主要覆蓋用戶容易使用到的邊界場景，太過冷僻的場景不需要覆蓋。示例: Speed dial測試點分辨率高于320*480:文件夾中最多容納24個speed dial詳細(xì)測試用例描述前提條件步驟期望結(jié)果驗證在分辨率>=320*480的手機(jī)上，文件夾中最多容納24個speed dial1.測試機(jī)分辨率>=320*4802.啟動Dolphin3.當(dāng)前為瀏覽器主頁1.Speed dial區(qū)域

16、創(chuàng)建文件夾A，添加24個speed dial到文件夾2.長按文件夾外任意speed dial并拖動到文件夾A處松手1.24個Speed dial添加成功2.無法將該speed dial添加到文件夾4) ROT(Robustness Test)：健壯性測試。用來測試系統(tǒng)出現(xiàn)故障時，能否自動恢復(fù)或者忽略故障繼續(xù)運行。主要覆蓋一些負(fù)面的場景。示例: News測試點反復(fù)上/下拉刷新新聞列表詳細(xì)測試用例描述前提條件步驟期望結(jié)果驗證反復(fù)上/下拉新聞列表，正常刷新新聞1.安裝并啟動瀏覽器，當(dāng)前獲取smart locale為News目標(biāo)國(如:臺灣，zh-tw)2.當(dāng)前為右屏news列表(主頁左滑)1.反復(fù)上

17、拉新聞列表2.反復(fù)下拉新聞列表3.在上拉和下拉動作之間來回切換4.切換不同的新聞分類，重復(fù)步驟131.加載更多舊聞2.加載更多新聞3.新聞?wù)＜虞d4.對應(yīng)分類下的新聞?wù)＜虞d5) OTA(Over the Air)：升級測試用來測試升級后的數(shù)據(jù)和功能是否完整可用示例: Tab Management測試點升級后保留接收到的tab詳細(xì)測試用例描述前提條件步驟期望結(jié)果驗證升級后保留接收到的tab1.安裝并啟動當(dāng)前版本之前的版本，如:V11.1.02.當(dāng)前為CLOUD TABS界面(Menu bar 上點擊tab list圖標(biāo) -> 點擊Could Tabs圖標(biāo)）3.測試機(jī)和其它設(shè)備已登錄同一d

18、olphin connect賬號，如:PC端通過dolphin connect插件登錄1.PC上打開多個tab: A()，B()，C()，并將tab A、B、C依次發(fā)送給當(dāng)前測試機(jī)2.測試機(jī)上查看"Received"記錄3.升級瀏覽器至最新版本 -> 進(jìn)入CLOUD TABS頁面查看"Received"記錄2&3 "Received"列表依次顯示tab A、B、C網(wǎng)頁記錄6) User Story：場景測試從用戶的角度來描述用戶希望得到的功能，以及這個功能完成之后將會產(chǎn)生什么效果，或者說能為客戶創(chuàng)造什么價值。示例: Th

19、eme測試點潮流達(dá)人使用Themes詳細(xì)測試用例步驟期望結(jié)果1.Cindy是一名潮流達(dá)人，喜歡依據(jù)心情、最近的節(jié)日更換自己的主題。最近是圣誕節(jié)，由于預(yù)置壁紙里沒有該種類型，她于是去Theme Store里面下載相關(guān)的主題。2.除此之外，她還喜歡將自己最新的大頭美照自定義為主題。1&2. 主題應(yīng)用成功，且顯示清晰正常7) ET(Exploratory Test)：拓展測試沒有很多實際的測試方法、技術(shù)和工具，但是卻是所有測試人員都應(yīng)該掌握的一種測試思維方式。探索性強(qiáng)調(diào)測試人員的主觀能動性，拋棄繁雜的測試計劃和測試用例設(shè)計過程，強(qiáng)調(diào)在碰到問題時及時改變測試策略。示例: News測試點News

20、探索性測試詳細(xì)測試用例前提條件步驟期望結(jié)果1.安裝并啟動瀏覽器，當(dāng)前獲取smart locale為News目標(biāo)國(如:臺灣，zh-tw)1.各種場景下使用News:查看天氣/地理位置查看Top news/右屏News列表/新聞詳情頁/更多新聞/分類新聞查看無圖/單圖/圖集新聞有圖/無圖模式下使用News切換不同國家后使用News(RTL)全屏模式夜間模式切換壁紙橫豎屏下使用News大/中/小屏上使用News不同網(wǎng)絡(luò)情況(斷網(wǎng)/弱網(wǎng)/聯(lián)網(wǎng))1.各種組合情況下，News功能正常l User Story設(shè)計：不要描述詳細(xì)操作步驟，寫常見用戶場景，不要太復(fù)雜，也不能太簡略對錯示例1：Menu用戶場景：

21、太過簡略類型操作步驟期望結(jié)果錯誤×Rodney是個小說迷，經(jīng)常使用Dolphin在線看小說看小說時，他使用Menu bar和Menu面板上的各功能Rodney正常使用MenuRodney正常使用Menu正確Rodney是個小說迷，經(jīng)常使用Dolphin在線看小說，看小說時，他使用Menu bar上的""""進(jìn)行頁面前進(jìn)和回退，使用Home按鈕回到主頁在目錄頁使用Find in page快速找到感興趣的章節(jié)看到喜歡的小說時，通過Menu面板將相關(guān)網(wǎng)頁添加為書簽或speed dial，也會分享到社交平臺或推送到電腦端閱讀看完小說后，通過Clear data清除閱讀記錄并使用Exit退出瀏覽器Rodney正常使用Menu對錯示例2：Speed Dial用戶場景：太過繁瑣類型操作步驟期望結(jié)果錯誤×1.Rose經(jīng)常在Amazon和ebay等購物