移動APP測試方法

超贊！移動APP測試實用指南譯者注：本文從測試人員的角度出發(fā)，提出了100多個在測試移動App過程中需要考慮的問題。不管你是測試人員、開發(fā)、產品經理或是交互設計師，在進行移動App開發(fā)時，這些問題都很有參考價值。我和Queen合力譯出此文，分享給大家，希望有所幫助和啟發(fā)。測試人員常被看作Bug尋找者，但你曾想過他們實際是如何開展測試的嗎？你是否好奇他們究竟都做些什么，以及他們如何在一個典型的技術項目中體現(xiàn)價值？作者將帶你經歷測試人員的思維過程，探討他們測試移動App時的各種考慮。本文的目的在于揭示測試人員的這一思維過程，并展示他們通常所考慮內容的廣度和深度。1.測試人員需要詢問問題測試人員的核心能力在于提出有挑戰(zhàn)性的相關問題。如果你能將調查、詢問技巧和技術、產品的知識結合起來，漸漸地，你也會成為一個好的測試人員。比如，測試人員可能會問：這個App應該在什么平臺上使用？o這個App到底是干什么的？o如果我這樣做，會發(fā)生什么情況？o諸如此類。測試人員能從各種場景中發(fā)現(xiàn)問題，它們可能來自對話、設計、文檔、用戶反饋或者是產品本身。這些可能性太多了……因此，讓我們一探究竟吧！2.從哪里開始測試理想情況下，測試人員應該掌握所測產品的所有最新細節(jié)資料。但事實上這很少見，因此，像其他人一樣，測試人員只能將就使用手上有限的資料。但這不是不能測試的借口！測試人員其實是可以從內部和外部多種不同的來源處收集信息的。這個階段，測試人員可以問這些問題：有哪些信息：規(guī)格？項目會議？用戶文檔？知識淵博的團隊成員？有支持論壇或者o是公司在線論壇提供幫助？有現(xiàn)存Bug的記錄嗎？該應用是在什么系統(tǒng)、平臺和設備上進行運作和測試？o該應用是處理什么類型的數(shù)據（比如個人信息、信用卡等等）？o該應用有整合外部應用（比如API和數(shù)據來源）嗎？o該應用需要用到特定的移動端網頁嗎？o現(xiàn)有消費者如何評價這個產品？o有多少時間可用于測試？o測試的優(yōu)先級和風險是什么？o哪些用戶使用起來不愉快，為什么？o如何發(fā)布和更新？o基于以上收集的信息，測試人員可以制定測試計劃了。通o常預算決定測試方法，一天測完，一個星期或一個月測完的方法肯定不同。當你逐漸熟悉團隊、工作流程以及這類問題的解決方式時，你就更容易預測結果了。案例：FacebookApp的社會評論o當作為一名測試人員收集信息時，我喜歡選用o作為案例，因為用戶的抱怨到處都是。以下FacebookApp中發(fā)表僅僅展示了部分遇到難題的用戶在iTunesAppStore的評論，網絡上還有很多。

FacebookApp有很多負面的評論iPhone上的，我肯定會考慮這些App這個如果我接受挑戰(zhàn)去測試Facebook反饋，否則就是傻子。測試人員的創(chuàng)造力3.原本想做的事，但是它究竟可以做什么事呢？你可能知道這個App用戶實際上是如何使用它的？測試人員擅長作為旁觀者來思考，為什和”“如果。。。會怎么樣嘗試不同的事物，以及不斷地詢問“”么的問題。比如，移動端的測試人員常常以不同的用戶角色進行測試一一當然有點夸張，但是，這種把自己當成不同用戶進行思考、分析和設想的能力對測試是備受啟發(fā)的。測試人員可能會設想自己是以下用戶：毫無經驗；o很有經驗；o愛好者；o黑客；o競爭對手；o當然還有更多可選的角色，這主要取決于你們所開發(fā)的產品是什么。其實除了角色特點外，其操作行為和工作流程也很重要。人們使用產品方式常常很奇怪，比如：在不應該返回的時候返回了；o不耐心而且多次敲按鍵；o輸入錯誤的數(shù)據；o不理解該怎么做；o可能沒有按要求進行設置；o可能會自以為是地認為自己知道該做什么（比如通常不閱讀說明）。o測試人員遇到這些問題時，也常常發(fā)現(xiàn)意料之外的Bug。有時候，這些Bug微不足道，但是更深入的調查就會發(fā)現(xiàn)更嚴重的問題。很多問題是可以被預先確定和測試的。測試移動端App時，以下的問題并不都有關，但是也可以嘗試問問：是否按照所說的來做呢？o是按設計完成任務的嗎？o不是按設計完成任務的嗎？o.如果處于一直被使用或者負荷情況下，狀況會怎么樣？會反應遲鈍嗎？會崩潰嗎？o會更新嗎?有反饋嗎？崩潰報告會反饋到App嗎？o用戶可能有哪些創(chuàng)造性的、邏輯性的或是消極的導航方式？用戶相信你的品牌嗎？o用戶的數(shù)據安全如何？o有可能被中斷或是被破解嗎？o運行到極限時會發(fā)生什么狀況？o會要求打開相關服務嗎（如GPS、Wi-Fi）？如果用戶打開會怎樣？沒打開又會怎樣？o將用戶重新引向哪兒？去網頁？還是從網頁到App？這會導致問題出現(xiàn)嗎？o溝通過程和市場反饋是否符合該App的功能、設計和內容？o登錄流程是怎樣的？能在App上直接登錄還是要去網頁端？o登錄是否整合了其他服務，比如用Facebook和Twitter帳號登錄？o案例：RunKeeper'sgyUpdateRunKeeper，是一款能跟蹤你健身活動的App，最新發(fā)布的版本里有個“目標設置”的功能，對此我很感興趣去體驗一下，一部分從測試人員的角度來看，更多的是作為一個真心喜歡產品的用戶來體驗。但我發(fā)現(xiàn)了一些問題：默認單位是英鎊，我卻想要把公斤作為重量單位；英鎊和公斤間的切換根本不好用；當設定目標后，會導致展示錯誤的數(shù)據和圖表，這讓我很迷惑；由于第3條，我想刪除目標，但卻根本找不到刪除的地方；為了解決這一問題，我不得不改變的個人體重的值，直到“目標設置“范圍之內，這樣目標達到了，就能重新設定目標了；我會再次嘗試添加目標；正因為以上疑惑，我花了更長的時間把玩它，看能不能找到其他的問題；以下是一些發(fā)現(xiàn)問題的屏幕截圖:Go襯IDetailsf-jWelgmLoss&S0遍rtbate CHWDrtH部分。設置日期的時候，我發(fā)現(xiàn)開始和結束的”的最新版本包含了一個新的"目標該App年開始，另外，為什么有兩個1年可選（譯者注：年份那列從上往日期都可以從公元1下應該顯示為“1、2、3”)?曜DQ-UK甘枚弟 T心＞?二|mW 喝初IDetorh?Vfp]WeightLoasGoalISt&rtEW姍網11EndDufe奶網1ICunerrtWeightElner ht11tak「g畫W#母hl■MnunlHyouvuricm!■:■:■■?"ObiSetGoal!另一個Bug，是“當前體重”部分的一個拼寫錯誤，當清空數(shù)據時會出現(xiàn)拼寫錯誤的“Enter（應用中用的是Etner），這只是一個小Bug，但是看上去非常不專業(yè)。發(fā)現(xiàn)問題沒有捷徑，你只能反復的慢慢的試用。每個App及其團隊都會面臨很多不同的挑戰(zhàn)。但是，測試人員的典型的特點就是：超越極限，做一些非常規(guī)的、可以改變周圍事物的事情，保持長時間的測試（測試幾天、幾個星期甚至幾月，而不是幾分鐘就測完），即使明明知道這些事情是不可能發(fā)生的。這些也正是可以找到和引出的場景所在。4.哪兒有所有的數(shù)據？測試人員喜歡從數(shù)據上找問題，這讓開發(fā)人員有時候很郁悶。事實上，用戶或者是軟件開發(fā)人員在信息流中確實太容易迷惑了，因為可能會出現(xiàn)很多錯誤，所以基于數(shù)據和云的服務更為重要。也許你可以嘗試在以下場景中檢查出問題：移動設備數(shù)據已滿；o測試人員移除了所有的數(shù)據；o測試人員刪除了App，那數(shù)據怎么辦？o測試人員刪除并重裝了App，數(shù)據怎么辦？o過多或者過少的內容導致設計和布局的改變；o在不同的時間段和時區(qū)使用；o數(shù)據不同步；o同步被中斷；o數(shù)據更新影響其他的服務（比如網頁和云端服務）；o快速處理數(shù)據或是處理大量的數(shù)據；o使用無效的數(shù)據；o案例：Soup.me的錯誤o.我試用過的Soup.me，是一個可以通過地圖和顏色將個人oInstagram中的照片進行分類的網頁服務，但是我卻沒用多久。當注冊時，它提示我Instagram上的照片不夠多，然而我的賬號中明明有500多張照片。我并不清楚問題出在哪兒，也許是數(shù)據問題，也許是表現(xiàn)層的問題，也有可能是該App出錯提示的問題。Quicklytics另一個案例：上的網頁分析應用。在使用過程中，盡管iPadQuickytics是一個中刪除了網站配置，但它仍然存在。GoogleAnalytics我已經從這里有一些問題：我已經刪除了網站配置，為什么還是有這些信息？，那么是不是可以改該操作無法完成“”左邊模塊沒有解釋為什么進以避免迷惑用戶呢？

測試人員也很喜歡測試極限數(shù)據下的情況。他們常常是作為典型用戶來了解這個App,所以極限下的測試并不會花很長的時間。數(shù)據是混亂的，所以測試人員要考慮到軟件的用戶類型，以及在不同的數(shù)據場景下如何進行測試。比如，他們可能嘗試以下場景：測試用戶可輸入的極限值；o用重復的數(shù)據進行測試；o在全新無數(shù)據的手機里測試；o在老手機上測試；o預先安裝不同類型的數(shù)據；o考慮聚集大家的資源來進行測試；o讓一些測試自動化；o用一些超出預期的數(shù)據去測試，看它是怎么處理的；o分析信息和數(shù)據是怎么影響用戶體驗的；o不管用戶看到的是否正確，都要一直問問題。o5.創(chuàng)建出錯提醒和消息這里，我不是從設計師的角度來要談論好的錯誤消息的設計，而是想從用戶或是測試者的角度來看這個問題。出錯提醒和消息是測試人員很容易發(fā)現(xiàn)問題的地方。關于錯誤信息要問的問題：請考慮以下問題：o出錯提醒的UI設計可以接受嗎？o錯誤信息內容可以理解嗎？o錯誤信息是否保持一致？o這些錯誤信息有幫助嗎？o錯誤信息內容是否合適？o這些錯誤是否符合慣例和標準？o.這些錯誤信息本身是否安全？o運行記錄和崩潰是否能被用戶和開發(fā)者獲得？o是否所有的錯誤都被測試過？o用戶處理完錯誤信息后，將處于什么狀態(tài)o是否在用戶應該接受錯誤信息時，卻沒有錯誤信息彈出？不好或無用的出錯提!錯誤信息會影響用戶體

時，卻沒有錯誤信息彈出？不好或無用的出錯提!錯誤信息會影響用戶體驗。然而，。雖最理想的狀態(tài)是避免用戶遭遇錯誤信息，但無處不在。這幾乎不可能。出錯情況的設計、實現(xiàn)和確認可能與預期，并能仔相反，但是，測試者往往善于發(fā)現(xiàn)意料外的Bug細考究是否改進它們。錯誤信息的案例：o這個例子。這些冗FacebookAppiPhone我非常喜歡舉上o長又晦澀的文字不僅僅試圖涵蓋了許多不同的場景，而且還可能無端地丟失。Til aEi-ErH rn"? Til aEi-ErH rn"? ?i"■廣kavnts-心 iui>屯 saoionsLa-m g”“可能如下的消息提示框可以列入反例名人堂了？.WFilmMhAuMlrf*AnMErnf]appfrSeverui1.U.bisd*HmwwilhmjxUwH.WFilmMhAuMlrf*AnMErnf]appfrSeverui1.U.bisd*HmwwilhmjxUwH.胴獻向teCbJflTHliphDlKiBmSlMgWyM2

Mnit>xju：krfdJih3.f^<jn±tarris

Pwadbannp*Week8用WUsiy叫S5寫國I屋T

bijgnhEpDcwrttucl卜rmforfrrelThnrkafcr氏w?slctohJNOfLeiiIEL"Nfl甕盤q亡Copied2.l~kiHdumar-nr^tsityefis-UdLCm^jIkwUT國間15TAiHdJbOI￡h，該怎么辦呢？上的TheGuardian應用，如果我不想"重試看看這款iPad6.特定平臺上的注意事項對于任何項目團隊成員來說，了解相關平臺的業(yè)務、技術和設計上的限制，都是至關重要的。App的測試人員應該找出哪些平臺相關的問題呢？那么，移動端是否遵照了這個特定平臺的設計規(guī)范？o與競爭對手以及行業(yè)內的設計相比如何？o是否適應外圍設備？o觸摸屏支持手勢嗎，如：輕拍、雙擊、長按、拖動、搖動、夾捏、輕拂、滑動？o.這個App可以被理解嗎？o當轉動設備的方向時，有什么變化？oGPS嗎？可以使用地圖和o有用戶指南嗎？o電子郵件的工作流程友好嗎？o通過網絡分享時，它運行得流暢嗎？是否整合了其他社交應用或網站？o間切換的時候，它還運行正常嗎？當用戶正在進行多任務工作，并在不同Appo當用戶更新它時，它是否會顯示時間進度？o默認設置如何?有經過調整嗎？o使用音效會有不同嗎？oChimpStats案例：ChimpStats是iPad上一個查看郵件廣告詳情的應用。我第一次使用這個應用是處于橫屏模式。當我需要輸入API密碼的時候，我被困住了。我根本不能在水平模式中輸入API密碼，直到切換成豎屏模式，才輸入成功。連接和中斷的問題當連接斷斷續(xù)續(xù)或是意外中斷時，很多有趣的事情就可能發(fā)生了。你是否嘗試過在以下場景中使用App：走動環(huán)境下?o連接下？Wi-Fio沒有Wi-Fi的情況下？o.3G模式下？o間歇性地連接？o設置為飛行模式？o一個電話打進來時？o接收到一條信息時？o接收到一個提醒通知時？o在電量很低甚至自動關機時？o被強制更新時？o收到一條語音留言時？o這類測試最容易發(fā)現(xiàn)錯誤和Bug。我強烈建議你在這些情況下進行測試（不僅僅只是開機、確認它可以正常工作，還要嘗試用戶使用的整個流程，并在特定的時間間歇內強制連接和中斷）。這個App提供了足夠多的反饋嗎？o數(shù)據傳輸為用戶所知嗎？o它會慢慢停止，然后崩潰嗎？o開啟時會發(fā)生什么？o任務完成中會發(fā)生什么？o是否可能丟失未保存的操作？o你可以忽視通知提醒嗎？忽視后會發(fā)生什么？o你可以對通知提醒做出響應嗎？響應后會發(fā)生什么？o對某些問題，使用錯誤信息是否恰當？o當?shù)卿涍^期或超時會發(fā)生什么？o7?APP的維護想要加快整個測試的過程很簡單，只需測試一次就一勞永逸了，對嗎?請三思。此刻我遇到的一個問題是：iPad上的一些App在更新后，再也不能下載了。對于一個用戶來說，這是非常令人沮喪的。可能，這也是開發(fā)者控制不了的。誰知道呢？我只知道它對于用戶來講是不能用的。我也嘗試卸載App，然后重裝，但這個問題始終未能解決。我在網上大量的搜索，除了找到一些關于更新操作系統(tǒng)的建議外，沒有任何其他解決方式?？赡埽麓斡锌諘r候，我還會再試試看。關鍵問題在于：如果一個應用只被測試過一次，且只有一次（或僅在很短的一段時間內測試過），很多問題你都發(fā)現(xiàn)不了。一個App自身可能不會發(fā)現(xiàn)變化，但外界條件卻可以讓這些問題發(fā)生。當外界環(huán)境持續(xù)變化時，App又會受到哪些影響呢？讓我們問問自己:我可以下載這個App嗎？o我可以下載并安裝更新嗎？o更新之后還能使用嗎？o當很多App處于等待更新狀態(tài)時，我能更新它嗎？o系統(tǒng)更新后，它會發(fā)生什么？o系統(tǒng)未更新，它又會發(fā)生什么？o它會通過iTunes自動同步下載到其他設備嗎？o它自動執(zhí)行任務或測試有意義嗎？o它會連接到網絡服務嗎？這會帶來什么不同？o移動端的App每一個版本發(fā)布后，最好都去測試一下。每o次發(fā)布新版本時，先定義最高優(yōu)先級測試，確保其能在各種條件下進行（主要是在主流的平臺上）。隨著時間的推移，測試可以變得自動化。但請記住，自動化不是靈丹妙藥，發(fā)現(xiàn)問題，只能通過人的眼睛。案例：iPhone上的Analytics應用已經兩年了，之前它一直沒有什么問題。App我使用這個o但是現(xiàn)在，它卻顯示出我某些網站數(shù)據為零（但實際上，AppStore不止一個人一個月內訪問過我的網站!）。從的評論來看，我不是唯一一個遇到這個問題的人。3.GoaglelumedofflheiraidAPI陽.御bydwcfcni頃du衛(wèi)3Tui如璋Ihsmppur網If 曲;RJlUUEBlhRpb>SXJQBAF-19,-whtchWrts.TheaWJV5!wa\ikimedatinJLdy引WLRytoi?hM網I" a?i2」」ul-SW2WfxliAdyH#■*?!命IsigIgi-Mliu!^■j^iJiii'Llyhluppvijift*f：^.N