手機(jī)測試11綜述

1、手機(jī)測試Yao Huiping 測試團(tuán)隊(duì)架構(gòu)測試團(tuán)隊(duì)架構(gòu) 測試流程 團(tuán)隊(duì)管理測試團(tuán)隊(duì)架構(gòu)測試團(tuán)隊(duì)架構(gòu) 測試總監(jiān) 測試項(xiàng)目經(jīng)理/leader：若干，可兼任 分支： 系統(tǒng)測試團(tuán)隊(duì) SystemTest Team 外場測試團(tuán)隊(duì) Field Test Team 測試開發(fā)團(tuán)隊(duì) Test Dev Team 認(rèn)證測試團(tuán)隊(duì) TA Team 硬件/結(jié)構(gòu)測試團(tuán)隊(duì) HW/ME Test Team 測試支撐團(tuán)隊(duì)Test Support Team每一分支可設(shè)一manager/leader系統(tǒng)測試團(tuán)隊(duì)系統(tǒng)測試的模塊列舉系統(tǒng)測試的模塊列舉系統(tǒng)測試的人員配置系統(tǒng)測試的人員配置常規(guī)中低端手機(jī)的系統(tǒng)測試模塊一般超過20個；每個模

2、塊配置最少一名高級測試工程師：深刻理解所在領(lǐng)域的基礎(chǔ)協(xié)議、行業(yè)規(guī)范，跟蹤技術(shù)標(biāo)準(zhǔn)演進(jìn)，能參與同行業(yè)技術(shù)交流；深刻理解所在領(lǐng)域的需求，能參與項(xiàng)目立項(xiàng)初期的需求分析與需求測試；深刻理解所在領(lǐng)域的實(shí)現(xiàn)，包括不同系統(tǒng)之間的差異，能與SW/HW/芯片廠家分析出現(xiàn)的問題；能設(shè)計高水準(zhǔn)的測試案例和搭建測試環(huán)境；能指導(dǎo)和培訓(xùn)初級工程師迅速上手測試；Goal: 產(chǎn)品的每一個模塊，均能提供專業(yè)水準(zhǔn)的測試為項(xiàng)目管理部門，市場需求分析，提供專業(yè)的知識儲備為下一代產(chǎn)品研發(fā)儲備技術(shù)與人才機(jī)卡兼容性，基本通信，SMS, MMS, Videocall, Call log, Browser, Streaming, DC/DV,

3、 WLAN, Accessories, PCTools,Major APP, Performance, Contact, Settings, Tools, Sync, FileManager, Input method, Email, 并發(fā)測試，Security, UserExperience等等。Example例如，“機(jī)卡兼容性”模塊的測試范疇包括：（1）手機(jī)是否兼容主流智能卡提供商：東信和平/大唐微電子/雅思拓/歐貝特/捷德/北京握奇/上?？滤?武漢天喻/楚天龍/北京華虹/恒寶 （2）是否兼容不同接入技術(shù)的智能卡類型：USIM/SIM/UIM，對應(yīng)的3GPP/ISO標(biāo)準(zhǔn)，國標(biāo)。（3）是否兼

4、容不同容量的各種卡；（4）雙卡雙待，雙卡單待等方案上的常見實(shí)現(xiàn)；（5）CS/PS鑒權(quán)，LAU，PB，SMS, STK, etc，模塊負(fù)責(zé)人需掌握且跟蹤上述技術(shù)的發(fā)展，設(shè)計并維護(hù)測試案例庫，搭建測試環(huán)境，搜集測試資源；模塊負(fù)責(zé)人需根據(jù)當(dāng)前測試項(xiàng)目經(jīng)理的總體測試計劃，提出當(dāng)前模塊的細(xì)化測試策略，整理和提交測試案例，模塊負(fù)責(zé)人要提交高水準(zhǔn)的當(dāng)前模塊的測試結(jié)果和風(fēng)險分析報告；模塊負(fù)責(zé)人最好要有AB備份角色，以及培養(yǎng)初級工程ExampleSMS：MT/MO, 70/160 characters SMS, long SMS, Multi-lang support, IOT，SMS via CS/PS，SM

5、S via FACCH/SDCCH, Inbox full limitation.etcMMS: MT/MO, SMIL， multi-media supporting, MMS-email, CMCC-CHUN，IOT，MMS via CS/PS-2G/3G/4G, MMS 300K，MMS/WAP/HTTP, Inbox full limitation.etcVideo Call: VT一致性測試，H.245特殊指令，H.263,MPEG4等，IOT，VT回退，VT SS如CFU,CFNRy等，VT H.263MPEG4, VT局間/局內(nèi)，VT常規(guī)畫中畫等，VT DTMF，VT voice

6、mail，VT性能如時延畫質(zhì)音質(zhì)幀率等.etcCall Log: within/without Contact, logo, full call log, change SIM/UIM/USIM, .etcBrowser: HTTP1.1, WML1.3, WAP2.0，HTML, pic/video support, JavaScript, CSS/WCSS, cookies, UAProf, TSL, SSL, PUSH, OMA, 并發(fā)事件，UI, bookmark, search.etcStreaming: RTSP, SDP, 點(diǎn)播/直播，events, audio/ AMR-WB/

7、NB, audio/AMR-NB、audio/3gpp 、video/H263/3gpp MIME/MP4A-LATM/H264 MIME, 不同網(wǎng)絡(luò)端QoS配置速率下的時延，音視頻質(zhì)量, etcSecurity: PIN, PUK, Lock, DM(OMA), YDT工信部YDT2047/2048的安全能力技術(shù)要求與測試辦法；WIFI: 802.11/b/g/n/a etc, WEB/WPA/WAP2/AES., WAPI, IOT, WLAN RF, AP, UI, 性能，events, .etcAccessories：Radio, headset, handfree, charger,

8、 BT, Udisk, ., etc外場測試團(tuán)隊(duì)外場測試范疇外場測試范疇基本性能：各種SINR、RSRP條件下的地點(diǎn)的開機(jī)附著成功率、附著時延、動態(tài)接入成功率穩(wěn)定性測試：Ping不同大小的數(shù)據(jù)包的成功率和時延，弱覆蓋靜態(tài)長保測試，動態(tài)長保穩(wěn)定性（上傳、下載，上傳下載并發(fā)）吞吐量測試：各個頻段（F,D,E,A等）上行/下行的峰值速率、平均速率、峰值速率-WIFI連接雙卡雙待終端測試：開機(jī)選網(wǎng)測試，待機(jī)自動網(wǎng)絡(luò)選擇測試，雙待并發(fā)性能測試，雙待并發(fā)長保測試，分組域模式轉(zhuǎn)換并發(fā)測試，TDD/FDD同覆蓋情況下，終端的選網(wǎng)功能測試外場測試的人員配置外場測試的人員配置具備在3-5個城市同時開展外場測試，每

9、個城市2個人：國內(nèi)城市：BJ,GZ, SZ, SH, HZ, NJ, TJ, SY, etc，國際漫游：HK Roaming。測試環(huán)境：密集城區(qū)/郊區(qū)，高低速等，頻率覆蓋：五模十三頻；覆蓋系統(tǒng)設(shè)備商：愛立信，諾西，華為，中興，大唐等；外場測試工程師必須熟悉3GPP/3GPP2通信協(xié)議，能分析關(guān)鍵信令流程并初步定位問題；外場測試工程師能直接與芯片廠家的研發(fā)人員和FAE討論外場測試遇到的各種問題，推進(jìn)平臺通信版本成熟；Goal確保產(chǎn)品的移動通信性能和穩(wěn)定性；確保相同芯片情況下，通信質(zhì)量優(yōu)于競爭對手在技術(shù)與項(xiàng)目的層面，確保與芯片平臺良好的互利合作關(guān)系Example硬件結(jié)構(gòu)測試團(tuán)隊(duì)硬件結(jié)構(gòu)測試的范疇硬

10、件結(jié)構(gòu)測試的范疇RF一致性：RRM, 協(xié)議一致性等EMC機(jī)卡接口音頻OTA，OTA互干擾GPS， AGPSBTWIFI硬件和結(jié)構(gòu)件可靠性：定向跌落/微跌落/自由跌落/低溫使用/高溫使用/高濕使用/溫度沖擊/粉塵測試/數(shù)據(jù)線插拔壽命/耳機(jī)插拔壽命/屏幕壽命測試（僅針對電阻觸摸屏終端）/靜電/通話狀態(tài)的表面溫升/使用娛樂功能時的表面溫升/電池容量人員配置人員配置RF/一致性/EMC/音頻：至少各配備一名高級測試工程師，GPS&BT&WLAN和HWME可靠性各至少配置一名測試工程師。測試工程師人選建議從硬件或者結(jié)構(gòu)設(shè)計工程師中選拔需要非常熟悉行業(yè)規(guī)范和測試規(guī)范，善于與測試實(shí)驗(yàn)室溝通對

11、于測試頻繁的項(xiàng)目，籌建實(shí)驗(yàn)室；對于采購金額巨大的測試項(xiàng)目，采用合作第三方實(shí)驗(yàn)室。對于OTA, RF等測試費(fèi)用較高的項(xiàng)目，可與HW等部門聯(lián)合，甚至是借用芯片平臺商的實(shí)驗(yàn)室，在研發(fā)階段進(jìn)行驗(yàn)證測試；Goal:確保產(chǎn)品的硬件性能確保產(chǎn)品的可靠性確保認(rèn)證送測的產(chǎn)品能一次通過測試開發(fā)團(tuán)隊(duì)測試開發(fā)的范疇測試開發(fā)的范疇 Test tools dev Open Source Test tools customization White-box Test MTBF APP auto test人員配置人員配置Android自動化測試開發(fā)人員若干：非常熟悉android自帶測試框架，熟悉常用的開源測試框架和工具，根

12、據(jù)測試的需求，在項(xiàng)目初期逐步建立測試框架；配合系統(tǒng)測試團(tuán)隊(duì)，在項(xiàng)目周期內(nèi)逐步提升自動化測試覆蓋率；開展MTBF測試，實(shí)現(xiàn)軟件可靠性測試；自研有全代碼的APP的日常自動化測試；白盒測試測試人員若干：非常強(qiáng)的邏輯分析能力和堅(jiān)定的軟件測試?yán)砟?，可與開發(fā)人員一起制定白盒測試計劃并執(zhí)行；根據(jù)各個模塊的復(fù)雜程度/問題多少/風(fēng)險高低，針對模塊開展白盒測試；測試工具開發(fā)：可修改平臺測試工具以便更加好的用于性能測試可修改平臺工具以便用于一致性測試；Goal用技術(shù)的手段，提供可靠的工具確保分層測試的實(shí)施，確保系統(tǒng)測試的深度；針對高風(fēng)險多問題的模塊開展白盒測試，與開發(fā)部門無縫配合；提供實(shí)用易用的測試工具；認(rèn)證測試團(tuán)

13、隊(duì)認(rèn)證測試的范疇認(rèn)證測試的范疇 Pre-CTA, Pre-FTA 3C, Type approval Operator test CTA/GCF PTCRB Google CTS MS driver人員配置人員配置CTA/3C等強(qiáng)制認(rèn)證配備至少1人，每個運(yùn)營商配備最少2人，海外市場所需的GCF/PTCRB至少配備1人，GoogleCTS可由測試開發(fā)團(tuán)隊(duì)兼任熟悉行業(yè)的各種強(qiáng)制認(rèn)證，熟悉各個通信標(biāo)準(zhǔn)規(guī)范，熟悉關(guān)鍵測試規(guī)范，比如3GPP51.系列。熟悉各個國家和地區(qū)的強(qiáng)制認(rèn)證，熟悉各大運(yùn)營商的產(chǎn)品技術(shù)規(guī)范和入庫驗(yàn)收測試；建立與各個認(rèn)證測試實(shí)驗(yàn)室之間的聯(lián)系，了解各項(xiàng)測試的流程和費(fèi)用；Goal:確保產(chǎn)品

14、上市前獲得所需的認(rèn)證確保產(chǎn)品達(dá)到各大運(yùn)營商的要求確保產(chǎn)品可進(jìn)入各個不同國家和地區(qū)測試支撐團(tuán)隊(duì)測試支撐的范疇測試支撐的范疇測試系統(tǒng)系統(tǒng)支撐和流程優(yōu)化：建立和維護(hù)各種bug跟蹤系統(tǒng)，滿足自研，外包等不同密等級的項(xiàng)目需求；建立測試所需的IT系統(tǒng)，包括各種測試服務(wù)器群；采購各種測試資源器材，建立和管理測試實(shí)驗(yàn)室；配合公司內(nèi)部質(zhì)量部門/QA等的審查和流程改進(jìn)；對外公共關(guān)系維護(hù)：建立與運(yùn)營商，比如中國移動終端公司的質(zhì)量部和測試中心等；加強(qiáng)與泰爾實(shí)驗(yàn)室等關(guān)鍵政府監(jiān)督部門的聯(lián)系；加強(qiáng)與芯片廠家FAE的定期溝通和交流；公司內(nèi)測試服務(wù)支撐，如市場、售前、售后：對新產(chǎn)品，整理培訓(xùn)資料給各地的售前；參與下一階段的產(chǎn)品

15、規(guī)劃和解讀，搜集已上市/在研的競爭品牌的產(chǎn)品進(jìn)行研究，以便在測試過程中提供參考對比數(shù)據(jù)；已知對內(nèi)問題發(fā)布，以便售后400熱線應(yīng)對；售后疑難雜癥的反饋，通過外部bug管理系統(tǒng)提交，人員配置人員配置測試系統(tǒng)支撐人員：測試需建立在一定的資源之上，測試支撐的IT系統(tǒng)和實(shí)驗(yàn)室資源是必不可少，可根據(jù)團(tuán)隊(duì)自身定位和公司發(fā)展需求逐步建立，一般50人的自研測試團(tuán)隊(duì)規(guī)模，可配置2-3名測試系統(tǒng)支撐人員；對外公共關(guān)系維護(hù)人員可由測試部門的其他團(tuán)隊(duì)的成員適當(dāng)兼任，但一定要注意盡量減少人員流動性；公司內(nèi)部測試服務(wù)支撐人員：固定的AB角色，可由其他測試的同事兼任。Goal:對測試團(tuán)隊(duì)內(nèi)部提供良好的支撐對公司內(nèi)部提供良好的

16、測試延伸服務(wù)對外維護(hù)好良好的測試關(guān)系；測試團(tuán)隊(duì)的編制建立自身的核心測試團(tuán)隊(duì)建立自身的核心測試團(tuán)隊(duì)覆蓋整機(jī)的核心測試團(tuán)隊(duì)規(guī)模要求有30-40人，且只能是自身組織的雇員，不能外包。團(tuán)隊(duì)成員的專業(yè)背景除了包括計算機(jī)，通信，機(jī)械自動化，還應(yīng)適當(dāng)招聘少量的外語、心理學(xué)、統(tǒng)計學(xué)、經(jīng)濟(jì)類的畢業(yè)生，以補(bǔ)充測試的視野和角度。測試團(tuán)隊(duì)上的投入不足，會直接導(dǎo)致所有項(xiàng)目有隱患。輔以外包團(tuán)隊(duì)作為補(bǔ)充輔以外包團(tuán)隊(duì)作為補(bǔ)充多項(xiàng)目并行人力資源緊張時，可將重復(fù)性/易操作/不依賴測試環(huán)境的部分測試任務(wù)外包，如回歸測試，成熟外場；外包團(tuán)隊(duì)的成員必須經(jīng)過面試，外包團(tuán)隊(duì)的測試內(nèi)容、測試流程、測試管理必須與內(nèi)部一致；優(yōu)秀的外包團(tuán)隊(duì)成員可

17、直接招聘作為人員補(bǔ)充 測試團(tuán)隊(duì)架構(gòu) 測試流程測試流程 團(tuán)隊(duì)管理測試流程 粗略描述如下： 需求階段-需求測試 開發(fā)階段-開發(fā)測試案例，制定測試策略，評審測試方案，搭建測試環(huán)境，籌備硬件/結(jié)構(gòu)測試，自動化測試框架搭建 版本集成-系統(tǒng)測試/硬件關(guān)鍵指標(biāo)測試.回歸測試/Pre-CTA/Pre-GCF/本地FT.提高自動化測試率降低人力投入度抽取核心人力到下一個項(xiàng)目， 開展外場測試，認(rèn)證測試，運(yùn)營商測試， 開展量產(chǎn)版本全面測試 項(xiàng)目維護(hù)期的問題反饋 經(jīng)驗(yàn)積累到下一個新項(xiàng)目測試流程管理 組織CCB：Change Control Board 變更控制委員會 由當(dāng)前項(xiàng)目的TEST/SW/HW/ME的leader+PM組成，每天review數(shù)據(jù)庫中的bug，確保所有的軟硬件結(jié)構(gòu)改動均經(jīng)過評審； CCB僅對當(dāng)前項(xiàng)目負(fù)責(zé)。 流程管理系統(tǒng)： 內(nèi)部/外部各配置一套完整的bug跟蹤管理系統(tǒng) 確保所有相關(guān)人員遵守流程紀(jì)律 采用高擴(kuò)展性和穩(wěn)定的商用流程管理系統(tǒng)，如IBM CQ等； 測試團(tuán)隊(duì)架構(gòu) 測試流程 團(tuán)隊(duì)管理團(tuán)隊(duì)管理團(tuán)隊(duì)管理心得專業(yè)：定期提升專業(yè)技術(shù)水準(zhǔn)的培訓(xùn)和學(xué)習(xí)機(jī)制；每