T-UWA 027-2024 超高清顯示器全局手勢控制技術(shù)規(guī)范

ICS：33.200CCS：M54Technicalspecificationforglobalgesture-controlofultra-highdefinitiondisplaysIT/UWA027-2024 2規(guī)范性引用文件 3術(shù)語和定義 4縮略語 25技術(shù)要求 35.1手勢控制種類 35.2手勢控制響應(yīng)時間 35.3主控手勢的識別 35.4手勢控制準確率 35.5最大手勢控制距離 35.6最大手勢控制角度 36測試方法 36.1測試環(huán)境 36.2測試裝置 36.3測試準備條件 46.4手勢控制種類 56.5手勢控制響應(yīng)時間 56.6主控手勢的識別 56.7手勢控制準確率 56.8最大手勢控制距離 66.9最大手勢控制角度 6 8 9IIT/UWA027-2024本文件按照GB/T1.1—2020《標準化工作導(dǎo)則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》給出的規(guī)則起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔識別這些專利的責(zé)任。本文件由世界超高清視頻產(chǎn)業(yè)聯(lián)盟提出并歸口。本文件主要起草單位：海信視像科技股份有限公司、廣播電視總臺、康佳集團股份有限公司、創(chuàng)維集團有限公司、中國電子技術(shù)標準化研究院、北京愛奇藝科技有限公司、聚好看科技股份有限公司、騰訊科技（深圳）有限公司、四川長虹電器股份有限公司、咪咕文化科技有限公司、TCL華星光電技術(shù)有限公司、華為技術(shù)有限公司、四川新視創(chuàng)偉超高清科技有限公司、深圳市奧拓電子股份有限公司、西安諾瓦星云科技股份有限公司、紫光展銳（上海）科技有限公司、北京數(shù)字電視國家工程實驗室有限公司。本文件主要起草人：祝欣培、張宏偉、高潔、劉露、陳益軍、王之奎、李巖、趙家宇、徐遙令、王之航、趙曉鶯、王維、張博、于曉鳳、劉中康、吳志栩、史青、畢蕾、張麗娟、黃衛(wèi)東、馮艷麗、陳珊、楊友慶、鄒雙澤、宋小民、楊帆、畢李蓉、黃學(xué)潤、王利強、段瑞昌、張博、李思遠、陳俊源IIIT/UWA027-2024本文件的發(fā)布機構(gòu)提請注意，聲明符合本文件時，可能涉及到如下4項與全局手勢控制相關(guān)的專利的使用。專利列表如下：序號章條編號專利號專利名稱專利權(quán)利人16.2/6.4202110179848.5顯示設(shè)備及手勢控制方法海信視像科技股份有限公司25.3202110622075.3一種手勢識別方法及裝置海信視像科技股份有限公司3201210561053.1一種基于智能電視的雙手手勢交互操作處理方法及系統(tǒng)康佳集團股份有限公司本文件的發(fā)布機構(gòu)對于該專利的真實性、有效性和范圍無任何立場。該專利持有人已向本文件的發(fā)布機構(gòu)承諾，他愿意同任何申請人在合理無歧視的條款和條件下，就專利授權(quán)許可進行談判。該專利持有人的聲明已在本文件的發(fā)布機構(gòu)備案。專利權(quán)人或?qū)＠暾埲送庠诠?、合理、無歧視基礎(chǔ)上，有償許可任何組織或者個人在實施該中關(guān)村標準時實施專利。相關(guān)信息可以通過以下聯(lián)系方式獲得：聯(lián)系人：張宏偉通訊地址：山東省青島市嶗山區(qū)松嶺路399號海信研發(fā)中心郵政編碼：266100電子郵箱：zhanghongwei13@電話系人：王青輝通訊地址：廣東省深圳市南山區(qū)科技南十二路28號康佳研發(fā)大廈郵政編碼：518057電子郵箱：wangqinghui@電話注意除上述專利外，本文件的某些內(nèi)容仍可能涉及專利。本文件的發(fā)布機構(gòu)不承擔識別專利的責(zé)任。1T/UWA027-2024超高清顯示器全局手勢控制技術(shù)規(guī)范本文件規(guī)定了超高清顯示器中全局手勢控制的技術(shù)要求和測試方法。本文件適用于超高清顯示器全局手勢控制技術(shù)的研發(fā)和測試等。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應(yīng)的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。SJ/T11737-2019智能電視基于2D攝像頭手勢識別技術(shù)要求及測量方法3術(shù)語和定義SJ/T11737-2019界定的以及下列術(shù)語和定義適用于本文件。3.1超高清顯示器ultrahighdefinitiondisplay分辨率≥3840×2160的顯示設(shè)備。注：顯示設(shè)備包含但不限于電視、PC顯示器、商用顯示、LED會議一體機、LED家庭影3.2手勢gesture由用戶特定的手部姿勢或手部的連續(xù)運動形成的一個動作。[來源：SJ/T11737-2019，定義3.1，有修改]3.3手勢識別gesturerecognition采用不同傳感器作為圖像采集設(shè)備，通過對采集的圖像進行分析，識別出用戶的手勢、動作等。[來源：SJ/T11737-2019，定義3.2，有修改]3.4全局手勢控制globalgesture-control在全局場景下，用戶不借助其他輔助設(shè)備，只通過光線傳感器捕捉用戶手部指令，并將手勢控制指令轉(zhuǎn)化為顯示設(shè)備執(zhí)行具體操作（如打開指定應(yīng)用、靜音、暫停、關(guān)機、左右翻頁等）的功能。不被占用，用戶在任何場景（場景包括但不限于：用戶觀看網(wǎng)絡(luò)媒資、使用USB播放本地片源、使用HDMI連接游戲機玩游戲等）下都可以通過特定的靜態(tài)手勢（如伸出五指）或動態(tài)手勢（如伸出食指左右移動、揮2T/UWA027-2024圖1全局手勢控制功能示意圖3.5手勢控制響應(yīng)時間gesture-controlresponsetime從用戶展示出手勢開始，到用戶得到顯示設(shè)備控制的反饋的時間。3.6有效手勢effectivegesture用戶做出手勢的角度、姿態(tài)符合本文件的要求，能夠被顯示設(shè)備識別的手勢。3.7主控手勢mastergesture當有多個有效手勢展示在超高清顯示器前時，顯示器能夠響應(yīng)并反饋控制的手勢。3.8手勢控制距離gesture-controldistance手勢距離顯示器屏幕中心一定范圍內(nèi)，手勢控制不失效的距離。3.9手勢控制角度gesture-controlanglerange以垂直于顯示器屏幕中心點為軸，平行于地面向左與向右的角度（水平角度）內(nèi)與垂直于地面向上向下的角度（垂直角度）內(nèi)，手勢控制不失效的角度，如圖2所示。圖2手勢控制角度范圍示意圖4縮略語3T/UWA027-2024下列縮略語適用于本文件。UI：用戶界面（UserInterface）3D-TOF：三維飛行時間（3DimensionsTimeofFlight）5技術(shù)要求5.1手勢控制種類手勢控制應(yīng)識別3種及以上不同的手勢種類，手勢控制種類示例見附錄B.1。5.2手勢控制響應(yīng)時間手勢控制響應(yīng)時間應(yīng)≤2.0s。5.3主控手勢的識別出現(xiàn)多個有效手勢時，顯示器應(yīng)響應(yīng)優(yōu)先級最高的手勢作為主控手勢。注：優(yōu)先級：依據(jù)不同方法，從多個有效手范的手勢作為主控手勢；2）選擇最靠近傳5.4手勢控制準確率手勢控制準確率應(yīng)≥90%。5.5最大手勢控制距離手勢控制距離應(yīng)≥3m。5.6最大手勢控制角度手勢控制水平角度應(yīng)≥60°,垂直角度應(yīng)≥30°。6測試方法6.1測試環(huán)境初始環(huán)境應(yīng)滿足下列要求：1、環(huán)境光強為200lx-250lx，環(huán)境光分布均勻，沒有強烈的背光光源照射；2、測試空間場地范圍應(yīng)大于5m×5m；3、測量裝置的輸入輸出設(shè)備在環(huán)境中無遮擋物。6.2測試裝置測試裝置應(yīng)滿足以下要求：1、超高清顯示器（應(yīng)符合附錄A要求）：應(yīng)安裝全局手勢控制應(yīng)用程序、傳感器預(yù)覽應(yīng)用程序，且自帶或外接傳感器；1）傳感器：包括但不限于2D攝像頭、紅外攝像頭等可以捕捉用戶手部信息特征的設(shè)備；2）全局手勢控制應(yīng)用程序：應(yīng)對用戶的手勢進行識別并在UI中反饋控制結(jié)果；3）傳感器預(yù)覽應(yīng)用程序：應(yīng)能預(yù)覽傳感器捕捉的畫面，用于對傳感器進行位置標定；2、米尺，量程≥3m，分度值0.01m；4、秒表，分度值0.01秒；5、攝像機；4T/UWA027-20246、電腦。6.3測試準備條件測試系統(tǒng)應(yīng)按圖3所示進行設(shè)置。被測超高清顯示器應(yīng)放置于屏幕中心距離地面1.2m-1.5m高度處。若超高清顯示器沒有自帶傳感器，則將傳感器連接超高清顯示器。打開傳感器預(yù)覽應(yīng)用程序，將米尺置于地上，其0處置于超高清顯示器中心軸的位置，并沿垂直于顯示器屏幕的方向向遠處拉伸到3m處。一名測試者站垂直于顯示器屏幕中心的方向1.5m-3m處保持不動，另一名測試者并調(diào)整傳感器上下和左右角度并觀察預(yù)覽畫面，直至達到以下要求：-在預(yù)覽畫面中能夠看到測試者在1.5m-3m處擺出的手勢；-在預(yù)覽畫面中1.5m-3m處的測試者在畫面的正中心；-預(yù)覽畫面中的地平線與實際地面水平。11.2-1.5m21.5-3m3標引序號說明：1——傳感器；2——顯示器；3——米尺；4——起始位置；5——手勢控制種類、響應(yīng)時間、主控手勢識別和準確率測試位置；6——最大手勢控制距離測試位置。圖3測試系統(tǒng)布局示意圖5T/UWA027-20246.4手勢控制種類測試步驟：（a）開啟超高清顯示器并打開全局手勢控制應(yīng)用程序；（b）測試者站在手勢控制可識別角度范圍內(nèi)，距離超高清顯示器屏幕中心1.5m-3m之間，展示不同的有效手勢；（c）觀察超高清顯示器能否對不同的手勢做出正確響應(yīng)，記錄能獲得正確響應(yīng)的手勢種類。6.5手勢控制響應(yīng)時間測試步驟：（a）開啟超高清顯示器并打開全局手勢控制應(yīng)用程序；（b）將攝像機連接電腦，預(yù)覽攝像機的拍攝畫面，確保測試者手部和超高清電視器屏幕都能被拍攝到并開始拍攝；（c）測試者站在手勢控制可識別角度范圍內(nèi)，距離超高清顯示器屏幕中心1.5m-3m之間，展示不同的有效手勢，重復(fù)測試次數(shù)≥20次；（d）查看錄制的視頻，記錄從測試者展示出完整手勢開始的視頻時間為T1，記錄超高清顯示器UI產(chǎn)生手勢控制響應(yīng)的視頻時間為T2；（e）測試者計算單次手勢控制響應(yīng)時間公式見公式（1），測試次數(shù)≥20次，求平均值為響應(yīng)時T=T2一T1…………………(1)式中：T：手勢控制響應(yīng)時間；T2：超高清顯示器UI產(chǎn)生手勢控制響應(yīng)的視頻時間；T1：測試者展示出完整手勢開始的視頻時間。6.6主控手勢的識別測試步驟：（a）開啟超高清顯示器并打開全局手勢控制應(yīng)用程序；（b）多位測試者站在手勢控制可識別角度范圍內(nèi)，距離超高清顯示器屏幕中心1.5m-3m之間，展示2-3種不同的有效手勢；（c）觀察超高清顯示器UI是否響應(yīng)其中一種手勢。6.7手勢控制準確率測試步驟：（a）開啟超高清顯示器并打開全局手勢控制應(yīng)用程序；（b）多位測試者站在手勢控制可識別角度范圍內(nèi)，且距離超高清顯示器屏幕中心1.5m-3m之間，展示不同的手勢，手勢的角度、姿態(tài)應(yīng)符合本文件的要求；（c）觀察全局手勢控制應(yīng)用程序中UI反饋的結(jié)果，如果出現(xiàn)不反饋或反饋錯誤的情況，記錄為錯誤；（d）測試者進行N次重復(fù)測試（N≥20），記錄錯誤的次數(shù)為Ne，手勢控制準確率的計算公式見公式（2）?！?00%…………式中：P：手勢控制準確率；6T/UWA027-2024?：測試者進行重復(fù)測試的總次數(shù)；??：測試者進行重復(fù)測試中手勢識別不反饋或反饋錯誤的次數(shù)。6.8最大手勢控制距離測試步驟：（a）開啟超高清顯示器并打開全局手勢控制應(yīng)用程序；（b）將米尺置于地上，其0處置于超高清顯示器的位置，并沿垂直于顯示器屏幕的方向向遠處拉伸到≥3m，記錄3m外某點為A點；（c）測試者站在A點，持續(xù)保持特定手勢，手勢的角度、姿態(tài)應(yīng)符合本文件的要求，并從A點開始緩慢朝向傳感器移動；（d）觀察全局手勢控制應(yīng)用程序的UI能否反饋手勢對應(yīng)的控制，記錄能反饋到手勢的最遠位置，測量手勢與顯示器屏幕中心的距離為最大手勢控制距離。6.9最大手勢控制角度測試步驟：（a）開啟超高清顯示器并打開全局手勢控制應(yīng)用程序；（b）如圖4所示，將量角器固定于顯示器屏幕中心處，水平于地面放置；（c）測試者始終與超高清顯示器中心保持固定距離（1.5m-3m）。從垂直于顯示屏中心位置處，緩慢向左移動，觀察全局手勢控制應(yīng)用程序的UI能否反饋手勢對應(yīng)的控制，記錄能反饋到手勢的左側(cè)最遠位置A；（d）測試者始終與超高清顯示器中心保持固定距離（1.5m-3m）。從垂直于顯示屏中心位置處，緩慢向右移動，觀察全局手勢控制應(yīng)用程序的UI能否反饋手勢對應(yīng)的控制，記錄能反饋到手勢的右側(cè)最遠位置B；（e）測量A到B的角度為最大手勢控制水平角度；（f）如圖5所示，將量角器固定于顯示器屏幕中心處，垂直于地面放置；（g）測試者始終與超高清顯示器中心保持固定距離（1.5m-3m），從垂直于顯示屏中心位置處，緩慢向下移動，觀察全局手勢控制應(yīng)用程序的UI能否反饋手勢對應(yīng)的控制，記錄能反饋到手勢的下側(cè)最遠位置A；（h）測試者始終與超高清顯示器中心保持固定距離（1.5m-3m），從垂直于顯示屏中心位置處，緩慢向上移動，觀察全局手勢控制應(yīng)用程序的UI能否反饋手勢對應(yīng)的控制，記錄能反饋到手勢的上側(cè)最遠位置B；（i）測量A到B的角度為最大手勢控制垂直角度。圖4手勢控制水平角度范圍測試方法示意圖7T/UWA027-2024圖5手勢控制垂直角度范圍測試方法示意圖8T/UWA027-2024附錄A（規(guī)范性附錄）超高清顯示器軟硬件建議配置A.1硬件要求A.1.1一般要求顯示設(shè)備或傳感器應(yīng)具備基礎(chǔ)算力，使軟件運行于包括但不限于CPU、AI加速器等處理器中。A.1.22D攝像頭分辨率：640×480及以上。圖像格式：NV21/NV12/RGB等。視場角60°。幀率：≥25fps。A.1.33D-TOF攝像頭分辨率：80×80及以上。視場角25°。幀率20fps。A.1.4紅外攝像頭分辨率：640×480及以上。視場角：＞60°。幀率：≥25fps。A.2軟件要求集成傳感器驅(qū)動模塊。集成手勢控制算法應(yīng)用程序模塊。9T/UWA027-2024附錄B（資料性附錄）超高清顯示器全局