人機交互顯示KINECT課件

人機交互顯示技術(shù)-Kinect原理與應(yīng)用報告人：彭偉金組員：

夏銳文潘國豪目錄什么是KinectKinect使用原理Kinect的應(yīng)用前言-體感游戲KinectforXbox360，簡稱Kinect，是由微軟開發(fā)，應(yīng)用于Xbox360主機的周邊設(shè)備。它讓玩家不需要手持或踩踏控制器，而是使用語音指令或手勢來操作Xbox360的系統(tǒng)界面。它也能捕捉玩家全身上下的動作，用身體來進行游戲，帶給玩家“免控制器的游戲與娛樂體驗”。第一代kinect2010年11月4日于美國上市，建議售價為149美金。什么是Kinect？Kinect的構(gòu)造1.麥克風(fēng)陣列：聲音從4個麥克風(fēng)采集，同時通過，過濾背景噪聲，可以定位聲源2.紅外投影機：主動投射近紅外光譜，照射到粗糙物體，或是穿透毛玻璃后，光譜發(fā)生扭曲，會形成隨機的反射斑點（稱為散斑），進而能被紅外攝像頭讀取。3.紅外攝像頭：分析紅外光譜，創(chuàng)建可視范圍的人體，物體的深度圖像4.仰角控制馬達：可編程控制仰角的馬達，用于獲得最佳視角5.彩色攝像頭：用于拍攝視角范圍內(nèi)的彩色視頻圖像Kinect的關(guān)鍵部位及組成附：美國材料檢測協(xié)會（ASTM）將近紅外光譜區(qū)定義為780-2526nm的區(qū)域Kinect處理信息流程Kinect核心—PS1080Figure2-9.PrimeSensePS1080systemonchip(imagecourtesyofPrimeSense)Kinect的“心臟”是PrimeSense的PS1080系統(tǒng)級芯片（SoC）。PS1080SoC擁有超強的并行計算邏輯，可控制近紅外光源，進行圖像編碼并主動投射近紅外光譜。同時，通過一個標準的CMOS圖像傳感器接收投影的LightCoding?紅外光譜并且將編碼后的反射斑點圖像傳輸給PS1080，PS1080對此進行處理并生成深度圖像。四元線性麥克風(fēng)陣列技術(shù)KinectforXbox360視野范圍等高線的啟發(fā)把地圖上海拔高度相等的點連成閉合曲線，垂直投影到一個標準面上，并按比例的縮小在圖紙上，就可以得到等高線。另外用一個色分辨度代表一米的高度，可以表達更為精細的距離變化，就可以得到彩色的地形圖深度圖像的獲取Kinect系統(tǒng)有點不同。而不是投射可見光條紋，Kinect的IR投影儀發(fā)出紅外光束的圖案（通過PrimeSense稱為IR編碼圖像），其在物體上反射，并由標準CMOS圖像傳感器捕獲。FigureKinnectIRcodingimage(detail)深度圖像的獲取這個捕獲的圖像傳遞到板載PrimeSense芯片，以轉(zhuǎn)換為深度圖像Figure2-8.Depthmap(left)reconstitutedfromthelightcodinginfraredpattern(right)下圖所示是借鑒彩色等高線圖繪制的Kinect深度圖像，距離由遠而近漸變的效果使得圖像更有層次感。Kinect所采用的紅外攝像頭基于飛行時間（TimeofFlight簡稱ToF）原理的攝像頭，它通過測量光脈沖之間的傳輸延遲時間來計算深度信息。結(jié)構(gòu)光測量，基于光編碼，投射已知的紅外模式到場景中，通過另外一個紅外CMOS成像器所捕獲到的該模式的變形，從而最終來確定深度信息的攝像頭SR4500（from：SwissRanger）深度圖像成像原理Kinect有發(fā)射、捕捉、計算視覺重現(xiàn)的類似過程。嚴格說來，Kinect的“深度眼睛”是由一個紅外投影機和紅外攝像頭組合而成的，投影和接收互為重疊圖：Kinect紅外攝像頭視角結(jié)構(gòu)光測量技術(shù)結(jié)構(gòu)光是指具有特定模式的光，其模式圖案可以是點，線，面等。結(jié)構(gòu)光掃描法是首先將結(jié)構(gòu)光投射到物體表面，再用攝像機接收該物體表面反射的結(jié)構(gòu)光圖案，再根據(jù)接受到圖案的形變程度來計算表面的空間信息。圖：pinpointimpression上面密密麻麻的為類似大頭針一樣的東西，不過兩端都是圓頭的LightCording技術(shù)利用光源照明給需要的空間編上碼其光源稱為“激光散斑”——激光照射到粗糙物體或毛玻璃后隨機形成的衍射斑點，具有高度的隨機性，而且會隨距離的不同而變換圖案。只要在空間中打上這樣結(jié)構(gòu)的光，整個空間就全部被標記LightCording技術(shù)技術(shù)對比1）和傳統(tǒng)的TOF、結(jié)構(gòu)光的光源不同，使用“LightCoding”技術(shù)的PrimeSense的PS1080系統(tǒng)級芯片負責(zé)對紅外光源進行控制，投射出具有三維縱深的“立體編碼”。2）不需要特制的感光芯片，只需要普通的CMOS感光芯片。3）LightCoding技術(shù)不是通過空間幾何關(guān)系求解的，它的測量精度只和標定時取的參考面的密度有關(guān)，參考面越密測量越精確。從人體部位識別關(guān)節(jié)從圖中可以看出，人體的關(guān)節(jié)連著軀干，四肢，頭顱等，包括指關(guān)節(jié)，腕關(guān)節(jié)，手肘關(guān)節(jié)，膝關(guān)節(jié)，髖關(guān)節(jié)，肩關(guān)節(jié)，胸鎖關(guān)節(jié)，下頜關(guān)節(jié)，趾關(guān)節(jié)。Kinect主要是根據(jù)找到這些關(guān)節(jié)進行人體骨骼進行識別?？紤]到人體部位的重疊，分別從正面、側(cè)面、復(fù)試角度去分析、機器學(xué)習(xí)，根據(jù)每一個可能的像素來確定關(guān)節(jié)點。Kinect骨骼跟蹤的機器學(xué)習(xí)技術(shù)Kinect通過紅外攝像頭看到三維世界后，將這部分深度數(shù)據(jù)傳輸給“Kinect大腦”去處理，接著深度圖像的每一個像素都會被進行分析評估，其特征變量會被分類，在一個為“隨機決策庫”里面進行搜索。同一個人、同一支手的不同深度圖Kinect的“學(xué)習(xí)過程”機器學(xué)習(xí)需要大量的輸入數(shù)據(jù)，故需要不同身高、體型、著裝、膚色、文化背景的志愿者參與進來，提供了大量的訓(xùn)練數(shù)據(jù)給微軟后續(xù)計算和提煉。圖3-43基本特點人群的建模左圖為KinectLab里處理訓(xùn)練照片的服務(wù)器群。右圖就是用來訓(xùn)練和測試Exemplar的數(shù)據(jù)之一微軟GameStudio開發(fā)這一套人工智能被稱為Exemplar（模型）系統(tǒng)。數(shù)以TB計的數(shù)據(jù)被輸入到集群系統(tǒng)中，Kinect以像素級的“眼光”來辨認手、腳以及它看到的其他身體部位。數(shù)TB的數(shù)據(jù)Kinect的“決策樹”圖：機器學(xué)習(xí)”產(chǎn)出的“決策樹”大量經(jīng)過分析結(jié)果被編排成能夠迅速決策識別人體各部位的樹狀圖，如右圖所示。一旦樹狀圖構(gòu)建完畢，便可以根據(jù)Kinect采集到的深度數(shù)據(jù)進行像素掃描，從而識別出32組人體部位。我們能利用Kinect制作什么?利用單片機制作能模仿你動作的安卓機器人Figure.Drawingrobotinaction參考資料Kinect的開發(fā)與實戰(zhàn).余濤Human–ComputerInteraction.AlanDixBeginning-Kinect-Programming-with-the-Microsoft-Kinect-sdk近紅外光譜分析技術(shù)在奶制品檢測中的應(yīng)用.彭攀KinectDepthSensorEvaluationforComputerVisionApplicationsKinectforWindowsSDKProgrammingGuide開放的自然交互學(xué)習(xí)網(wǎng)址（HTTP：///）推薦讀物附加信息愛看不看附注近紅外光譜(NearInfraRedSpectrum,NIRS)是指介于可見光和中紅外的電磁波，其波長范圍為780nm～2526nm[1]深度是從對象到相機的激光平面，而不是從對象到傳感器的實際距離的距離的估計值。[1]StarkE,LuchterKandMargoshesM.ApplSpectroseRev,1986,22(4):335.貝葉斯分類算法—刪繁就簡機器學(xué)習(xí)和貝葉斯曲線華碩Xtion是OpenNI和有限兼容，這意味著某些項目，也可以使用華碩XtionPro現(xiàn)場攝像機實現(xiàn)！ASUSXtionFigure2-10.ASUSXtionPROLIVE(imagecourtesyofASUS)一代Kinect識別范圍一個玩家：2.26兩個玩家：2.5LightCording技術(shù)LightCoding就是以紅外線發(fā)出對人體無害的一類激光，透過鏡頭前的diffuser（光柵、擴散片）將激光均勻分布投射在測量空間中，再透過紅外線攝影機記錄下空間中的每個散斑，獲取原始資料（光源標定）后，再透過芯片計算成具有3D深度的圖像。

人臉識別幾何特征識別神經(jīng)網(wǎng)絡(luò)彈性圖匹配線段Hausdorff距離等激光散斑關(guān)于深度的正確理解Norman’smodel諾曼交互模式Establishingthegoal.建立目標Formingtheintention.組成意圖Specifyingtheactionsequence.明確行動順序Executingtheaction