利用Wifi信號(hào)按鍵識(shí)別算法

1、Keystroke Recognition Using WiFi Signals利用利用Wifi信號(hào)的按鍵識(shí)別方法信號(hào)的按鍵識(shí)別方法熊正強(qiáng)2015.11.171 目錄目錄l研究背景l(fā)核心思想和系統(tǒng)基本架構(gòu)l技術(shù)挑戰(zhàn)l相關(guān)工作l系統(tǒng)評(píng)測(cè)l總結(jié)和體會(huì)2 研究背景研究背景n隨著互聯(lián)網(wǎng)的快速發(fā)展和信息化程度的不斷提高，互聯(lián)網(wǎng)深刻影響著政治、經(jīng)濟(jì)、文化等各個(gè)方面，保障信息安全的重要性日益凸顯，加強(qiáng)對(duì)互聯(lián)網(wǎng)上各類信息的管理應(yīng)引起高度重視。n按鍵（Keystroke）隱私在確保計(jì)算機(jī)系統(tǒng)安全和用戶人隱私方面的作用尤為關(guān)鍵。因?yàn)橛脩粲面I盤正在輸入的可能是一串密碼或者其他極為隱私的敏感信息內(nèi)容。n在此基礎(chǔ)上，文

2、章首次提出了借助Wifi信號(hào)來識(shí)別按鍵的方法。并提出了一種基于Wifi信號(hào)的按鍵識(shí)別系統(tǒng)，文章中稱之為Wikey系統(tǒng)。這種Wikey系統(tǒng)可以借助兩個(gè)目前市場(chǎng)上可買到的Wifi裝置來實(shí)現(xiàn)：一個(gè)信號(hào)發(fā)射器（比如Wifi路由器），一個(gè)信號(hào)接收器（比如一臺(tái)筆記本電腦）就可以組成一個(gè)簡(jiǎn)單的Wikey系統(tǒng)。3核心思想和系統(tǒng)基本架構(gòu)核心思想和系統(tǒng)基本架構(gòu)l核心思想：每個(gè)鍵的按鍵都會(huì)給Wifi信號(hào)引入對(duì)應(yīng)的多徑失真，這種獨(dú)特性可以被用來識(shí)別按鍵。當(dāng)某個(gè)人按下某一個(gè)特定的按鍵時(shí)，該用戶的雙手以及手指會(huì)按照某種特定的形式和方向移動(dòng)，并因此會(huì)形成一種特殊的模式。這種模式可以用一組記載信道狀態(tài)信息值（Channel

3、State Information（CSI）的時(shí)間序列表示，文章中將此定義為該特定按鍵下的CSI-波形。4核心思想和系統(tǒng)基本架構(gòu)核心思想和系統(tǒng)基本架構(gòu)l系統(tǒng)基本架構(gòu)：文章首次提出了一種基于Wifi信號(hào)的按鍵識(shí)別系統(tǒng)-Wikey系統(tǒng)。Wikey系統(tǒng)有兩個(gè)市場(chǎng)上可買到的Wifi設(shè)備組成：一個(gè)發(fā)射器（比如無線路由器），一個(gè)接收器（比如一臺(tái)筆記本電腦）。發(fā)射器連續(xù)的發(fā)射Wifi信號(hào)，接收器連續(xù)的接收。當(dāng)一個(gè)人在鍵盤上按鍵時(shí)，在Wikey系統(tǒng)接收端會(huì)根據(jù)信道狀態(tài)信息值（CSI）的改變來識(shí)別按鍵。The senderThe receiver5 技術(shù)挑戰(zhàn)技術(shù)挑戰(zhàn)n 第一個(gè)技術(shù)難題是：分離出信道狀態(tài)信息值（C

4、SI）的時(shí)間序列，并分辨出每次按鍵動(dòng)作的開始時(shí)間點(diǎn)和終止時(shí)間點(diǎn)。n 第二個(gè)技術(shù)難題是：如何提取37個(gè)按鍵（10個(gè)數(shù)字，26個(gè)字母和一個(gè)空格鍵）的不同特征，并建立對(duì)應(yīng)的分類模型。n 第三個(gè)技術(shù)難題是：如何在相鄰按鍵所產(chǎn)生的CSI值接近的情況下，比較出任意兩個(gè)不用按鍵的區(qū)別，也是能否正確識(shí)別按鍵的關(guān)鍵。6 相關(guān)工作相關(guān)工作新理念：新理念：Device-Free Activity RecognitionDevice-Free Activity Recognition（不（不借助特定設(shè)備的人類活動(dòng)識(shí)別）。借助特定設(shè)備的人類活動(dòng)識(shí)別）。The WiKey system using COTS device

5、s： i.e. a TP-Link TL-WR1043ND WiFi router and a Lenovo X200 laptop with Intel 5300 WiFi NIC.利用從這些設(shè)備的網(wǎng)卡上（such as ：Intel 5300 and Atheros 9390）獲取的CSI值，可以識(shí)別人的活動(dòng)甚至進(jìn)行定位。不需要借助任何特定的硬件或者軟件無線電（SDR）。 7 相關(guān)工作：相關(guān)工作：CHANNEL STATE INFORMATIONCHANNEL STATE INFORMATION（CSICSI）現(xiàn)代的Wifi設(shè)備都支持IEEE 802.11n/ac標(biāo)準(zhǔn)，通常都有多對(duì)發(fā)射和接

6、收天線，因此都支持MIMO通信，而每一個(gè)MIMO信道都包含了很多不同的載波。這些無線設(shè)備會(huì)不斷地監(jiān)視無線信道的狀態(tài)來高效的對(duì)每個(gè)單獨(dú)的MIMO數(shù)據(jù)流進(jìn)行功率分配和速率調(diào)整。這樣一來Wifi信道的容量就能被最大化的利用。這些設(shè)備會(huì)將信道的狀態(tài)以CSI值的形式量化-而這些CSI值基本代表了每組載波在發(fā)射端和接收端之間的信道頻率響應(yīng)（CFR）的特點(diǎn)。 8 相關(guān)工作：相關(guān)工作：CHANNEL STATE INFORMATIONCHANNEL STATE INFORMATION（CSICSI） 9MT代表發(fā)射天線的數(shù)量MR代表接收天線的數(shù)量SC代表OFDM載波數(shù)量Xi代表發(fā)射信號(hào)矢量Yi代表接收信號(hào)矢量

7、Ni代表噪聲矢量在上面的等式中， 階信道矩陣Hi 代表的就是載波i對(duì)應(yīng)的信道狀態(tài)信息（CSI）。任何兩個(gè)通信中的Wifi設(shè)備都會(huì)通過定期的彼此發(fā)送一段已知的OFDM符號(hào)前綴來估計(jì)每組載波的信道狀態(tài)矩陣Hi。本文選取的Intel 5300 WiFi NIC使用30組OFDM載波，并且工作在20MHz無線信道中。TRMM 相關(guān)工作：相關(guān)工作：噪聲去除噪聲去除因?yàn)轭l繁的切換內(nèi)部CSI參考等級(jí)，發(fā)射功率等級(jí)和傳輸速率，商用的Wifi網(wǎng)卡所提供的CSI數(shù)據(jù)不可避免的會(huì)有噪聲。要用CSI值來識(shí)別按鍵，就必須先要從CSI時(shí)間序列中移除噪聲。為此，Wikey系統(tǒng)會(huì)首先將CSI時(shí)間序列送入低通濾波器中來移除高頻

8、噪聲。但是簡(jiǎn)單的低通濾波器無法有效地濾除噪聲，而嚴(yán)格的低通濾波器會(huì)在移除噪聲的同時(shí)造成信號(hào)中有用信息的損失。因此，Wikey系統(tǒng)對(duì)濾波后的序列又運(yùn)用了主成分分析（Principal Component Analysis (PCA) )，從信號(hào)中提取了只包含由手部的運(yùn)動(dòng)所引起的變化信息。 10 相關(guān)工作：相關(guān)工作：低通濾波低通濾波Wikey系統(tǒng)對(duì)所有載波的系統(tǒng)對(duì)所有載波的CSI時(shí)間序列都進(jìn)行了巴特沃茲濾波：時(shí)間序列都進(jìn)行了巴特沃茲濾波： 11（a）是一次按鍵所產(chǎn)生的原始CSI時(shí)間序列幅度波形圖，（b）是濾波后的CSI時(shí)間序列波形圖。可以看出通過巴特沃茲濾波成功的濾除了大部分突變?cè)肼暋?相關(guān)工作：

9、相關(guān)工作：主成分分析（主成分分析（PCAPCA）作者通過多次實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)用戶的手部和手指運(yùn)動(dòng)時(shí)，會(huì)導(dǎo)致每對(duì)發(fā)射作者通過多次實(shí)驗(yàn)發(fā)現(xiàn)當(dāng)用戶的手部和手指運(yùn)動(dòng)時(shí)，會(huì)導(dǎo)致每對(duì)發(fā)射-接收天線對(duì)之間的所接收天線對(duì)之間的所有載波上的有載波上的CSI時(shí)間序列相關(guān)性的變化：時(shí)間序列相關(guān)性的變化： 12Wikey系統(tǒng)會(huì)權(quán)衡系統(tǒng)會(huì)權(quán)衡這些變化的相關(guān)性，這些變化的相關(guān)性，計(jì)算出整個(gè)整個(gè)計(jì)算出整個(gè)整個(gè)CSI時(shí)間序列的主時(shí)間序列的主要成分，并且從這要成分，并且從這些主要成分中篩選些主要成分中篩選出那些最能代表整出那些最能代表整個(gè)個(gè)CSI時(shí)間序列普時(shí)間序列普遍變化的主要成分。遍變化的主要成分。 相關(guān)工作：相關(guān)工作：解決問題解

10、決問題1 1：分辨出每次按鍵動(dòng)作的：分辨出每次按鍵動(dòng)作的開始時(shí)間點(diǎn)開始時(shí)間點(diǎn)和和終終止時(shí)間點(diǎn)止時(shí)間點(diǎn)13現(xiàn)有的方法都是使用簡(jiǎn)單的閾值算法來判斷一項(xiàng)動(dòng)作的開始時(shí)間點(diǎn)和結(jié)束時(shí)間點(diǎn)，這些方法對(duì)于一些宏觀運(yùn)動(dòng)很有效果，但是對(duì)于例如手指按鍵盤這種時(shí)間間隔很小的連續(xù)操作往往不奏效。與傳統(tǒng)方法使用簡(jiǎn)單閾值不同，本文提出了一種嚴(yán)格基于實(shí)驗(yàn)觀測(cè)出的按鍵波形形狀的新算法，具有更高的識(shí)別率。通過實(shí)驗(yàn)觀測(cè)發(fā)現(xiàn)，每一個(gè)按鍵產(chǎn)生的CSI序列都表現(xiàn)出某種類似于下圖的特定變化率的上升或下降的趨勢(shì)。本文的算法在此基礎(chǔ)上，使用滑動(dòng)窗來檢測(cè)CSI時(shí)間序列的上升/下降趨勢(shì)，從而判斷出按鍵動(dòng)作的開始/結(jié)束時(shí)間點(diǎn)。 相關(guān)工作：相關(guān)工作：

11、 14首先，計(jì)算序列的每個(gè)值在寬度為W的窗內(nèi)的平均絕對(duì)值誤差（MAD）將第一步中求得的所有MAD值求和，算出長(zhǎng)度為p的序列的綜合變化尺度將第二部求出的 和經(jīng)驗(yàn)閾值Thresh進(jìn)行比較比較當(dāng)前的j和上一個(gè)狀態(tài)的j-1重復(fù)上述4個(gè)過程，直到變化率iu和du超過設(shè)定閾值拿開始到結(jié)束這段時(shí)間段內(nèi)時(shí)間序列的總能量和總能量閾值做比較相關(guān)工作：相關(guān)工作：解決問題解決問題2 2：特征提取：特征提取為了區(qū)分不同的按鍵，我們必須提取出能夠獨(dú)立的代表為了區(qū)分不同的按鍵，我們必須提取出能夠獨(dú)立的代表某個(gè)按鍵的特征：某個(gè)按鍵的特征：1516表一中可以看出，相鄰的按鍵的很多特征值其實(shí)是幾乎一樣的，完全達(dá)不到區(qū)表一中可以看

12、出，相鄰的按鍵的很多特征值其實(shí)是幾乎一樣的，完全達(dá)不到區(qū)分不同按鍵的目的。雖然一些像分不同按鍵的目的。雖然一些像EnergyEnergy，ZeroZero CrossingsCrossings的特征量看起來是有一定的特征量看起來是有一定差異性的，但是從表二可以看出這些量因?yàn)槭褂谜叩牟煌哂泻艽箅S機(jī)性。鑒于此。差異性的，但是從表二可以看出這些量因?yàn)槭褂谜叩牟煌哂泻艽箅S機(jī)性。鑒于此。以上統(tǒng)計(jì)特征不能拿來作為建立分類器的標(biāo)準(zhǔn)。以上統(tǒng)計(jì)特征不能拿來作為建立分類器的標(biāo)準(zhǔn)。而單純的頻域分析也不可行，因?yàn)椴煌存I在頻域的組成成分十分接近。并且，而單純的頻域分析也不可行，因?yàn)椴煌存I在頻域的組成成分十分接近

13、。并且，單純的頻域分析會(huì)丟失波形的時(shí)域信息。單純的頻域分析會(huì)丟失波形的時(shí)域信息。相關(guān)工作：相關(guān)工作：解決問題解決問題2 2：特征提?。禾卣魈崛?7通過實(shí)驗(yàn)觀測(cè)發(fā)現(xiàn)，不同按鍵的波形形狀有很大的不同，如上圖（通過實(shí)驗(yàn)觀測(cè)發(fā)現(xiàn)，不同按鍵的波形形狀有很大的不同，如上圖（a a），），圖（圖（b b）所示。）所示。按鍵產(chǎn)生的波形的形狀，既保留了信號(hào)的時(shí)域信息，又包含了信號(hào)的按鍵產(chǎn)生的波形的形狀，既保留了信號(hào)的時(shí)域信息，又包含了信號(hào)的頻率信息，因此更加適合被用作建立分類器的特征。頻率信息，因此更加適合被用作建立分類器的特征。相關(guān)工作：相關(guān)工作：解決問題解決問題2 2：特征提?。禾卣魈崛?8直接用提取的按鍵

14、波形形狀作為按鍵的特征來建立分類器的過程中會(huì)付直接用提取的按鍵波形形狀作為按鍵的特征來建立分類器的過程中會(huì)付出很大的計(jì)算代價(jià)，因?yàn)槊恳淮伟存I對(duì)應(yīng)的波形都有幾百個(gè)數(shù)據(jù)點(diǎn)。出很大的計(jì)算代價(jià)，因?yàn)槊恳淮伟存I對(duì)應(yīng)的波形都有幾百個(gè)數(shù)據(jù)點(diǎn)。因此，文章選用離散小波變換（因此，文章選用離散小波變換（ Discrete Wavelet Transform -DWT Discrete Wavelet Transform -DWT）在保留了時(shí)域特征和頻域特征的同時(shí)，壓縮了提取出的按鍵波形數(shù)據(jù)量。在保留了時(shí)域特征和頻域特征的同時(shí)，壓縮了提取出的按鍵波形數(shù)據(jù)量。任一離散信號(hào)任一離散信號(hào)ynyn的離散小波變換可以寫成小波

15、基函數(shù)的形式：的離散小波變換可以寫成小波基函數(shù)的形式：相關(guān)工作：相關(guān)工作：解決問題解決問題2 2：特征提?。禾卣魈崛?9直接用提取的按鍵波形形狀作為按鍵的特征來建立分類器的過程中會(huì)付直接用提取的按鍵波形形狀作為按鍵的特征來建立分類器的過程中會(huì)付出很大的計(jì)算代價(jià)，因?yàn)槊恳淮伟存I對(duì)應(yīng)的波形都有幾百個(gè)數(shù)據(jù)點(diǎn)。出很大的計(jì)算代價(jià)，因?yàn)槊恳淮伟存I對(duì)應(yīng)的波形都有幾百個(gè)數(shù)據(jù)點(diǎn)。因此，文章選用離散小波變換（因此，文章選用離散小波變換（ Discrete Wavelet Transform -DWT Discrete Wavelet Transform -DWT）在保留了時(shí)域特征和頻域特征的同時(shí)，壓縮了提取出的按

16、鍵波形數(shù)據(jù)量。在保留了時(shí)域特征和頻域特征的同時(shí)，壓縮了提取出的按鍵波形數(shù)據(jù)量。任一離散信號(hào)任一離散信號(hào)ynyn的離散小波變換可以寫成小波基函數(shù)的形式：的離散小波變換可以寫成小波基函數(shù)的形式：相關(guān)工作：相關(guān)工作：解決問題解決問題2 2：特征提?。禾卣魈崛?0為了有效地完成數(shù)據(jù)壓縮，必須合理的選擇小波基地。文章比較了兩種不同的小波濾波器Daubechies and Symlets。最終選擇了Daubechies 小波濾波器，因?yàn)槭褂眠@種濾波器時(shí)分類器具有更高的識(shí)別率.相關(guān)工作：相關(guān)工作：解決問題解決問題3 3：分類：分類21在獲取了基于DTW的按鍵波形形狀特征之后，Wikey系統(tǒng)會(huì)針對(duì)不同的按鍵特

17、征進(jìn)行訓(xùn)練，并生成分類模型。這里，文章中選取了著名的dynamic time warping (DTW)算法。DTW算法是一種可以獲取任意兩個(gè)矢量（或者波形）之間最短校準(zhǔn)距離的動(dòng)態(tài)調(diào)整算法。 選取參數(shù)：local path constraints of 27, 45, and 63 degrees while determining minimum cost warping path between two waveforms。相關(guān)工作：相關(guān)工作：解決問題解決問題3 3：分類：分類22對(duì)上述提取的按鍵波形特征進(jìn)行DTW分析，發(fā)現(xiàn)a中不同的用戶鍵入“i”的DTW距離是18.79，b中，不同用戶鍵

18、入“o”的DTW距離是19.44。但是，a和b之間的平均DTW距離是44.2。系統(tǒng)評(píng)測(cè)系統(tǒng)評(píng)測(cè)23按鍵動(dòng)作監(jiān)測(cè)實(shí)驗(yàn)：越黑代表丟失率高。按鍵動(dòng)作監(jiān)測(cè)實(shí)驗(yàn)：越黑代表丟失率高。10位參與測(cè)試者位參與測(cè)試者的平均按鍵識(shí)別率為的平均按鍵識(shí)別率為97.5%。系統(tǒng)評(píng)測(cè)系統(tǒng)評(píng)測(cè)24按鍵識(shí)別率實(shí)驗(yàn)：選擇了按鍵識(shí)別率實(shí)驗(yàn)：選擇了10位參與者進(jìn)行實(shí)驗(yàn)，將按鍵與位參與者進(jìn)行實(shí)驗(yàn)，將按鍵與Wikey系統(tǒng)里已經(jīng)訓(xùn)練好的訓(xùn)練樣本庫（每個(gè)按鍵的訓(xùn)練樣本系統(tǒng)里已經(jīng)訓(xùn)練好的訓(xùn)練樣本庫（每個(gè)按鍵的訓(xùn)練樣本點(diǎn)數(shù)為點(diǎn)數(shù)為30）進(jìn)行匹配，并對(duì)識(shí)別率進(jìn)行統(tǒng)計(jì)。）進(jìn)行匹配，并對(duì)識(shí)別率進(jìn)行統(tǒng)計(jì)。10位參與者的位參與者的A-Z的的26個(gè)字母的平

19、均按鍵識(shí)別率為個(gè)字母的平均按鍵識(shí)別率為83.46%，所有，所有37個(gè)按鍵個(gè)按鍵的平均識(shí)別率為的平均識(shí)別率為82.87%。系統(tǒng)評(píng)測(cè)系統(tǒng)評(píng)測(cè)25按鍵識(shí)別率實(shí)驗(yàn)：按鍵識(shí)別率實(shí)驗(yàn)：Wikey系統(tǒng)訓(xùn)練樣本庫里每個(gè)按鍵的訓(xùn)系統(tǒng)訓(xùn)練樣本庫里每個(gè)按鍵的訓(xùn)練樣本點(diǎn)數(shù)從練樣本點(diǎn)數(shù)從30提高到提高到80后，識(shí)別率有顯著提升。后，識(shí)別率有顯著提升。A-Z的平均的平均識(shí)別率從識(shí)別率從83.46%提高到提高到96.4%，全部，全部37個(gè)按鍵的平均識(shí)別率個(gè)按鍵的平均識(shí)別率也從也從82.87%提高到提高到89.7%。系統(tǒng)評(píng)測(cè)系統(tǒng)評(píng)測(cè)26按鍵識(shí)別率實(shí)驗(yàn)：對(duì)簡(jiǎn)單的句子按鍵輸入進(jìn)行實(shí)驗(yàn)，按鍵識(shí)別率實(shí)驗(yàn)：對(duì)簡(jiǎn)單的句子按鍵輸入進(jìn)行實(shí)驗(yàn)，10位位參與者的平均識(shí)別率為參與者的平均識(shí)別率為77.43%。系統(tǒng)評(píng)測(cè)系統(tǒng)評(píng)測(cè)27按鍵識(shí)別率實(shí)驗(yàn)：將按鍵識(shí)別率實(shí)驗(yàn)：將Wikey系統(tǒng)樣本庫中每個(gè)按鍵的樣本系統(tǒng)樣本庫中每個(gè)按鍵的樣本點(diǎn)數(shù)量從點(diǎn)數(shù)量從30個(gè)提高到個(gè)提高到80個(gè)之后，個(gè)之后，10位參與者的平均識(shí)別率也位參與者的平均識(shí)別率也有顯著提升：從有顯著提升：從77.43%提升到提升到93.47%。由