【社交網(wǎng)絡(luò)中的異常賬號(hào)檢測(cè)方法分析案例報(bào)告10000字】

社交網(wǎng)絡(luò)中的異常賬號(hào)檢測(cè)方法分析案例報(bào)告目錄1緒論 11.1研究背景 11.2國(guó)內(nèi)外研究現(xiàn)狀 21.3研究?jī)?nèi)容 31.4研究創(chuàng)新點(diǎn) 32相關(guān)理論及算法 32.1社交網(wǎng)絡(luò)的基本概念 32.2社交網(wǎng)絡(luò)中異常賬號(hào)的概念 43知乎網(wǎng)絡(luò)中的數(shù)據(jù)獲取與描述 43.1數(shù)據(jù)獲取途徑及整理方法 43.2數(shù)據(jù)使用的合理性驗(yàn)證 64異常賬號(hào)檢測(cè)與分析 74.1明星賬號(hào)與水軍賬號(hào)檢測(cè)分析 74.2機(jī)械賬號(hào)檢測(cè)分析 84.3活躍度異常賬號(hào)檢測(cè)分析 115結(jié)論與展望 12參考文獻(xiàn) 13附錄Ⅰ 11緒論1.1研究背景隨著互聯(lián)網(wǎng)的發(fā)展和普及，幾乎全部的人類智慧都可以通過簡(jiǎn)單的搜索行為從網(wǎng)絡(luò)獲得。這一改變顛覆了人類延續(xù)數(shù)千年的知識(shí)傳承模式，獲取知識(shí)的行為和途徑呈現(xiàn)明顯的網(wǎng)絡(luò)化趨勢(shì)。為了更加便捷、精確地從網(wǎng)絡(luò)獲取信息，以知識(shí)傳承和共享為核心的各類網(wǎng)絡(luò)應(yīng)用可大體劃分為兩類：一種是通過Wiki技術(shù)允許任何用戶添加或編輯詞條的網(wǎng)絡(luò)百科全書；另一種是向所有用戶提問、允許任何人作答的在線問答社區(qū)。這兩類應(yīng)用及其龐大的用戶群共同構(gòu)成了在線知識(shí)共享社區(qū)，在知識(shí)的獲取行為的網(wǎng)絡(luò)化過程中有舉足輕重的作用?！爸酢笔悄壳皣?guó)內(nèi)最成功的社交問答社區(qū)，于2011年1月26日正式上線，執(zhí)行著嚴(yán)格的邀請(qǐng)碼制度。經(jīng)歷了兩年多的內(nèi)容沉淀和社區(qū)文化建設(shè)，知乎在2013年3月正式開放注冊(cè)，并打出“與世界分享你的知識(shí)、經(jīng)驗(yàn)和見解”的口號(hào)，此后用戶開始出現(xiàn)爆發(fā)式增長(zhǎng)。目前知乎月活躍用戶達(dá)到6000萬(wàn)，用戶的前十大主要行業(yè)分布涵蓋了互聯(lián)網(wǎng)、計(jì)算機(jī)軟件、高新技術(shù)、金融、高等教育、電子商務(wù)、信息傳媒、創(chuàng)意藝術(shù)、財(cái)務(wù)和地產(chǎn)建筑1。依據(jù)Alexa2015年3月17日的數(shù)據(jù)，知乎網(wǎng)中國(guó)排名為第47名，全球第266名，日均瀏覽量6．87，在網(wǎng)站停留時(shí)間為9分57秒2。知乎社區(qū)崇尚嚴(yán)謹(jǐn)、理性，兩條基本原則是“創(chuàng)造有價(jià)值的內(nèi)容”和“保持友善和尊重”3。簡(jiǎn)單地來(lái)說，知乎創(chuàng)立和成功的原因在于對(duì)知識(shí)的傳播。在垃圾信息泛濫的互聯(lián)網(wǎng)中，真正有價(jià)值的信息散布在每個(gè)人的腦海中，而知乎提供了一個(gè)挖掘、匯集、分享這些知識(shí)的平臺(tái)。知乎以問答形式實(shí)現(xiàn)了社區(qū)的內(nèi)容創(chuàng)造和傳播機(jī)制，并在此基礎(chǔ)上融入社交元素，重新定義了人與信息之間的關(guān)系，建立了全新的內(nèi)容創(chuàng)造與傳播機(jī)制。在人們對(duì)知乎等社交平臺(tái)的過分依賴下，其安全問題也日益突顯。惡意程序散播、各類釣魚網(wǎng)站鏈接泛濫和網(wǎng)絡(luò)欺詐行為繼續(xù)保持著高速增長(zhǎng)的態(tài)勢(shì)，同時(shí)網(wǎng)絡(luò)黑客攻擊和大量網(wǎng)民個(gè)人信息泄露事件頻繁發(fā)生，與之相輔相成的是各種網(wǎng)絡(luò)攻擊大幅增長(zhǎng)，致使大量網(wǎng)民個(gè)人信息的泄露與財(cái)產(chǎn)損失的不斷增。因此，需要對(duì)知乎等涉社交平臺(tái)的異常賬號(hào)進(jìn)行檢測(cè)，以便有效避免用戶個(gè)人信息泄露導(dǎo)致財(cái)產(chǎn)損失的風(fēng)險(xiǎn)事件的發(fā)生，可以對(duì)正常用戶進(jìn)行預(yù)警提醒。1.2國(guó)內(nèi)外研究現(xiàn)狀目前，學(xué)術(shù)界有大量的研究者致力于垃圾郵件的過濾技術(shù)的研究，并且垃圾郵件的過濾技術(shù)己經(jīng)取得了不錯(cuò)的效果，但是社交平臺(tái)上的異常賬號(hào)檢測(cè)技術(shù)還存在著一些問題。Benvenuto在CEAS2010上通過使用機(jī)器學(xué)習(xí)算法來(lái)過濾Twitter平臺(tái)上的垃圾信息。其主要思想就是通過使用Twitter的行為屬性和內(nèi)容屬性來(lái)檢測(cè)出異常賬號(hào)和正常賬號(hào)。其中行為屬性主要包括該Twitter賬號(hào)的推文傳播距離、好友數(shù)量、用戶影響力等一系列特征，而內(nèi)容屬性則包括每條推文的字符長(zhǎng)度、URL數(shù)量、最大值、最小值以及平均值的特征。Yard具體分析了異常賬號(hào)是如何通過Twitter平臺(tái)的熱門話題標(biāo)簽來(lái)傳播垃圾推文的具體流程。異常賬號(hào)會(huì)實(shí)時(shí)關(guān)注熱門人物、政界人物、金融大亨等人的動(dòng)態(tài)，這些動(dòng)態(tài)中的一些話題就十分容易成為熱門話題，隨后異常賬號(hào)就會(huì)在該話題中傳播垃圾推文，Yard還發(fā)現(xiàn)異常賬號(hào)還會(huì)參與多個(gè)熱門話題，在每個(gè)話題中都會(huì)傳播相應(yīng)的垃圾推文，這樣我們就可以這些特點(diǎn)來(lái)檢測(cè)出異常賬號(hào)。Twitter平臺(tái)為了方便用戶導(dǎo)入第三方應(yīng)用開發(fā)了API接口，但是因?yàn)門witter開發(fā)了API接口，異常賬號(hào)就可以通過API接口傳播垃圾推文。Mowbray通過實(shí)驗(yàn)發(fā)現(xiàn)在使用自動(dòng)代理后就可以隨意調(diào)用Twitte:的API接口，從而導(dǎo)致異常賬號(hào)可以通過自動(dòng)化腳本關(guān)注大量正常用戶，或者通過API接口批量@正常用戶(提及正常用戶)。之后就向正常用戶傳播虛假信息，垃圾推文以及濫用話題(#trendtopic#)等等。BosmaM提出了基于網(wǎng)絡(luò)連接分析(Hyperlink-InducedTopicSearch，簡(jiǎn)稱HITS的賬號(hào)舉報(bào)機(jī)制來(lái)檢測(cè)用戶舉報(bào)的正確率。通過實(shí)驗(yàn)表明，該組合模型相較于傳統(tǒng)的賬號(hào)檢測(cè)模型有著較大幅度的提高。我國(guó)關(guān)于異常賬號(hào)的檢測(cè)研究主要針對(duì)微博等社交平臺(tái)，比如于然等人提出了一種基于信息多維度特征融合的中文微博垃圾信息檢測(cè)方法，統(tǒng)計(jì)出每條微博中的動(dòng)詞、名詞占總微博的比例和“我”、“你”等詞在微博中出現(xiàn)的次數(shù)，最后以此為特征檢測(cè)出微博垃圾信息。由于微博數(shù)據(jù)通常會(huì)有很大的數(shù)據(jù)稀疏性，且從微博中提取出來(lái)的特征會(huì)有很大的偏移和噪音干擾，因此孫建旺等人提出了一種基于微博轉(zhuǎn)發(fā)時(shí)間和頻次的微博垃圾信息檢測(cè)模型，該模型主要通過將所有微博的轉(zhuǎn)發(fā)時(shí)間、轉(zhuǎn)發(fā)頻次組建成一個(gè)微博轉(zhuǎn)發(fā)集，然后使用模型檢測(cè)出微博垃圾信息。由于微博數(shù)據(jù)出現(xiàn)的文本并不是結(jié)構(gòu)化的數(shù)據(jù)，所以張磊等人提出使用正則表達(dá)式的方法將微博中的文本提取為結(jié)構(gòu)化數(shù)據(jù)，然后對(duì)所有的微博數(shù)據(jù)進(jìn)行切詞處理，將提取出微博垃圾信息的關(guān)鍵詞作為檢測(cè)的特征。由于傳統(tǒng)的檢測(cè)方法在進(jìn)行賬號(hào)檢測(cè)時(shí)會(huì)發(fā)生數(shù)據(jù)偏移，所以夏虎等人提出了一種基于反饋的不良網(wǎng)站過濾的方法。通過對(duì)學(xué)術(shù)界的研究成果進(jìn)行分析發(fā)現(xiàn)，國(guó)內(nèi)外關(guān)于社交平臺(tái)異常賬號(hào)的檢測(cè)研究成果在不斷增加，但大多是針對(duì)推特和新浪微博等社交平臺(tái)，關(guān)于知乎等問答社區(qū)平臺(tái)的研究不是很多，相關(guān)的研究有待進(jìn)一步深入和細(xì)化。1.3研究?jī)?nèi)容本文將研究的重點(diǎn)放在知乎賬號(hào)檢測(cè)算法的研究上，通過對(duì)賬號(hào)檢測(cè)算法的研究和改進(jìn)，以提高賬號(hào)檢測(cè)算法的正確率和運(yùn)行迷度，并且降低計(jì)算開銷。本文的主要研究?jī)?nèi)容包括:（1）從知乎賬戶中提取多種具有區(qū)分性的特征來(lái)來(lái)檢測(cè)出異常賬號(hào)。在這些特征項(xiàng)當(dāng)中難免會(huì)存在干擾項(xiàng)，從而降低賬號(hào)檢測(cè)算法的正確率。為了減少噪音干擾項(xiàng)對(duì)賬號(hào)檢測(cè)的影響，本文通過特征加權(quán)貝葉斯算法給各個(gè)行為特征加以不同的權(quán)值，以此來(lái)降低噪音對(duì)知乎賬號(hào)檢測(cè)的影響。（2）隨著知乎賬號(hào)數(shù)量的增加，就需要對(duì)知乎賬號(hào)檢測(cè)算法的結(jié)構(gòu)進(jìn)行優(yōu)化和改善。本文通過特征加權(quán)貝葉斯神經(jīng)網(wǎng)絡(luò)來(lái)改善賬號(hào)檢測(cè)算法的結(jié)構(gòu)。（3）由于知乎賬號(hào)的數(shù)量巨大，從而導(dǎo)致蒙特卡洛算法的收斂速度太長(zhǎng)。本文通過把Hamiltonian動(dòng)力系統(tǒng)和馬爾可夫連蒙特卡洛方法融合在一起形成混合蒙特卡洛（HMC），提高了馬爾科夫鏈蒙特卡洛算法的收斂迷度，進(jìn)一步提高了知乎賬號(hào)檢測(cè)的運(yùn)行迷度。1.4研究創(chuàng)新點(diǎn)本文的創(chuàng)新點(diǎn)有兩個(gè)：一是研究對(duì)象的創(chuàng)新，現(xiàn)階段大多數(shù)研究多是針對(duì)知乎等社交網(wǎng)站而言，缺乏對(duì)知乎等問答社交平臺(tái)的研究，本文以知乎為例進(jìn)行研究，有一定的創(chuàng)新之處。二是研究方法的創(chuàng)新，本文在數(shù)據(jù)獲取方面采取的是關(guān)鍵信息獲取技術(shù)，在分析的過程中則采用隱馬爾可夫模型，這是很多學(xué)者沒有使用過的檢測(cè)方法。2相關(guān)理論及算法2.1社交網(wǎng)絡(luò)的基本概念社交網(wǎng)絡(luò)又稱社交網(wǎng)絡(luò)服務(wù)，這個(gè)詞條來(lái)源于英文SocialNetworkService(SNS)，這種應(yīng)用服務(wù)最早是為了幫助人們建立社會(huì)性網(wǎng)絡(luò)的互聯(lián)網(wǎng)，主要是為了擁有相同興趣與活動(dòng)的群體建立互聯(lián)網(wǎng)上的社區(qū)。隨著這類服務(wù)的不斷聚合，逐漸演變成了一些基于互聯(lián)網(wǎng)并為用戶提供各種交流、建立聯(lián)系的在線社交平臺(tái)。能夠提供社會(huì)化網(wǎng)絡(luò)服務(wù)的網(wǎng)站(SocialNetworkSite)也可以被稱為社交網(wǎng)絡(luò)。在國(guó)內(nèi)，根據(jù)中國(guó)互聯(lián)網(wǎng)絡(luò)信息中心的定義，社交網(wǎng)絡(luò)即互聯(lián)網(wǎng)社交網(wǎng)絡(luò)服務(wù)，旨在幫助公眾建立社會(huì)性網(wǎng)絡(luò)的互聯(lián)網(wǎng)應(yīng)用服務(wù)。社交網(wǎng)絡(luò)亦簡(jiǎn)稱為SNS網(wǎng)站，即基于SNS理念構(gòu)建的網(wǎng)站平臺(tái)。2.2社交網(wǎng)絡(luò)中異常賬號(hào)的概念賬號(hào)是在網(wǎng)絡(luò)和多用戶操作系統(tǒng)中保存的一種記錄，用于記錄授權(quán)用戶的行為的一種方式。網(wǎng)絡(luò)賬戶主要是由網(wǎng)絡(luò)管理員創(chuàng)建，用來(lái)驗(yàn)證用戶是否具有登錄相關(guān)系統(tǒng)的策略和權(quán)限。而惡意信息的發(fā)布者正是攻擊者利用的異常賬號(hào)，這里的異常賬號(hào)特指攻擊者大量創(chuàng)建的虛假賬號(hào)和被攻擊者盜用來(lái)發(fā)布惡意信息的正常用戶的賬號(hào)。惡意行為更容易侵?jǐn)_到正常用戶，甚至嚴(yán)重威脅到正常用戶的賬號(hào)安全、個(gè)人隱私和財(cái)產(chǎn)等，也影響到了正常用戶對(duì)社交網(wǎng)絡(luò)的使用體驗(yàn)。另外，異常賬號(hào)之間互相關(guān)注、為其他賬號(hào)漲粉、重復(fù)轉(zhuǎn)發(fā)、過度點(diǎn)贊等行為，也是攻擊者獲取利益的主要方式，這些行為會(huì)嚴(yán)重?fù)p害在線社交網(wǎng)絡(luò)的信譽(yù)評(píng)價(jià)以及用戶問的信任關(guān)系。社交網(wǎng)絡(luò)異常賬號(hào)的特征可分為垃圾廣告、過度轉(zhuǎn)發(fā)、過度關(guān)注、發(fā)布惡性信息幾類。過度廣告是指異常賬號(hào)頻繁發(fā)布或轉(zhuǎn)發(fā)帶有廣告信息的消息，這些廣告除了大多推銷各種產(chǎn)品外，也會(huì)有推薦其他應(yīng)用軟件或付費(fèi)服務(wù)網(wǎng)站等信息。過度轉(zhuǎn)發(fā)是指異常賬號(hào)以極高的頻率轉(zhuǎn)發(fā)某一用戶的同一個(gè)消息，以達(dá)到提高該用戶或此條消息的熱度。過度關(guān)注是指異常賬號(hào)以超過常人的頻率關(guān)注他人，并且關(guān)注的數(shù)量甚至?xí)_(dá)到自己的最大限度。這類異常賬號(hào)會(huì)主動(dòng)將其他大量用戶添加到自己關(guān)注人列表中，除此之外還會(huì)頻繁更改關(guān)注對(duì)象，但是他們的活動(dòng)非常少，基本不常發(fā)布信息。發(fā)布惡意信息是指此類用戶為獲得不法利益，發(fā)布色情、釣魚或反動(dòng)的信息，且頻繁更換登陸地址、使用設(shè)備，反偵查意識(shí)極強(qiáng)。2.3隱馬爾可夫模型隱馬爾可夫理論(HiddenMarkovTheory,HMT)倉(cāng)rJ立于20世紀(jì)70年代，是一種統(tǒng)計(jì)分析方法。通過傳播、發(fā)展和應(yīng)用，HMT成為信號(hào)處理的一個(gè)重要方向，現(xiàn)已成功用于語(yǔ)音識(shí)別，行為識(shí)別，文字識(shí)別以及故障診斷等領(lǐng)域。隱馬爾可夫理論是馬爾可夫鏈的一種，它描述由一個(gè)隱藏的馬爾可夫鏈隨機(jī)生成不可觀察的狀態(tài)隨機(jī)序列，再由各個(gè)狀態(tài)生成各個(gè)可觀測(cè)狀態(tài)而產(chǎn)生觀測(cè)隨機(jī)序列的過程。該模型只有觀測(cè)向量序列是可以被直接觀察到的，而符合馬爾可夫鏈的狀態(tài)是不可被直接觀察的。觀測(cè)序列(observationsequence)是由一段具有相應(yīng)概率密度分布的狀態(tài)序列(statesequence)產(chǎn)生。序列的每一個(gè)位置可以看成是一個(gè)時(shí)刻。所以，隱馬爾可夫過程分析是一個(gè)雙重隨機(jī)過程一一具有一定狀態(tài)數(shù)的隱馬爾可夫鏈和顯示隨機(jī)函數(shù)集。近年來(lái)，采用隱馬爾可夫模型對(duì)用戶行為進(jìn)行建模，能夠?qū)τ脩粜袨榈臅r(shí)空信息進(jìn)行描述和表示，并可以利用模型參數(shù)來(lái)對(duì)用戶行為進(jìn)行識(shí)別和分類。3知乎網(wǎng)絡(luò)中的數(shù)據(jù)獲取與描述3.1數(shù)據(jù)獲取途徑及整理方法3.1.1基于鏈接的網(wǎng)頁(yè)分析算法基于鏈接的網(wǎng)頁(yè)分析是通過解析HTML標(biāo)記語(yǔ)言獲取鏈接，并對(duì)鏈接的類型進(jìn)行識(shí)別找出本頁(yè)鏈接、本站鏈接及外鏈接。本頁(yè)鏈接是在本頁(yè)設(shè)置的錨點(diǎn)方便用戶跳轉(zhuǎn)查看信息，一般在爬取的過程中忽略本站鏈接了是鏈接本站的其他頁(yè)面，在新浪知乎中通過關(guān)鍵字區(qū)分知乎。外鏈接又叫出鏈，指網(wǎng)站自身以外的其他網(wǎng)絡(luò)資源，這部分在爬取時(shí)要考慮過濾。PageRank是基于鏈接的網(wǎng)頁(yè)分析算法之一，最初應(yīng)用在Google搜索引擎上，實(shí)現(xiàn)對(duì)搜索的排序，PageRank值高的網(wǎng)頁(yè)顯示在前面，是Google的搜索核心技術(shù)，衡量網(wǎng)頁(yè)質(zhì)量的標(biāo)準(zhǔn)技術(shù)。通過PageRank來(lái)優(yōu)化搜索結(jié)果，使等級(jí)高、重要性大排列靠前，提高搜索質(zhì)量和準(zhǔn)確性。在實(shí)踐中可以通過定義PageRank值，使網(wǎng)絡(luò)爬蟲優(yōu)先爬取PageRank值高的知乎鏈接。PageRank在知乎頁(yè)面的使用中采取這樣的原則：如果網(wǎng)頁(yè)A中含有多個(gè)指向用戶知乎的鏈接，則認(rèn)為用戶知乎的鏈接是比較重要的，網(wǎng)頁(yè)A的分值設(shè)置低于用戶知乎頁(yè)的分值。因此我們可以這樣定義，一個(gè)知乎被鏈接的越多，說明這個(gè)知乎越重要，設(shè)置的得分會(huì)越高，在爬取時(shí)優(yōu)先級(jí)別高，應(yīng)該優(yōu)先被處理訪問。3.1.2深度優(yōu)先遍歷除了基于鏈接的網(wǎng)頁(yè)分析算法網(wǎng)絡(luò)以外，深度優(yōu)先遍歷也是網(wǎng)絡(luò)爬蟲爬取數(shù)。據(jù)的重要策略之一。深度優(yōu)先遍歷的基本方法是從圖中某頂點(diǎn)v出發(fā)：首先訪問頂點(diǎn)v，然后依次從v的鄰接未被訪問點(diǎn)出發(fā)，進(jìn)行深度優(yōu)先的圖遍歷，直至該圖中與v有路徑相連的所有頂點(diǎn)都被訪問。若圖中仍有頂點(diǎn)未被訪問，則通過尋找從未被訪問的頂點(diǎn)由該頂點(diǎn)出發(fā)，循環(huán)往復(fù)的進(jìn)行深度優(yōu)先遍歷，直到訪問圖中所有的頂點(diǎn)為止。網(wǎng)頁(yè)中的鏈接關(guān)系可以通過一個(gè)有向圖來(lái)表示，其中一個(gè)網(wǎng)頁(yè)上有指向另一個(gè)網(wǎng)頁(yè)的鏈接可以視為這兩個(gè)網(wǎng)頁(yè)節(jié)點(diǎn)之間的存在一個(gè)有向邊，定義了這樣的結(jié)構(gòu)關(guān)系可以通過深度優(yōu)先算法進(jìn)行深度遍歷了。首先從一個(gè)定義的起始頁(yè)面開始，順著定義的有向邊鏈接進(jìn)行深度的訪問，直到?jīng)]有下一級(jí)的訪問鏈接為止。循環(huán)往復(fù)的持續(xù)這樣訪問過程，直到所有要訪問的頁(yè)面均遍歷完成為止。該方法在數(shù)據(jù)爬取中具有一定盲目性，在實(shí)踐中通過建立地址的URL隊(duì)列，并對(duì)URL進(jìn)行優(yōu)先級(jí)的排序，實(shí)踐中也通過生成網(wǎng)頁(yè)快照的方式人工去除有問題的內(nèi)容。然后通過從URL隊(duì)列中取出地址訪問爬取知乎信息。3.1.3關(guān)鍵詞的提取知乎的網(wǎng)絡(luò)爬蟲程序需要對(duì)知乎文章的關(guān)鍵詞內(nèi)容進(jìn)行分析，查找到關(guān)鍵詞，提取關(guān)鍵詞關(guān)聯(lián)的內(nèi)容，如提取用戶名、粉絲信息等，還有就是通過關(guān)鍵詞提取區(qū)分信息的內(nèi)容比如哪些知乎信息是廣告內(nèi)容，哪些信息是惡意轉(zhuǎn)載內(nèi)容。在實(shí)踐中使用了TF-IDF算法來(lái)實(shí)現(xiàn)，也就是找出重復(fù)出現(xiàn)的關(guān)鍵詞，然后判斷詞的重要性、出現(xiàn)頻率，進(jìn)行“詞頻"統(tǒng)計(jì)分析，再和建立起來(lái)的關(guān)鍵詞庫(kù)進(jìn)行比對(duì)判讀。在詞頻的統(tǒng)計(jì)過程中還應(yīng)該要考慮到重復(fù)出現(xiàn)的連詞和副詞等，要通過構(gòu)造過濾器的方式對(duì)非重要的重復(fù)詞進(jìn)行過濾，有的時(shí)候可能會(huì)出現(xiàn)多個(gè)詞出現(xiàn)的次數(shù)一樣多，但這并不意味著這些詞的關(guān)鍵性是一樣的。我們可以通過設(shè)定系數(shù)的方式，衡量和分析該詞匯是不是常見詞。我們給詞語(yǔ)出現(xiàn)按照常見到少見賦予不同的數(shù)值，如果這個(gè)詞少見而又出現(xiàn)多次，很有可能是我們需要的關(guān)鍵詞。從統(tǒng)計(jì)學(xué)角度其實(shí)是在詞頻的基礎(chǔ)上對(duì)每個(gè)詞分配一個(gè)權(quán)重?cái)?shù)據(jù)．例如：可以是1到3的數(shù)字，最常見的詞給予最小的權(quán)重1，較為常見的詞給予較小的權(quán)重2，較少見的詞給予較大的權(quán)重3。權(quán)重值與一個(gè)詞的常見程度成反比，將詞頻和權(quán)重兩個(gè)值相乘，就得到了我需要關(guān)鍵詞的TF-IDF值。某個(gè)詞對(duì)于知乎文章的重要性越高，它的TF-IDF值就越大，這個(gè)就是需要獲得知乎的關(guān)鍵詞了。根據(jù)這一算法思想，我們?cè)O(shè)計(jì)知乎網(wǎng)頁(yè)爬蟲可以根據(jù)實(shí)際需要爬取一系列知乎條目，獲得這些條目的關(guān)鍵詞建立關(guān)鍵詞庫(kù)，通過設(shè)定特征的方法與關(guān)鍵詞庫(kù)進(jìn)行比對(duì)分析，獲得用戶一些特意的行為，分析是否具有廣告特征、惡意轉(zhuǎn)發(fā)特征等。還需要設(shè)計(jì)“停用”的關(guān)鍵詞比對(duì)庫(kù)，如經(jīng)常出現(xiàn)“的”、“是"，還有大量連詞進(jìn)行排查分析，將這部分詞排除。3.2數(shù)據(jù)使用的合理性驗(yàn)證基于目前門戶運(yùn)營(yíng)商對(duì)虛假粉絲管理方式的研究，通過文獻(xiàn)檢索等手段匯總得出運(yùn)營(yíng)方對(duì)虛假粉絲行為特征的判定標(biāo)準(zhǔn)。官方主流觀點(diǎn)為：虛假粉絲用戶可以讓知乎的博主最快速度獲得一定數(shù)量的關(guān)注度。這類用戶的行為特征是會(huì)關(guān)注很多其他的用戶，卻不經(jīng)營(yíng)自己的知乎，很少發(fā)知乎，幾乎不與他人互動(dòng)，還有一個(gè)特點(diǎn)就是其粉絲數(shù)非常少，粉絲數(shù)遠(yuǎn)少于其關(guān)注數(shù)。新浪官方也會(huì)定期的進(jìn)行清除垃圾粉絲的行動(dòng)。但是由于這種惡意用戶經(jīng)營(yíng)成本低，技術(shù)要求低，所以依然還會(huì)有很多人通過經(jīng)營(yíng)和出售此類惡意用戶賬號(hào)來(lái)牟取利益，在這過程中，自然會(huì)有很多無(wú)辜的用戶被這類惡意用戶的行為所侵?jǐn)_。檢測(cè)、識(shí)別技術(shù)在不斷升級(jí)，官方一直在努力尋求新技術(shù)提高檢測(cè)和識(shí)別的精度。普遍研究觀點(diǎn)為：為了增加某賬號(hào)的人氣而成為其粉絲的賬號(hào)。這類賬號(hào)僅僅作為其他賬號(hào)的粉絲而不會(huì)與其他賬號(hào)進(jìn)行交互，因此很少發(fā)布知乎。為了逃避知乎官方檢測(cè)，虛假粉絲賬號(hào)可由機(jī)器或人工進(jìn)行維護(hù)，也會(huì)進(jìn)行發(fā)布或轉(zhuǎn)發(fā)知乎的行為。但其這些行為是沒有實(shí)際意義的，因此也不會(huì)反映出用戶的真實(shí)意圖，故不具有可信性。在此種觀點(diǎn)支持下，學(xué)界逐漸形成了一種慣性思維。研究觀點(diǎn)認(rèn)為：虛假粉絲賬戶群存在明顯的主從關(guān)系，主從賬號(hào)在對(duì)特定目標(biāo)用戶的關(guān)注選擇上有明顯的共性，在選擇關(guān)注對(duì)象方面行為結(jié)果高度一致。這種現(xiàn)象是由市場(chǎng)購(gòu)買虛假粉絲支持度的現(xiàn)狀決定的，粉絲經(jīng)濟(jì)學(xué)里面暗含水分，知乎賬號(hào)關(guān)注欄中存在大量虛假粉絲即水分?jǐn)?shù)據(jù)。粉絲數(shù)量決定歸屬賬號(hào)的傳播廣度與影響力，進(jìn)而影響其可能帶來(lái)的廣告價(jià)值。實(shí)質(zhì)上，研究觀點(diǎn)認(rèn)為虛假粉絲大量存在帶來(lái)的負(fù)面影響損害粉絲經(jīng)濟(jì)的發(fā)展，直接損害正常有需求用戶選擇知乎推廣方式獲得的效果，過多的占用需求用戶的資金投入比重，擁有龐大虛假粉絲基數(shù)提供主動(dòng)推廣服務(wù)的賬號(hào)在實(shí)施推廣任務(wù)和向需求用戶取費(fèi)等方面構(gòu)成隱瞞?；诂F(xiàn)狀，虛假粉絲群的存在將影響新媒體發(fā)展，影響粉絲經(jīng)濟(jì)學(xué)的深入研究，因此本研究將從多個(gè)角度提出虛假粉絲賬號(hào)的檢測(cè)方式。下文部分5．2將介紹單一虛假粉絲賬號(hào)的檢測(cè)方式，逐步形成虛假粉絲群的鑒別處理思維，不做深入探討。4異常賬號(hào)檢測(cè)與分析4.1明星賬號(hào)與水軍賬號(hào)檢測(cè)分析本課題對(duì)社交網(wǎng)絡(luò)平臺(tái)中的用戶進(jìn)行異常賬號(hào)的分析，選取國(guó)內(nèi)最大也是最流行的社交問答平臺(tái)為目標(biāo)，在運(yùn)用隱馬爾可夫模型建模分析的過程中，知乎賬號(hào)的狀態(tài)我們是無(wú)法直接觀察到的，但是可以通過分析每個(gè)賬號(hào)用戶的行為特征，推測(cè)賬號(hào)的狀態(tài)，從而進(jìn)一步得到賬號(hào)是否屬于異常的。賬號(hào)的不同狀態(tài)作為一個(gè)馬爾可夫鏈，賬號(hào)的行為特征是一個(gè)隨機(jī)過程，每一個(gè)行為特征對(duì)賬號(hào)的狀態(tài)都有一定的影響，不同的行為特征會(huì)帶來(lái)不同的影響。為達(dá)到對(duì)檢測(cè)對(duì)象中異常賬號(hào)即垃圾賬號(hào)與正常賬號(hào)加以區(qū)分的研究目的，下面開始以時(shí)間序列變量建模，隱馬爾可夫模型是一個(gè)很有用的工具。為了對(duì)賬號(hào)行為序列進(jìn)行建模，構(gòu)建了一個(gè)4種隱狀態(tài)(變量)以及8種觀察狀態(tài)(變量)的隱馬爾可夫模型。在檢測(cè)過程中，影響檢測(cè)結(jié)果的因素很多，不同的觀察時(shí)間、不同的可觀察序列、不同的樣本空間，對(duì)檢測(cè)精度和檢測(cè)結(jié)果都會(huì)有影響，下表給出了T=30的6個(gè)不同的觀察周期序列檢測(cè)的結(jié)果，由表可以看出，檢測(cè)結(jié)果數(shù)據(jù)具有一定的離散性，通過其均值可以看出，其正確檢測(cè)率還不是很高。表4.1T=30不同可觀察序列檢測(cè)結(jié)果統(tǒng)計(jì)序號(hào)明星賬號(hào)被判定為水軍賬號(hào)水軍賬號(hào)被判定為水軍賬號(hào)誤判數(shù)正確判決數(shù)正確判決率1216251750.8752227251750.8753198211790.8954216251750.0.8755206241760.8806187211790.895均值20.176.66723.5176.50.8825通過對(duì)水軍賬號(hào)檢測(cè)過程，對(duì)各種可變因素的分析，得到如下結(jié)論：（1）被觀察樣本空間是隨可觀察時(shí)間變化的多維矢量空間集；（2）選擇特定的用戶行為特征進(jìn)行檢測(cè)比一般意義上的異常用戶檢測(cè)正確檢測(cè)概率要高；（3）樣本空間的大小對(duì)于檢測(cè)模型的檢測(cè)精度有較大的影響，樣本空間越大、可觀察時(shí)間越長(zhǎng)，所得到的訓(xùn)練模型的檢測(cè)精度就越高；（4）檢測(cè)模型的訓(xùn)練需要選擇可觀察時(shí)間T，可觀察時(shí)間的選擇對(duì)于模型訓(xùn)練的精度有著較大的影響，若可觀察時(shí)間選擇過大，雖然提高了訓(xùn)練檢測(cè)模型的精度，但對(duì)于樣本空間模型的更新速度受到影響，如果可觀察時(shí)間T選擇過小，雖然可以縮短樣本空間訓(xùn)練模型的更新速度，但對(duì)檢訓(xùn)練模型的檢測(cè)精度要受到一定的影響。因此，選擇合理的可觀察時(shí)間，對(duì)于提高檢測(cè)訓(xùn)練模型。的精度和縮短樣本空間檢測(cè)模型的更新速度有著重要的作用。實(shí)際訓(xùn)練模型過程中可以動(dòng)態(tài)調(diào)整可觀察時(shí)間，使系統(tǒng)達(dá)到最佳檢測(cè)效果。4.2機(jī)械賬號(hào)檢測(cè)分析本節(jié)我們將對(duì)社交網(wǎng)絡(luò)中的具有機(jī)械性質(zhì)的非自然人用戶進(jìn)行清洗。對(duì)數(shù)據(jù)集2中的用戶進(jìn)行了行為時(shí)間分析，獲取了所有用戶一年以上的行為推送，每一條推送時(shí)間都精確到秒。在前人的相關(guān)研究中已經(jīng)證明了人類的某些活動(dòng)符合偏33離泊松分布的冪律特征，人的行為總是存在著長(zhǎng)時(shí)間的靜默以及短時(shí)間的爆發(fā)。正如文獻(xiàn)中提到的：人類的商業(yè)交易、網(wǎng)頁(yè)瀏覽、電影點(diǎn)播、在線時(shí)間長(zhǎng)度、手機(jī)短信、郵件通信等行為都符合這一特征。通過時(shí)間間隔能夠反映用戶對(duì)于該社交平臺(tái)的使用習(xí)慣。于是我們同樣對(duì)數(shù)據(jù)集2中的用戶都進(jìn)行行為時(shí)間間隔的計(jì)算處理，再使用powerlaw包擬合后得到各個(gè)用戶的行為時(shí)間間隔冪指數(shù)如下圖。圖4.1群體社交行為時(shí)間間隔冪指數(shù)分布圖上圖為用戶的行為時(shí)間間隔分?jǐn)M合后的冪指數(shù)布圖。x軸代表擬合后的冪指數(shù)大小，y軸為對(duì)應(yīng)的概率。由圖可知大多數(shù)用戶的行為間隔分布冪指數(shù)在1.3至3.0之間，在樊超等人的研究中證實(shí)了人類的大多數(shù)社交活動(dòng)行為時(shí)間間隔冪指數(shù)均在1.5至3.0之間[53-54]。這表明我們的大部分用戶均符合人類行為動(dòng)力學(xué)機(jī)制。但在抽樣用戶中不僅出現(xiàn)了符合該冪指數(shù)范圍的用戶，同樣出現(xiàn)了冪指數(shù)較大的用戶。為了進(jìn)一步觀察呈現(xiàn)不同冪指數(shù)的用戶社交行為，我們對(duì)各個(gè)用戶的行為時(shí)間間隔進(jìn)行可視化與分布擬合得到下圖（部分）。表4.2用戶行為時(shí)間間隔冪律擬合圖其中x軸代表行為之間的時(shí)間間隔大小，y軸代表各類間隔的概率。通過擬合我們發(fā)現(xiàn)各個(gè)用戶的冪指數(shù)不盡相同，這是不同的使用習(xí)慣造成的。由頻率圖我們發(fā)現(xiàn)，冪指數(shù)較低的用戶呈現(xiàn)出行為的短時(shí)間爆發(fā)與長(zhǎng)時(shí)間靜默這比較符合人類行為動(dòng)力學(xué)機(jī)制。例如我們上圖中的（a）與（b）用戶，呈現(xiàn)為在一定時(shí)間內(nèi)高頻率的使用該社交平臺(tái)，而在更長(zhǎng)的時(shí)間中用戶的使用概率極低呈現(xiàn)出空白期。正是這種不均勻性導(dǎo)致了用戶的行為間隔服呈現(xiàn)出偏離泊松分布的特性。而冪指數(shù)較高的用戶如上圖中的（c）用戶，我們發(fā)現(xiàn)其整體使用間隔頻率十分的均勻，行為之間的時(shí)間間隔比較接近，呈現(xiàn)出行為間隔時(shí)間上的陣發(fā)性與記憶性。這類用戶的行為間隔分布有極強(qiáng)的機(jī)械特征，不符合常規(guī)用戶使用社交平臺(tái)的特征。對(duì)該用戶進(jìn)行驗(yàn)證，發(fā)現(xiàn)其社交平臺(tái)十分規(guī)律的推送影評(píng)且沒有別的社交行為，因此我們認(rèn)為這一用戶為可疑用戶。最終我們根據(jù)抽樣用戶的整體冪指數(shù)分布范圍以及前人研究，我們認(rèn)為用戶社交行為時(shí)間間隔冪指數(shù)高于3.5的用戶為潛在的機(jī)械非自然人用戶，將次條件作為清洗模型的規(guī)則之一。綜上，我們制定了較為完善的清洗模型，該模型通過用戶的粉絲數(shù)，關(guān)注數(shù)對(duì)明星用戶和水軍用戶進(jìn)行了清洗。又利用用戶的行為活躍度以及社交行為時(shí)間間隔對(duì)社交足跡不足的用戶，具有機(jī)械性質(zhì)的非自然人用戶進(jìn)行了清洗。4.3活躍度異常賬號(hào)檢測(cè)分析上述研究中我們通過粉絲數(shù)關(guān)注數(shù)等特征屬性對(duì)不符合個(gè)人信用評(píng)價(jià)模型的用戶進(jìn)行了清洗，但其中仍存在一些用戶不適用于個(gè)人信用評(píng)價(jià)。例如：某一用戶曾經(jīng)使用該社交平臺(tái)積累了一定的粉絲以及關(guān)注，但近一段時(shí)間不再使用其社交賬號(hào)或使用頻率極低。對(duì)于這類用戶其存在著社交信息不足的風(fēng)險(xiǎn)。另外還有一類用戶，在短時(shí)間內(nèi)推送大量的社交信息，但之后便不在使用其社交賬號(hào)，這類用戶同樣不符合個(gè)人信用評(píng)價(jià)模型。為了清洗掉活躍度異常的用戶，我們對(duì)數(shù)據(jù)集2中的用戶進(jìn)行了活躍度計(jì)算。其活躍度計(jì)算公式如下：其中n代表觀測(cè)時(shí)段內(nèi)用戶的社交信息記錄數(shù)，T代表觀測(cè)的時(shí)間跨度，單位時(shí)間為天。選擇單位為天的原因在于該社交平臺(tái)的社交特性接近于博客，并非實(shí)時(shí)通信軟件，選擇天作為時(shí)間間隔能夠適當(dāng)粒度的顯示出行為間隔上的特性，不會(huì)因?yàn)闀r(shí)間粒度過細(xì)找不到用戶行為間隔上的共性，也不會(huì)因?yàn)榱６冗^大無(wú)法觀察單一用戶的個(gè)性。計(jì)算各個(gè)用戶的活躍度后將活躍度相近的用戶視為同一類。最終得到下圖。圖4.3用戶活躍度分布上圖中x軸代表用戶的活躍度，而y軸代表呈現(xiàn)出該活躍度的用戶個(gè)數(shù)。通過上圖我們發(fā)現(xiàn)抽樣用戶的活躍度符合擬合冪指數(shù)為-1.75的冪律分布。而用戶的活躍度主要集中在1到0.1之間，有部分用戶的活躍度低于0.01這代表在觀測(cè)時(shí)段內(nèi)用戶平均100天才推送一次消息或發(fā)布一條社交行為。這部分用戶的社交數(shù)據(jù)顯然不足以作為信用評(píng)價(jià)的支撐數(shù)據(jù)。另外我們發(fā)現(xiàn)有極個(gè)別用戶的活躍度極高，例如id為1823478的這名用戶。我們對(duì)其行為數(shù)據(jù)進(jìn)行分析發(fā)現(xiàn)該名用戶在三天內(nèi)推送了127條行為信息后便沒有再發(fā)布過行為，這不符合正常用戶的使用該社交網(wǎng)絡(luò)的普遍規(guī)律，因此該類用戶同樣是我們需要清洗的對(duì)象。最終我們結(jié)合用戶的實(shí)際使用背景，確立用戶的活躍度小于0.05或大于10為活躍度異常的用戶。5結(jié)論與展望社交網(wǎng)絡(luò)平臺(tái)在某些方面給予了用戶極大的便利，減少了用戶間溝通空間與時(shí)間的距離，但是社交平臺(tái)存儲(chǔ)的巨量用戶信息也成為了不法分子或者利益集團(tuán)的目標(biāo)，特別是社交平臺(tái)存在各類的異常賬號(hào)進(jìn)行惡意的發(fā)布、轉(zhuǎn)發(fā)不良信息，對(duì)于社會(huì)和公眾造成了極大的損害。針對(duì)此種情況，社交網(wǎng)絡(luò)平臺(tái)通過主動(dòng)、定時(shí)的檢測(cè)平臺(tái)的用戶行為數(shù)據(jù)，對(duì)異常賬戶判定和處理，將具有極其重要的作用與意義。本文首先在研究了國(guó)內(nèi)外社交網(wǎng)絡(luò)用戶行為分析相關(guān)成果的基礎(chǔ)上，闡述了本文所需的理論知識(shí)，對(duì)社交網(wǎng)絡(luò)、社交網(wǎng)絡(luò)行為以及隱馬爾可夫模型的定義、內(nèi)涵、外延進(jìn)行了介紹，分析了社交網(wǎng)絡(luò)異常賬號(hào)的定義及分類，并將常用的社交網(wǎng)絡(luò)用戶行為分析方法進(jìn)行了收集、匯總與闡述，為本文的后續(xù)針對(duì)異常賬號(hào)檢測(cè)的研究奠定了理論基礎(chǔ)。然后分析知乎信息爬取技術(shù)框架，編寫了數(shù)據(jù)抓取程序?qū)χ鯏?shù)據(jù)進(jìn)行抓取，而后對(duì)采集的數(shù)據(jù)進(jìn)行處理、清洗，針對(duì)異常賬號(hào)的特征對(duì)數(shù)據(jù)進(jìn)行初步分析。隨后本文分析了異常賬號(hào)的行為特征，選擇隱馬爾可夫作為分析模型，并基于隱馬爾可夫模型對(duì)網(wǎng)絡(luò)行為建模并訓(xùn)練，完成了異常賬號(hào)的檢測(cè)過程，給出了4維隱變量的狀態(tài)遷移過程。參考文獻(xiàn)[1]莫凡,何帥,孫佳,范淵,劉博.基于機(jī)器學(xué)習(xí)的用戶實(shí)體行為分析技術(shù)在賬號(hào)異常檢測(cè)中的應(yīng)用[J].通信技術(shù),2020,53(05):1262-1267.[2]宋暢,禹可,吳曉非.基于改進(jìn)邊權(quán)重的成對(duì)馬爾可夫隨機(jī)場(chǎng)模型的