微博內(nèi)容提取

吉林大學(xué)畢業(yè)論文Ⅰ吉林大學(xué)計(jì)算機(jī)科學(xué)與技術(shù)學(xué)院微博內(nèi)容提取摘要隨著近年來微博等社交軟件的使用人數(shù)日益增多，微博的隱私發(fā)展也成為人們?nèi)找骊P(guān)注的問題，然而由于微博沒有固定的格式約束使得在微博的研究過程中有一些無意義的“噪音”的干擾，本文主要是為了完成微博的“噪音”過濾問題，實(shí)現(xiàn)一個(gè)小軟件，來將新浪微博等微博中下載到本地的微博來進(jìn)行過濾，去除其中的噪音，提取出純凈的頁面內(nèi)容，主要工作包括以下幾個(gè)方面：（1）字符串的查找函數(shù)與分割函數(shù)的實(shí)現(xiàn)。（2）多個(gè)文件的查找的函數(shù)的實(shí)現(xiàn)。（3）固定字符串的即表情“噪音”的過濾實(shí)現(xiàn)。（4）具有一定正則文法的“噪音”的過濾實(shí)現(xiàn)。關(guān)鍵字：中文微博，微博，過濾，噪音，正則吉林大學(xué)畢業(yè)論文ⅡMicrobloggingcontentextractionAuthor:LiudiTutor:YangkexinAbstractWithrecentyearsthenumberofmicro-blogusingsocialsoftwareisincreasing,thedevelopmentofmicro-blogprivacyhasbecomeagrowingconcern,However,duetothemicroblogthereisnofixedformatconstraintmakestheinterferenceofsomemeaningless"noise"intheresearchprocessofmicroblog.thepurposeofthispaperistocompletethe"noise"micro-blogfilteringproblem,therealizationofasmallsoftware,tobeusedforfilteringthedownloadtotheSinamicro-blogmicro-blogetc.,removethenoise,extractthepagecontentispure,themainworkincludesthefollowingaspects:(1)thesearchfunctionandthefunctionofthestringsegmentation.(2)theimplementationofthesearchfunctionformultiplefiles(3)thefilteroftheexpression"noise"ofthefixedstring.(4)thefilterofacertainregulargrammar"noise"ofthefixedstring.Keywords:Chinesemicro-blog，micro-blog，filtering，noise，regular吉林大學(xué)畢業(yè)論文Ⅲ目錄目錄 1第1章緒論 11.1研究背景 11.2國內(nèi)外研究現(xiàn)狀 2第2章需求分析 3第3章支持平臺與開發(fā)平臺的選擇 43.1平臺環(huán)境 43.2開發(fā)工具的選擇 4第4章系統(tǒng)的總體功能分析與結(jié)構(gòu)圖 54.1系統(tǒng)功能分析 54.1.1過濾微博功能 54.1.2讀取微博功能 54.1.3刪除微博功能 54.1.4處理所有功能 54.1.5退出功能 64.2系統(tǒng)的功能特點(diǎn) 64.3系統(tǒng)功能結(jié)構(gòu)圖 7第5章數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)與主要全局變量介紹 8第6章系統(tǒng)的詳細(xì)設(shè)計(jì) 96.1主界面模塊 96.1.1主界面 96.1.2主界面模塊流程圖 106.2文件選擇模塊 116.2.1文件選擇界面： 116.2.2流程圖 126.2.3主要程序代碼 136.3微博過濾模塊 146.3.1微博過濾模塊界面： 146.3.2流程圖： 156.3.3、主要代碼 176.4批量處理模塊 196.4.1流程圖： 196.4.2、主要代碼 206.5刪除模塊： 206.5.1刪除模塊 206.5.2刪除模塊流程圖 21第7章系統(tǒng)測試與維護(hù) 227.1系統(tǒng)測試 227.2系統(tǒng)維護(hù) 22第8章結(jié)論 23致謝 24參考文獻(xiàn) 25吉林大學(xué)畢業(yè)論文第23頁第1章緒論1.1研究背景微博（MircoBlog），是用戶關(guān)系的獲取，信息共享，信息傳播的平臺，用戶可以通過多種形式（網(wǎng)頁,APP，移動(dòng)網(wǎng)頁，輕應(yīng)用，第三方客戶端等）登錄微博，隨時(shí)隨地發(fā)布或者分享文字，圖片，視頻等內(nèi)容，與好友之間實(shí)現(xiàn)信息的即時(shí)分享。最早的微博產(chǎn)品是美國的微博網(wǎng)站Twitter，在全球范圍內(nèi)Twitter已經(jīng)幾乎成為微博的代名詞，2009年，中文微博社區(qū)“新浪微博”公測，從此，微博類產(chǎn)品正式進(jìn)入了中國互聯(lián)網(wǎng)市場。微博的出現(xiàn)，給人們的交流和分享信息提供了一個(gè)新的平臺，通過微博，用戶可以發(fā)表觀點(diǎn)，記錄日常生活，了解時(shí)事新聞，與朋友互動(dòng)等，隨著微博技術(shù)的發(fā)展，可供用戶使用的信息發(fā)布形式越來越豐富，包括短信，實(shí)時(shí)通訊軟件，電子郵件。網(wǎng)頁，聲音或視頻等，而各種客戶端的出現(xiàn)，使得用戶發(fā)布私人信息的門檻越來越低，而且，這些信息可能包含用戶的教育經(jīng)歷，工作信息，好友關(guān)系，興趣愛好，價(jià)值取向等隱私信息，隨著互聯(lián)網(wǎng)營銷和大數(shù)據(jù)挖掘技術(shù)的日益發(fā)展，這些信息中包含的價(jià)值愈發(fā)被人們意識到，從而帶動(dòng)了數(shù)據(jù)挖掘技術(shù)的新發(fā)展，而數(shù)據(jù)挖掘技術(shù)推向了又一個(gè)新的階段作為web2.0時(shí)代的產(chǎn)物，社交網(wǎng)絡(luò)和網(wǎng)絡(luò)媒體的結(jié)合體，微博已經(jīng)被廣泛領(lǐng)域相關(guān)研究人員進(jìn)行研究，例如社交網(wǎng)絡(luò)和媒體分析相關(guān)領(lǐng)域，再到計(jì)算機(jī)科學(xué)領(lǐng)域，例如信息見多和自然語言處理方向。全球范圍最流行的微博產(chǎn)品Twitter，已經(jīng)被用來作為研究微博這一新型產(chǎn)品類型特性的典型案例[1]，人們也喜歡將它拿來與傳統(tǒng)社交網(wǎng)絡(luò)和網(wǎng)絡(luò)媒體進(jìn)行對比[2.3]。在信息檢索領(lǐng)域，相關(guān)研究人員研究了微博檢索，與傳統(tǒng)網(wǎng)頁檢索對比[4.5].很多基于Twitter的新研究課題被挖掘了出來，比如事件檢測和追蹤[6,7.8]、用戶情感分析[9]、用戶標(biāo)簽分析[10]等。1.2國內(nèi)外研究現(xiàn)狀在2011年的KDD會議上，數(shù)據(jù)挖掘和隱私問題首次引起了人們的關(guān)注，Marcopennacchiotti在推特上根據(jù)用戶的個(gè)人信息，微博內(nèi)容，通過微博發(fā)布相關(guān)數(shù)據(jù)（時(shí)間，數(shù)量），以及社會關(guān)系的信息（關(guān)注信息，粉絲信息）開發(fā)一個(gè)新的社會媒體的分類框架的發(fā)展，用于判斷用戶的政治取向，民族和價(jià)值取向等隱私內(nèi)容，這項(xiàng)研究，無疑給公眾揭露微博隱私信息問題，人們通常在不經(jīng)意間分布的內(nèi)容，暴露的信息遠(yuǎn)比內(nèi)容本身大得多。相比國外的研究人員在對英文微博的研究中國的對中文微博的研究就顯得稀少多了，研究結(jié)果比較顯著的有清華大學(xué)自然語言處理研究，更重要的是，他們利用用戶發(fā)布的微博信息。根據(jù)微博的特點(diǎn)，進(jìn)一步處理的微博內(nèi)容，在新浪微博上提取微博用戶關(guān)鍵詞可以準(zhǔn)確、有效地確定用戶的興趣，而這些興趣的信息就可能是用戶的隱私內(nèi)容。第2章需求分析由于微博中蘊(yùn)藏著巨大的隱私信息，以及用戶興趣信息，因此對微博的隱私挖掘是十分有必要的，然而微博不同于一般的科技文章或者新聞,用戶發(fā)布的微博內(nèi)容比較嘈雜，每條微博可能各有主題，并伴隨著表情、特殊符號（比如@:提到其他用戶）、轉(zhuǎn)發(fā)等相關(guān)性較小的內(nèi)容.如何對待這些內(nèi)容將直接影響得到的結(jié)果，本文將著重于微博嘈雜信息的處理，即對微博“噪音”的過濾與提取。本文的主要工作有以下幾點(diǎn)：1.界面簡潔美觀，易于操作，可以用方向鍵進(jìn)行選擇操作。2.運(yùn)行平臺為windows操作系統(tǒng)，需要vs2012的相關(guān)組件支持。3.整個(gè)系統(tǒng)分為：過濾微博，讀取微博，刪除微博，批量過濾微博，退出系統(tǒng)五個(gè)部分。４．系統(tǒng)需提前建立一個(gè)微博文件夾，并在里面提前保存有微博文件。５.系統(tǒng)的核心過濾算法。⑴過濾固定“噪音”函數(shù)。過濾諸如表情，鏈接按鍵，視頻組件等固定的“噪音”。⑵過濾兩個(gè)固定字符串中間的“噪音”的函數(shù)。過濾諸如@某人，主題即兩個(gè)“#”中間的“噪音”的函數(shù)，與上面的過濾固定噪音的函數(shù)組合起來可以過濾多種類型的噪音。第3章支持平臺與開發(fā)平臺的選擇3.1平臺環(huán)境由于本程序在提取文件目錄模塊中用到了windows系統(tǒng)的命令所以本程序需要在在windows操作系統(tǒng)下運(yùn)行，需要VisualStudio2012相關(guān)的組件支持3.2開發(fā)工具的選擇本次設(shè)計(jì)所用的編程語言主要是c語言，開發(fā)用具是VisualStudio2012。C語言程序是操作內(nèi)存的程序，具有程序結(jié)構(gòu)執(zhí)行效率高、編譯效率高、程序結(jié)構(gòu)簡潔表達(dá)式簡練、靈活性強(qiáng)、等諸多優(yōu)點(diǎn)，相對于匯編語言還可以編寫規(guī)模較大的程序，因此可以更快的過濾微博同時(shí)，c語言相對于匯編語言可以使代碼的可重用性更強(qiáng)第4章系統(tǒng)的總體功能分析與結(jié)構(gòu)圖4.1系統(tǒng)功能分析該系統(tǒng)將采用層次化模塊設(shè)計(jì)方法對系統(tǒng)總體進(jìn)行設(shè)計(jì)和分析。本系統(tǒng)的功能模塊主要完成如下功能：4.1.1過濾微博功能過濾微博功能即是，先從指定文件路徑下提取所有文件的名稱，然后選擇其中的一個(gè)文件進(jìn)行過濾，顯示，并將過濾后的微博保存在與程序的子目錄下，過濾后的微博文件名稱與過濾的前微博文件名稱相同。4.1.2讀取微博功能讀取微博的功能，即是從微博過濾后的文件路徑下提取過濾后的微博文件名稱，然后并讀取其中的內(nèi)容并予以顯示，方便隨時(shí)讀取過濾后微博的內(nèi)容，省去了查找文件的精力。4.1.3刪除微博功能一共提供了三種刪除模式，分別是刪除過濾前微博，即刪除一條過濾前的微博，刪除過濾后的微博即刪除一條過濾后的微博，以及批量刪除所有過濾后的微博。前兩種方便刪除單條的微博文件，最后一種方便對微博的批量刪除管理，文件進(jìn)行管理。比如：對文件的刪除、過濾、批量管理等操作。4.1.4處理所有功能即一鍵過濾所有的待過濾的微博，雖然機(jī)器過濾的速度遠(yuǎn)遠(yuǎn)快于人的反應(yīng)速度，但是如果讓人一條一條的過濾，機(jī)器的優(yōu)勢并不明顯，所以批量處理是必要的，處理所有，即一次將所有待過濾的微博文件進(jìn)行過濾并保存，從而實(shí)現(xiàn)了批量過濾，大大的提高了執(zhí)行效率。4.1.5退出功能即退出程序4.2系統(tǒng)的功能特點(diǎn)1．操作簡單、界面友好，只需要操作方向鍵就可以完成。2．即時(shí)可見：對文件的操作（包括刪除過濾選擇）操作之后，在對應(yīng)的路徑下的微博內(nèi)容將會立即更新，用戶可以隨時(shí)地確認(rèn)自己過濾后的微博是否保存下來，過濾后的微博文件可以隨時(shí)打開確認(rèn)內(nèi)容。3．功能完善：包括常見文件管理：讀取、過濾、刪除、批量過濾、批量刪除等各個(gè)方面，實(shí)現(xiàn)了大部分的對目錄和文件的管理要求，簡化了人的操作，比一般的控制臺應(yīng)用操作簡易多了。4.3系統(tǒng)功能結(jié)構(gòu)圖：圖4-1系統(tǒng)功能結(jié)構(gòu)第5章數(shù)據(jù)結(jié)構(gòu)的設(shè)計(jì)與主要全局變量介紹本文的微博的保存方式是以文本文件的形式保存在read文件夾目錄下，過濾后的微博也是以文本的形式保存在write文件夾下，兩個(gè)文件夾中的對應(yīng)的文件名字相同，而在執(zhí)行期間，微博的內(nèi)容是以數(shù)組的形式存儲在內(nèi)存中的。在進(jìn)行字符串分割期間中間變量保存在一個(gè)char**的指針之中，隨著分割函數(shù)的執(zhí)行動(dòng)態(tài)地申請內(nèi)存，可以節(jié)約程序的執(zhí)行效率，而文件列表也保存在一個(gè)長度為200的二維數(shù)組之中，數(shù)組的長度保存在一個(gè)整形的filei全局變量之中，方便多個(gè)函數(shù)共享文件的數(shù)目。本程序的界面組成的實(shí)現(xiàn)主要用到控制臺輸出句柄，通過動(dòng)態(tài)的控制來控制輸入文字的坐標(biāo)與顏色，來實(shí)現(xiàn)列表式的文件選擇，讓用戶更加簡潔明了的理解軟件的使用方式，通過關(guān)閉光標(biāo)的顯示，來讓整個(gè)程序的界面顯得與一般的控制臺應(yīng)用程序相比顯得更加的界面友好由于待過濾的表情不是很頻繁的更改，所以本程序的過濾用的表情庫也是保存在全局的內(nèi)存之中，保存的方式是保存在二維數(shù)組之中，好處的可以減少從文件加載表情庫的時(shí)間，由于雙字符串的過濾不是很多，所以主題與@用戶的噪音的過濾是直接在主程序之中執(zhí)行的。第6章系統(tǒng)的詳細(xì)設(shè)計(jì)本系統(tǒng)共分為五個(gè)模塊，分別是：主界面模塊、文件選擇模塊、微博過濾模塊，批量管理、刪除模塊、退出模塊。

6.1主界面模塊圖6-1微博主界面6.1.1主界面功能說明：主界面模塊的主要，作用即是用戶對于主要功能的選擇，用戶可以通過按方向鍵或者小鍵盤以及wasd鍵來控制白色光標(biāo)的移動(dòng)來進(jìn)行功能選擇按回車即是確認(rèn)，進(jìn)入二級功能界面。6.1.2主界面模塊流程圖圖6-2微博主界面流程圖6.2文件選擇模塊6.2.1文件選擇界面：圖6-3文件選擇界面流程圖功能說明：在文件選擇界面，用戶可以對需要過濾的微博文件或者待刪除的微博文件以及待讀取的微博文件進(jìn)行選擇。通過該界面可以讓用戶更加清晰地選擇單一的待操作文件，而省去了自己輸入文件路徑，整個(gè)過程一目了然，經(jīng)過了文件選擇的操作用戶可以實(shí)現(xiàn)對微博的單挑操作，在該界面下為用戶提供了清晰的選擇界面，為文件進(jìn)行標(biāo)號用戶可以清晰的知道文件的數(shù)目，按上下鍵可以控制光標(biāo)移動(dòng)，按左右鍵可以翻頁，按回車進(jìn)行選擇，按Esc鍵可以返回上一級菜單，為用戶提供了便捷的選擇空間。6.2.2流程圖：圖6-4文件選擇界面流程圖6.2.3主要程序代碼//=============================================================================//獲取文件列表//從指定文件夾中獲取所有文件的名稱并保存在全局的filename數(shù)組中，不包括文件夾voidgetfilename(char*fileroute){ filei=0; system("ifnotexist.\\tempmd.\\temp"); system(fileroute); if((fileF=fopen("temp/dir.txt","r"))==NULL) printf("openerror!\n"); while(!feof(fileF)) { fscanf(fileF,"%s",filename[filei]); filei++; } filei--; fclose(fileF); system("del.\\temp\\dir.txt");}6.3微博過濾模塊:6.3.1微博過濾模塊界面：圖6-5微博過濾界面功能說明：該部分即是本文的核心算法，具體包括字符串分割和字符串拼接兩部分作用就是將提取的微博進(jìn)行過濾，過濾掉其中的噪音，其中噪音有兩種，其一是固定的噪聲即為表情等由固定字符串組成的噪聲，其二是由兩個(gè)字符串以及中間的部分組成的噪聲即為非固定噪聲但是規(guī)律就是在兩個(gè)固定的字符串中間的部分，例如主題轉(zhuǎn)發(fā)內(nèi)容@其他用戶的內(nèi)容等構(gòu)成，兩種過濾模式共有兩種算法，但是都是基于第一種過濾算法。6.3.2流程圖：單條字符串分割圖6-6單條字符串分割流程圖圖6-7雙字符串分割流程圖圖6-8字符串拼接流程圖6.3.3、主要代碼：//=============================================================================//字符串分割函數(shù)//分割字符串到一個(gè)字符串?dāng)?shù)組中，其中該數(shù)組第一位為分割后的個(gè)數(shù)char**StringSplit(char*string,constchar*split){char**result;//首先分配一個(gè)char*的內(nèi)存，然后再動(dòng)態(tài)分配剩下的內(nèi)存result=(char**)malloc(sizeof(char*)*1);memset(result,0,sizeof(char*)*1);//定義一個(gè)遍歷用的指針和一個(gè)尋找位置用的指針char*p=string;char*pos=string;//無論是否存在該分割串，絕對都會分割到一個(gè)字符串intcount=1;while(*p!='\0')//遍歷字符串{char*temp;char*tt;//查找該字符串pos=strstr(p,split);//檢索目標(biāo)字符串首次出現(xiàn)的位置//結(jié)果為0說明剩下的字符串中沒有該字符了if(pos==0){result=(char**)realloc(result,sizeof(char*)*(count+2));result[zero]=(char*)count;result[count]=p;result[count+1]=NULL;returnresult;}//分配臨時(shí)字符串空間temp=(char*)malloc(sizeof(char)*(pos-p+1));memset(temp,0,sizeof(char)*(pos-p+1));//設(shè)置頭指針，以便賦值時(shí)使用tt=temp;while(p<=pos){*temp++=*p++;}//將字符串結(jié)尾置零*--temp='\0';result=(char**)realloc(result,sizeof(char*)*(count+1));result[zero]=(char*)count;result[count]=tt;count++;//設(shè)置下一次遍歷時(shí)的指針（重要）。當(dāng)split長度大于1時(shí)，不這樣設(shè)置會多賦值不必要的字符串p+=strlen(split)-1;}returnresult;}//=============================================================================//表情過濾函數(shù)//說明：express為待過濾表情//將過濾后的表情保存在express數(shù)組中voidRecover(char*express,char*bufa){ if(express=="")//防止輸入空串使程序進(jìn)入死鎖 return; array=StringSplit(bufa,express);//過濾l=0;for(i=1;i<=(int)array[0];i++)//拼接{strcpy(bufa+l,array[i]); j=strlen(array[i]); if(i==(int)array[zero])//邊界處理 return; strcpy(bufa+l+j,"[衰]"); l=l+j+4; }}6.4批量處理模塊：6.4.1流程圖：圖6-9批量處理流程圖6.4.2、主要代碼：{ getfilename("dir.\\read/a:-d/b>.\\temp\\dir.txt"); //model=Menu1(); system("cls"); //printf(filename[model]); intmain_i; for(main_i=0;main_i<filei;main_i++) { start(filename[main_i]); } system("cls"); SetConsoleTextAttribute(g_hConsoleOutput,0x0F); gotoxyWithFullwidth(13,5); printf("已經(jīng)過濾完所有微博");}6.5刪除模塊：圖6-10刪除模塊主界面6.5.1刪除模塊功能說明：刪除模塊主要提供三種刪除微博文件的方式分別是刪除單條過濾前微博，刪除單條過濾后微博，與刪除所有微博。。6.5.2刪除模塊流程圖圖6-11刪除模塊流程圖第7章系統(tǒng)測試與維護(hù)7.1系統(tǒng)測試本系統(tǒng)完成后的綜合測試是由自己的同學(xué)與自己對系統(tǒng)進(jìn)行測試。這部分測試目的是盡可能的發(fā)現(xiàn)錯(cuò)誤，改正錯(cuò)誤，并驗(yàn)證此開發(fā)系統(tǒng)是否確實(shí)能夠滿足用戶的需要。經(jīng)過反復(fù)測試，測試結(jié)果為：對于微博無論是多表情還是空文件還有表情在邊界，將@符號與空格顛倒，以及沒有文件，等邊界信息均能夠完成該系統(tǒng)所要求達(dá)到的標(biāo)準(zhǔn)，在選擇文件上為了不讓非法數(shù)據(jù)的輸入，主要是通過限制輸入的權(quán)限的方式完成的，只能選擇有的文件不能選擇沒有的文件。7.2系統(tǒng)維護(hù)系統(tǒng)維護(hù)是負(fù)責(zé)控制和決定整個(gè)系統(tǒng)的可擴(kuò)展性。如果還有更多的時(shí)間，開可以繼續(xù)添加表情庫的擴(kuò)充功能，將程序運(yùn)行期間動(dòng)態(tài)申請的內(nèi)存也盡可能的及時(shí)的釋放第8章結(jié)論微博內(nèi)容提取系統(tǒng)，本系統(tǒng)的開發(fā)將大大提高微博噪音過濾的工作效率，獲得純凈的微博界面，加快了微博數(shù)據(jù)挖掘的效率。此系統(tǒng)雖然是控制臺應(yīng)用程序，但是由于控制臺輸出句柄的使用，讓程序界面變得一目了然易于操作，風(fēng)格統(tǒng)一，這是優(yōu)于一般的控制臺程序的亮點(diǎn)。通過這次畢業(yè)設(shè)計(jì)，讓我對c的字符串的操作與文件的操作以及內(nèi)存的申請與釋放有了更深的了解，給我培養(yǎng)了對編程的興趣。通過畢業(yè)論文的撰寫，我獲得了小小的成就感，能夠通過自己的能力獨(dú)立解決從未遇到的困難、對于編程與代碼有了新的層次的理解，讓自己的知識更加的融會貫通，通過對代碼的錯(cuò)誤的調(diào)試與設(shè)計(jì)，讓我產(chǎn)生了更加縝密的思維以及更加細(xì)致的設(shè)計(jì)，相信此次設(shè)計(jì)對于我將來的學(xué)習(xí)幫助將帶來巨大的影響。由于時(shí)間和能力有限的原因，課題的完成的還不夠完美，還有諸多方面仍可以進(jìn)行更為統(tǒng)一而高效的改善，例如很多函數(shù)都可以進(jìn)行統(tǒng)一的設(shè)計(jì)，讓整個(gè)項(xiàng)目的模塊化更強(qiáng)。吉林大學(xué)畢業(yè)論文第26頁吉林大學(xué)計(jì)算機(jī)科學(xué)技術(shù)學(xué)院致謝在數(shù)月的畢業(yè)設(shè)計(jì)即將結(jié)束之際，請?jiān)试S我對支持和幫助我的指導(dǎo)老師楊可新副教授表示衷心的感謝。

參考文獻(xiàn)KwakH,LeeC,ParkH,MoonS.WhatisTwitter,asocialnetworkoranewsmedia?在對萬維網(wǎng)：第十九屆國際會議.2010,591–600ZhaoWX,JiangJ,WengJ,HeJ,LimE,YanH,LiX.Comparingtwitterandtraditionalmediausingtopicmodels，In:Proceedingsofthe33rdEuropeanConference