數(shù)據(jù)挖掘電商情感分析

1、泰迪杯大學(xué)生數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告www ty drnorg第三屆“泰迪杯”全國(guó)大學(xué)生數(shù)據(jù)挖掘競(jìng)賽優(yōu) 秀 作 品作品名稱：基于電商平臺(tái)家電設(shè)備的消費(fèi)者評(píng)論數(shù)據(jù)挖掘分析 榮獲獎(jiǎng)項(xiàng)：一等獎(jiǎng)作品單位：華南師范大學(xué)作品成員：趙曉榮葉呈成黃佳鋒指導(dǎo)老師：耘基于深度學(xué)習(xí)的電熱水器評(píng)論數(shù)據(jù)挖掘分析摘要，近年來.隨著互聯(lián)網(wǎng)的廣泛應(yīng)用和電子商務(wù)的迅速發(fā)展.網(wǎng)絡(luò)文本及 用戶評(píng)論分析意義日益凸顯因此網(wǎng)絡(luò)文本挖掘及網(wǎng)絡(luò)文本情感分析技術(shù)應(yīng)運(yùn)而 生.通過對(duì)文本或者用戶評(píng)論的情感分析，企業(yè)能夠進(jìn)行更有效的管理等。本文 針對(duì)電商平臺(tái)的電熱水器的評(píng)論數(shù)據(jù).利用基干半監(jiān)替遞歸自編碼（RAE）的深 度學(xué)習(xí)模型進(jìn)行評(píng)論的情感分析。為了

2、保證評(píng)論數(shù)據(jù)挖掘分析的質(zhì)量和全面性. 我們重新從京東和蘇寧易購(gòu)平臺(tái)爬取了評(píng)論數(shù)據(jù)集對(duì)數(shù)據(jù)進(jìn)行預(yù)處理評(píng)論 去空、去重=中文分詞、停用詞過濾等.再利用半監(jiān)督RAE深度學(xué)習(xí)模型對(duì) 這些評(píng)論進(jìn)行情感分析。之后.本文主要進(jìn)行兩個(gè)方面的數(shù)據(jù)挖掘分析工作：一 方面是根據(jù)不同品牌電熱水器的評(píng)論數(shù)據(jù)情感分析結(jié)果，提煉出各個(gè)品牌產(chǎn)品的 差異化賣點(diǎn)；另一方面是根據(jù)不同電商平臺(tái)的評(píng)論數(shù)據(jù)情感分析結(jié)果.進(jìn)行不同 電商平臺(tái)的服務(wù)質(zhì)量比較.進(jìn)而可以使電商平臺(tái)根據(jù)自身優(yōu)勢(shì)吸引消費(fèi)者。關(guān)鍵詞，深度學(xué)習(xí).情感分析，RAE差異化賣點(diǎn)第2貝泰迪杯大學(xué)生數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告www ty drnorgData Mining on Com

3、ments of Electric water heaterBased on Deep LearningAbstract: Recently, with the wide application of Internet and the rapid development of electronic commerce、network text and user review analysis is of gieat significance, text mining ancl seiitiinent analysis of network text arise at the liistoric

4、moment, and the emotional analysis of the text or user conunents is more effective in enteiprise management and so on Elecbic business platform, tliis paper apply a deep leaiiiing method based on semisupeivised reclusive encoding (RAE) on tmnlysis of the einution of conunents whiuli users delivered

5、about electric waler heater, hi order to ensine the quality of the data milling analysis, we crawled the relevant comments data sets fiom Jingdong and Suniiig platform Tlien we preprocessed comments data on wiping "empty and heavy" out, Cliinese word segmentation, filtering stop words, wor

6、d fiequency statistics, etc. Next we analyze sentiineiit on these comments using a method based on semisq)ervised RAE Later, tliis paper analyzed mainly conunents in two aspects of data milling work: on the one hand, according to sentiment analysis result of the conunents of different brand electiic

7、 water heater, extiacting differentiation of various brand products selling point： On the otlier hand, according to the conunents of different electiic business platform data sentiment analysis results, and con甲are different electric business platform of service quality; and electric business platfo

8、rm can take measmes to attiact coiisumers according to their own advantages Key words: deep learning; sentiment analysis; RAE; differentiation of selling point目錄1挖掘目標(biāo)12. 分析方法與過程12.1. 總體流程12.2. 具體步驟22.3. 結(jié)果分析183. 結(jié)論20參考文獻(xiàn)21第2貝泰迪杯大學(xué)生數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告wwwtqjdmorg1. 挖掘目標(biāo)本次建模針對(duì)電商平臺(tái)上關(guān)于電熱水器的評(píng)論數(shù)據(jù).釆用基于半監(jiān)督RAE深度學(xué)習(xí)模型的數(shù)

9、據(jù)挖掘方法.達(dá)到以下兩個(gè)目標(biāo)：1）利用半監(jiān)督RAE模型對(duì)同一品牌電熱水器的評(píng)論進(jìn)行情感分析.根據(jù)分析 結(jié)果得到用戶針對(duì)各屬性的滿意度.從而提煉出該產(chǎn)品的優(yōu)勢(shì)和劣勢(shì)。分析 不同品牌電熱水器的評(píng)論數(shù)據(jù).提煉出其差異化賣點(diǎn)。2）對(duì)不同電商平臺(tái)對(duì)應(yīng)相同電熱水器的評(píng)論數(shù)據(jù)進(jìn)行情感分析.根據(jù)分析結(jié)果 得出各個(gè)電商平臺(tái)服務(wù)的優(yōu)勢(shì)與劣勢(shì)。2. 分析方法與過程21 總體流程評(píng)論文本預(yù)處理圖1總體流程圖 第1頁泰迪杯大學(xué)生數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告wwwtq)cimorg本用例主要包括以下幾個(gè)步驟：步驟一：爬取網(wǎng)絡(luò)評(píng)論數(shù)據(jù).評(píng)論數(shù)據(jù)的獲取是本次數(shù)據(jù)挖掘分析的第一步。本 文中利用火車頭數(shù)據(jù)采集器，對(duì)評(píng)論文本進(jìn)行抽取最后將

10、評(píng)論文本批量存進(jìn)txt 文件中，得到實(shí)驗(yàn)數(shù)據(jù)。步驟二：數(shù)據(jù)預(yù)處理.直接從網(wǎng)上爬啟的評(píng)論數(shù)據(jù)中往往不能直接分析需要進(jìn)行 數(shù)據(jù)預(yù)處理。第一步要“去空、去重”；第二步對(duì)評(píng)論數(shù)據(jù)進(jìn)行中文分詞，將一句 評(píng)論分成多個(gè)詞語進(jìn)一步分析；第三步進(jìn)行停用詞過濾.去除掉評(píng)論中與情感判 定不相關(guān)的詞。步驟三：文本矩陣轉(zhuǎn)化.使用基于半監(jiān)督RAE深度學(xué)習(xí)模型進(jìn)行情感分析.需 要將文本詞語全部轉(zhuǎn)換為詞向量.本論文中構(gòu)建了一個(gè)詞表和詞向量表.詞表中 為全部文本詞語和詞語的編號(hào)，詞向量表中為全部詞語的詞向量。步驟四：情感分析.構(gòu)建基于半監(jiān)督RAE的深度學(xué)習(xí)模型.利用選岀的積極、 消極評(píng)論各占一半左右的數(shù)據(jù)集訓(xùn)練情感分析模型.并

11、進(jìn)行測(cè)試.得到符合要求 的模型。利用構(gòu)建的模型分析得出評(píng)論數(shù)據(jù)的情感傾向。步驟五：屬性提取并統(tǒng)計(jì).將所有提及到電熱水器的某些屬性的評(píng)論數(shù)據(jù)從實(shí)騎 數(shù)據(jù)集中篩選出來，統(tǒng)計(jì)各個(gè)屬性相關(guān)評(píng)論數(shù)據(jù)的積極評(píng)論和消極評(píng)論占該產(chǎn)品 的積極評(píng)論和消極評(píng)論的百分比。步驟六：結(jié)果分析.根據(jù)分析結(jié)果提取產(chǎn)品的差異化賣點(diǎn)或者每個(gè)電商平臺(tái)的競(jìng) 爭(zhēng)優(yōu)勢(shì)和劣勢(shì).進(jìn)而制定合適的營(yíng)銷策略.22 具體步驟步驟一，爬取網(wǎng)絡(luò)評(píng)論數(shù)據(jù)隨著電子商務(wù)的迅速發(fā)展.網(wǎng)購(gòu)的消費(fèi)者越來越多.他們不再只是被動(dòng)的獲 取網(wǎng)絡(luò)知識(shí)，而是可以通過網(wǎng)絡(luò)發(fā)表產(chǎn)品評(píng)論來分享自己的用戶體驗(yàn)，而評(píng)論中 所包含的豐富信息，對(duì)企業(yè)管理具有重要的價(jià)值。通過數(shù)據(jù)挖掘等技術(shù)手

12、段實(shí)現(xiàn) 對(duì)客戶評(píng)論的智能分析.商家可以獲得客戶對(duì)產(chǎn)品的意見和態(tài)度獲取網(wǎng)絡(luò)評(píng)論 數(shù)據(jù)中的有價(jià)值的信息.做出相應(yīng)的營(yíng)銷策略和產(chǎn)品改進(jìn)方案等。而網(wǎng)絡(luò)數(shù)據(jù)挖 掘分析的第一步就是爬取網(wǎng)絡(luò)評(píng)論數(shù)據(jù)。本次論文中采用火車頭數(shù)據(jù)采集器爬取網(wǎng)上評(píng)論數(shù)據(jù).將批量的URL存放進(jìn)采集隊(duì)列中.設(shè)置采集內(nèi)容的規(guī)則.從評(píng)論網(wǎng)頁上爬取實(shí)驗(yàn)需要的評(píng)論文本數(shù) 據(jù).詳細(xì)步驟如下：1) 采集網(wǎng)址規(guī)則93%好訐 g% 中丹(4%>1愛評(píng)(E|我們首先采集美的F50-21W6的評(píng)論數(shù)據(jù).打開它的評(píng)論頁面我們要采集的 評(píng)論共有6065條.分203頁顯示.如圖2所示：乂M創(chuàng) *9 iBJXFHH 口 不0上門*他'<fl；

13、a r出広矽農(nóng)髙八切全 MWACGOCS) 好耿5657) VR241) *VFU67)20102014 08r 宀 熱水HIP if 加終速?gòu)B快 很齊用 眼務(wù)不錨遏丨美的京東Bi號(hào)擰靈慎，這左崗朝製給方，肩電-M ®：21W6*列 I 漫揑) 版 本 期 RXBM： 201&6»16TT(O)回負(fù)(0)【鮮昭訃尬】1237| 203 J下艮圖2美的F50-21W6評(píng)論頁面為采集該商品的所有評(píng)論數(shù)據(jù).這里采用批量網(wǎng)址采集.將203個(gè)網(wǎng)址導(dǎo)入進(jìn)行數(shù)據(jù)采集.如圖3所示：第3頁泰迪杯大學(xué)生數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告wwwtydmorg添力吠始采#«扯石|可a|I單粲網(wǎng)

14、址批量/多頁|文本導(dǎo)入|Rss地如其它網(wǎng)址格珂地址格式：http:club. jd coa/review/858469-0- (*)-0. html (*)9尊差數(shù)2首項(xiàng).項(xiàng)數(shù)!03公差1n補(bǔ)零倒斤v苓比數(shù)2笞項(xiàng)項(xiàng)數(shù)i公比2補(bǔ)零倒序V©字母變化u 到z (區(qū)分大小互 倒序添加3jhttp:/club. Jd. coB/review/858469-0-3-0. htali5http:/club. jd. coa/review/858469-0-4-0. htul http:/cJ.ub. Jd. con/review/858469-0-5-0. htul http:/club. jd.

15、 cob/review/858469-0-6-0. html=http:/club. jd. con/review/858469-0-7-0. htmlhttp:/cli】b. jd.色皆/858469-O203-0. him】V全部地址(從上面多種方式添加，一次怦加入起始地址，編輯請(qǐng)融益http:/club. jd. co»/revie»/858469-0-<0,1, 203,1, False, False>-0. i圖3批量網(wǎng)址采集規(guī)則設(shè)置2) 設(shè)置采集內(nèi)容規(guī)則為了抽取出網(wǎng)頁中有用的網(wǎng)絡(luò)商業(yè)評(píng)論信息還需要對(duì)采集內(nèi)容規(guī)則進(jìn)行設(shè) 置。首先在京東網(wǎng)上打開美的F50

16、-21W6的評(píng)論頁面.可以看到在京東網(wǎng)上評(píng)論 的標(biāo)簽為“心得”.接下來打開該頁面的源代碼.搜索到“心得”部分.可以發(fā)現(xiàn)它 的結(jié)構(gòu)如下：<dl><爐心 得：</dt>vdd>不錯(cuò)！性價(jià)比非常高！ v/dd></dl>其中的“不錯(cuò)！性價(jià)比非常高！ ”就是我們想要的網(wǎng)絡(luò)商業(yè)評(píng)論文本。最后. 根據(jù)評(píng)論在HTML文檔中的結(jié)構(gòu)分布，設(shè)置采集內(nèi)容規(guī)則，如圖4所示標(biāo)簽鐮鐳標(biāo)簽名：內(nèi)容y該標(biāo)簽循環(huán)匹配該標(biāo)筌在分頁中區(qū) 從網(wǎng)址中采童9文件下栽選項(xiàng)將相對(duì)地址補(bǔ)全為絕對(duì)地也下殺圖片探測(cè)文件頁冥地址但不下裁探測(cè)文件井下錢）誦討采集得到數(shù)抿©自定義回定格式的

17、數(shù)據(jù)提取數(shù)據(jù)萬式、。前后截匸正剛提耳可視化提;正文提取標(biāo)簽纟E合所屋多丙默認(rèn)頁 Q<dl><dt>心得：</dt>幕宇符</dl>(*)確定取消圖4釆集內(nèi)容規(guī)則設(shè)置3）結(jié)果發(fā)布為了后續(xù)研究工作的方便本文選擇將采集到的網(wǎng)絡(luò)商業(yè)評(píng)論存儲(chǔ)在同一個(gè) txt文件中，文件編碼為,TUTF-8".最終得到一個(gè)存儲(chǔ)全部評(píng)論文本的txt文件。 美的F50-21W6的評(píng)論示例如下：美的電熱水器質(zhì)量不錯(cuò).價(jià)格比店里要便宜。物流給力機(jī)子不錯(cuò)很好很好看也很實(shí)用.配送很快.安裝師傅人也很好的。頭天下單.第二天就到貨安裝好了.非常滿意本文實(shí)驗(yàn)中：從京東上選擇了三個(gè)品

18、牌的電熱水器的評(píng)論數(shù)據(jù)進(jìn)行抓取 美的F50-21W6.海爾EC5OO2-D、格蘭仕G50E302T.用于提煉不同品牌產(chǎn)品的 差異化賣點(diǎn)；從蘇寧易購(gòu)上爬取了美的F50-21W6電熱水器的評(píng)論數(shù)據(jù).用于比 較和京東電商平臺(tái)的服務(wù)特點(diǎn)。本次實(shí)驗(yàn)數(shù)據(jù)見附件。步驟二，數(shù)據(jù)預(yù)處理與數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù)相比.從網(wǎng)頁上爬取的數(shù)據(jù)屬于半結(jié)構(gòu)化或者非結(jié) 構(gòu)化數(shù)據(jù).即具有有限的結(jié)構(gòu).或者根本就沒有結(jié)構(gòu)，即使具有一些結(jié)構(gòu)，也是 著重于格式，而非文檔內(nèi)容，不同類型文檔的結(jié)構(gòu)也不一致。此外.網(wǎng)頁數(shù)據(jù)缺 乏機(jī)器可理解的語義.而數(shù)據(jù)挖掘的對(duì)象局限于數(shù)據(jù)庫(kù)中的結(jié)構(gòu)化數(shù)據(jù).并利用 關(guān)系表格等存儲(chǔ)結(jié)構(gòu)來發(fā)現(xiàn)有價(jià)值的信息，因此有些數(shù)

19、據(jù)挖掘技術(shù)并不適用于網(wǎng) 絡(luò)文本挖掘.即使可用也需要建立在對(duì)網(wǎng)絡(luò)文本數(shù)據(jù)進(jìn)行預(yù)處理的基礎(chǔ)之上。如 果要對(duì)網(wǎng)絡(luò)評(píng)論數(shù)據(jù)進(jìn)行情感分析.就必須先將文本數(shù)據(jù)進(jìn)行預(yù)處理，轉(zhuǎn)化為結(jié) 構(gòu)化的數(shù)據(jù)。該步驟中，從以下幾個(gè)方面對(duì)步驟一中從網(wǎng)頁上爬取的評(píng)論數(shù)據(jù)進(jìn) 行預(yù)處理。1）法重”、“去空”對(duì)于存儲(chǔ)了全部網(wǎng)絡(luò)商業(yè)評(píng)論的txt文件.每行代表了一個(gè)評(píng)論文本但是難 免會(huì)岀現(xiàn)兩個(gè)完全一樣的文本和一些空行。所以本文首先進(jìn)行了 “去重”、“去 空”的預(yù)處理工作。在導(dǎo)入評(píng)論文本時(shí).同時(shí)進(jìn)行了是否為空的判斷.只導(dǎo)入不為空的文本.從 而過濾掉了空白文本，“去空”的程序段如圖5所示：StreamReader sr = new Stre

20、amRcader("C:/Users/IBl/Desktopq 熱水劈故據(jù)丿 京東 /F50-21W6.txtf Encoding.UTFS);String line:while (line = snReadLineO) != null)if Hine ToStringQ != ,M,) 去擅空文本CommentsLi3t.Add<line.loStringO)J:丿圖5詵空”程序段將非空的評(píng)論文本導(dǎo)進(jìn)List后，再進(jìn)行去除重復(fù)處理.過濾掉重復(fù)的評(píng)論文本“去重啲程序段如圖6所示：第7頁泰迪杯大學(xué)生數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告wwwtqjdmorg2）中文分詞中文分詞（Chinese W

21、ord Segmentation）也可稱為中文切詞？指的是通過某種 特定的規(guī)則.將中文文本切分成一個(gè)一個(gè)單獨(dú)的詞本文使用NLPIR漢語分詞 系統(tǒng)（又名ICTCLAS 2015 ）進(jìn)行分詞它是中科院張華平博士主持開發(fā)的中文 漢語分詞工具.主要功能包括中文分詞；詞性標(biāo)注；命名實(shí)體識(shí)別；用戶詞典功 能；支持GBK編碼、U1F8編碼、BIG5編碼。新增微博分詞、新詞發(fā)現(xiàn)與關(guān)鍵 詞提取功能。本文用到了在NLPIR官網(wǎng)上下載到的NLPntdll程序包.在 Microsoft Msual Studio 2012編程壞境中用C#高級(jí)語言程序?qū)LPIRdll C卄程序 包進(jìn)行調(diào)用.實(shí)現(xiàn)對(duì)網(wǎng)絡(luò)商業(yè)評(píng)論文本進(jìn)行批

22、量分詞處理和詞性標(biāo)注。主要程序 段如圖7所示：(!NLPIR_InitCT: 1CTCLAS2015", 05 "")System.Console.WriteLmeCInitICTCLAS failed!"); return;elseSYStem.Console.WiiieLiiieCIniiICTCLAS success!h);Console .WriteLineO:System. Console. WriteLme("分詞處理中一")；for (int i = 0; i < content.Count; i+*)zIntPt

23、r intPtr* XITIR_ParagraphPr ocess(coiitenti):String str = Marshal.PtrToStringAnsi(intPti);content_seg.Add(str)因7批量中文分詞程序段分詞結(jié)果示例：分詞前：物流快！服務(wù)好！物品嘉！分詞后：物流/n快/a ! Avt服務(wù)/v好/a ! /wt物品/n嘉/b ! /wt從上述結(jié)果可以看岀.本文己經(jīng)將網(wǎng)絡(luò)商業(yè)評(píng)論文本切分成一個(gè)個(gè)的詞語. “/”后面是對(duì)應(yīng)詞語的詞性標(biāo)注（如：代表動(dòng)詞，可對(duì)照中科院計(jì)算所漢語 詞性標(biāo)記集）.3）停用詞過濾評(píng)論文本在經(jīng)過去重、去空、中文分詞后.并非所有的剩下的詞語都

24、可以作 為特征詞.里面還有一些包含的信息量很低甚至沒有信息量的詞語.需要將它們 過濾掉，否則將會(huì)影響下文的分析的正確率。在信息檢索中.為節(jié)省存儲(chǔ)空間和 提高搜索效率.在處理自然語言之前會(huì)自動(dòng)過濾掉某些字或詞，這些字或詞即被 稱為Stop Words (停用詞)。本文采用了“詞性+停用詞表”的過濾方法。在上文己經(jīng)提到了中文分詞后的 詞語還帶有詞性的標(biāo)注.所以本文根據(jù)中科院(計(jì)算所漢語詞性標(biāo)記集將上述 停用詞詞性都寫進(jìn)StopworclPropsList里面.如圖8所示.然后對(duì)每個(gè)分詞后的 文本進(jìn)行遍歷掃描，把對(duì)應(yīng)詞性的詞語全部過濾掉。S topwordPropsLi s t.Add(!Tplf)

25、;StopwordPropsLi s t. Add(fFpba,!)： L 把S topwordPropsLi 51. Add( ,fpbci11);亦初八連詞StopwordPropsList. Add(rcB);StopwordPropsList. Add(wCw);廠并列連詞<J圖8停用詞詞性列表(部分)為了把評(píng)論文本中包含的停用詞過濾干凈本文還利用了哈工大停用詞表 進(jìn)行輔助過濾.在詞性過濾后再把文本中存在亍停用詞表的詞語過濾掉，進(jìn)一步 過濾掉評(píng)論文本中的停用詞。停用詞過濾結(jié)果示例：分詞后：第一/m次/qv在/p蘇寧/nz易/ad購(gòu)/vg購(gòu)買/v/wd購(gòu)買/v和/cc 售/v后/f

26、都/d很/d滿意/v/wd兀僅/c優(yōu)惠/vn事/n/wd卜次/t 繼續(xù)/v合/v又/c省/n作/v停用詞過濾后：第一蘇寧易購(gòu)購(gòu)買購(gòu)買售后都很滿意優(yōu)惠事 下次繼續(xù)合省作經(jīng)過上述步驟的數(shù)據(jù)預(yù)處理后.實(shí)驗(yàn)數(shù)據(jù)的數(shù)量如下表1所示:表1預(yù)處理后的評(píng)論數(shù)據(jù)數(shù)量京東美的京東海爾京東格蘭仕蘇寧美的F50-21W6EC5002-DG50E302TF50-21W61381129316362775步驟三，文本矩陣轉(zhuǎn)化目前.在文本情感分析中，主要的研究方法還是基于機(jī)器學(xué)習(xí)的方法。如果 想利用機(jī)器學(xué)習(xí)的方法進(jìn)行情感分析第一步就是要找一種方法將文本數(shù)據(jù)特征 符號(hào)數(shù)學(xué)化，將文本數(shù)據(jù)轉(zhuǎn)化為計(jì)算機(jī)可以識(shí)別的數(shù)字信息。最初的學(xué)者

27、利用傳 統(tǒng)的One-hot Representation的方式實(shí)現(xiàn)文本矩陣轉(zhuǎn)化.建立一個(gè)詞庫(kù)向最維度 等于詞表大小，某句文本評(píng)論中出現(xiàn)某個(gè)詞語，該詞語對(duì)應(yīng)的維度的值為1不 出現(xiàn)則為0用這種方法建立的文本矩陣是一個(gè)維數(shù)較大且稀疏的向量矩陣.使 后面情感分析的計(jì)算量大大增加.且準(zhǔn)確率不高。本文中是將詞語用一個(gè)口維實(shí) 數(shù)向量去表示，其基本的思想是通過訓(xùn)練將語料中的詞語映射到n維實(shí)數(shù)向量. 這種詞語的表示方式優(yōu)于Onehot Representation方法.11維向最不但包含了詞 語間的潛藏語義關(guān)系同時(shí)也避免了維數(shù)災(zāi)難。Rona 11 Collobei t和Jason We ston 于2008年推

28、出SENNA系統(tǒng)，使用詞向量方法去完成自然語言處理中的各種 任務(wù).例如.詞性標(biāo)注、命名實(shí)體識(shí)別、短語識(shí)別、語義角色標(biāo)注等。本文中也 利用詞向量的方法將文本數(shù)據(jù)轉(zhuǎn)化為結(jié)構(gòu)化的向量矩陣，進(jìn)一步進(jìn)行情感分析。 1）向量化概述文本矩陣轉(zhuǎn)化的第一步就是詞向量化，顧名思義.詞向量化即用空間向量模 型表示各個(gè)詞語，進(jìn)而提高計(jì)算機(jī)對(duì)自然語言的處理能力.詞向量具有良好的語 義特性.是表示詞語特征的常用方式。情感分析中把對(duì)文本內(nèi)容的處理簡(jiǎn)化成對(duì) 一定長(zhǎng)度的向量的處理時(shí).通常使用較低維度的空間向量來表示詞語的特征，避 免數(shù)據(jù)維數(shù)災(zāi)難。詞向量中每一維的值代表一個(gè)具有一定的語義和語法上解釋的 特征。詞向量化后便可以將評(píng)

29、論的文本數(shù)據(jù)轉(zhuǎn)化向量矩陣了。通常情況下，我們將 詞語w映射到I】維空間向量，即wcRn, 一個(gè)文本或者句子中含有m個(gè)詞語，把 這m個(gè)1】維空間向量堆放在一起.就得到整個(gè)文本或句子的空間向量模型一 個(gè)詞向量矩陣LeRw例如給定句子c含有m個(gè)詞語，lVi Sn,、苦為句子C的空 間向星矩陣L中的第$列.即可肝四疋口除了第K個(gè)分量為其余分星均為0.將一個(gè)文本或者一句評(píng)論映射成一個(gè)詞向量矩陣后.即將中文文本數(shù)據(jù)轉(zhuǎn)化 成計(jì)算機(jī)可以識(shí)別的信息格式繼而利用基于遞歸自編碼的深度學(xué)習(xí)方法進(jìn)行情感分析。2）文本矩陣轉(zhuǎn)化過程通過編寫程序產(chǎn)生隨機(jī)的向量詞表，每個(gè)詞對(duì)應(yīng)一個(gè)唯一的詞標(biāo)識(shí)號(hào)和詞向量.如圖9和圖10所示.例

30、如人識(shí)”的詞標(biāo)號(hào)為3.在詞向量表中.列號(hào)為3 對(duì)應(yīng)的列向量便是標(biāo)識(shí)“學(xué)會(huì)”的詞向量。詞向量表生成后，通過掃描，將每句評(píng)論轉(zhuǎn)化成一個(gè)詞向量矩陣將中文文本數(shù)據(jù)轉(zhuǎn)化成數(shù)字?jǐn)?shù)據(jù)計(jì)算機(jī)可以識(shí)別 的數(shù)據(jù)信息.進(jìn)而進(jìn)行文本情感分析。此步驟的詳細(xì)實(shí)現(xiàn)程序見附件。ocabubry.txt記棗本文件（卜）編輯化）怡式（O）色看（V）轄助（H）1（0） 要 退貨（3）認(rèn)識(shí)（4）書寫（5）影子（6）明確（7）容量（8）大空 （11）大走（12）女喜（13）好事（14）螺紋（15）敬請(qǐng)（16）端端正正（17）正大自 （21）3 （22）540（23）2（24）1（25）0（26）7 （27）6（28） M 總賬 （29

31、）5（3（31）9（32）上崗（33）保證（34）8（35）549（36）愛理不理（37）=（38）1S18（41）觀（42）見（43）工人（44）筆記本（45）0 （46） J ）覺（48）相交（生 （51）免得（52） Q （53）角（54） limes （55）不少（56） S （57）50L（58）裂開（61）公寓（62）大大（63）兩頭（64）觸（65）送貨（66）解（67）條例（68） j （71）w （72）欣喜（73）52.（74）501（75）如下（76） s （77）情愿（78）發(fā)音（121） 10-500（122）1800（123）180.（124）之潔（125）講解（1

32、31）不安（132）追蹤（133）譏荒（134）購(gòu)物券（135）追問 （14DA字（142）術(shù)語（143）有時(shí)候（144）好使（145）計(jì)費(fèi) （151）掛鉤（152）柜收（153）故事（154）轉(zhuǎn)嫁（155）老年人 （161）最少（162）小姨子（163）金友（164）原則（165）掉價(jià)）地段（82）z （83）當(dāng)年（84） x （85）不對(duì)（86）沖動(dòng)（87）獨(dú)一無二（88）： （91）GHF （92）18.5 （93）耐心 （94）長(zhǎng)此以往（95）580 （96）萬歲（97）055338； （101）不容（102）敲詐（103）鉆空子（】04）昱苗（105）® 價(jià)（106）0.2

33、m （107： 仃11）心肛（112）信誓旦旦（113）習(xí)慣性（114）明示（115）測(cè)試（116）二十 （126）好久（127： （136）西（137）6 （146）疑蚩（147： （156）加熱（157： （166）被（167）彷（171）不起狼（172）外層（173）勇氣（174） ok （17!（181）車子（182）清清楚楚（183）無話可說（遷4）省事（185）9. 21（186）9. 22（201）訂購(gòu)（202）形容（203）強(qiáng)悍（204）預(yù)先（205）天天（206）凌亂（207）（191）東大（192）超長(zhǎng)（193）近乎（194）廠商（195）裸（196）農(nóng)（197）反饋IH因

34、9詞表第11頁泰迪杯大學(xué)生數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告wwwtydmorg凸 Variable Editor - We2gFile Edit View Graphics Debug Desktop Window HelpX2八1n Stack: Base 國(guó) No valid plots for . 田 CD 日(?!3B We2 <50x7651 double1234567891011-0.0472(0.02550.0059-0.04980.0498-0.01970.03270.0401-0.0401-0.00480J >20.03210.02740.04410.01910.02040.

35、02640.0470-0.01400.02030020330.01070.0132-0.04550.02340.02460.0429-0.0216-0.04060.01923.4490e.-o.C40.00650.00880.00920.0173-13339.0.03100.01930.02060.01320.0060o.<5-0.00780.0068-0.01640.02990.0144-0.03610.02000.00630.03580.0149-9.2660.02520.01050.00530.0448-0.0413-0.0121-0.01880.01320.0365-0.0209

36、-0.(70.03020.00650.00970.0462-0.02940.00910.03740.03260.03440.0497O.<8-0.00630.02050.04630.02180.02830.01730.00300.04370.03710.0223O.<1 9-0.0410-0.02160.03160.0331-0.01050.00760.0247-0.04910.0131-0.0101O.<in0.04970.04860.00500.01130.01450.0296001760.01850.02420.0476O.<n 0.01720.03820.003

37、60.01070.02730.04670.01470.02000.00150.03190.(1 ?0 09194 l-0 01490.0900OOAQQ.n.niQ?q.OXQn.ei"omr-n.n?7Qomz-6.(圖10詞向最表步驟四，情感分析情感分析自從2002年由BoPang提出之后，獲得了很大程度的關(guān)注，特別是 在在線評(píng)論的情感傾向性分析上獲得了很大的發(fā)展文本情感分類在情感分析研 究中占有舉足輕重的地位，在信息爆炸的21世紀(jì).海量數(shù)據(jù)的情感分類研究吸 引了很多的研究者，如何深入學(xué)習(xí)文本的語義信息.準(zhǔn)確表達(dá)語義特征.提高情 感分類的準(zhǔn)確性是研究的目標(biāo)。目前，情感分析的主要研

38、究方法還是一些基于機(jī)器學(xué)習(xí)的傳統(tǒng)算法，例如.SVM、信息炳、CRF等.機(jī)器學(xué)習(xí)的第一次浪潮是淺層學(xué)習(xí).深度學(xué)習(xí)則是機(jī) 器學(xué)習(xí)的第二次發(fā)展浪潮。以往的情感分析主要是采用淺層學(xué)習(xí).但是無法學(xué)習(xí) 文本語義信息.隨著技術(shù)的發(fā)展和科技的進(jìn)步，人們的要求也隨之越來越髙。在 大數(shù)據(jù)的分析和處理上淺層學(xué)習(xí)存在的弊端導(dǎo)致情感分析遇到了瓶頸因此人們 將焦點(diǎn)轉(zhuǎn)移到了可以改善這一弊端的深度學(xué)習(xí)的研究。2003年Bengio等人提出 用神經(jīng)網(wǎng)絡(luò)構(gòu)建二元語言模型的方法；2006年.機(jī)器學(xué)習(xí)領(lǐng)域的泰斗，加拿大 多倫多大學(xué)教授Geoffrey Hinton和他的學(xué)生Riislan Salakhiitdinov在科學(xué) 上發(fā)表文

39、章，從此開啟了在學(xué)術(shù)界和工業(yè)界對(duì)深度學(xué)習(xí)的研究浪潮，他們提岀來 兩個(gè)觀點(diǎn)：其一.多隱層的人工神經(jīng)網(wǎng)絡(luò)具備著優(yōu)異的學(xué)習(xí)特征的能力.它學(xué)習(xí) 到的特征對(duì)樣本數(shù)擁有著更加本質(zhì)的刻畫使其更加有利于圖像可視化或者文本 等的分類任務(wù)；其二.深度神經(jīng)網(wǎng)絡(luò)在訓(xùn)練的時(shí)候存在一定的難度.這些可通過 噫層初始化M （layer-wise pre-tiaiiiing）的方法來有效的克服掉.在文章中是采用 無監(jiān)督學(xué)習(xí)來完成逐層初始化的工作的。2006年.Hinton等人基于深信度網(wǎng)絡(luò) （DBN Deep Behef Nets）提出了非監(jiān)督學(xué)習(xí)的貪心逐層訓(xùn)練算法，給解決深層 結(jié)構(gòu)中相關(guān)的優(yōu)化難題帶來了希望.之后提出了多層自

40、動(dòng)編碼器的深層結(jié)構(gòu)。后 來.Lecun等人采用的是卷積神經(jīng)網(wǎng)絡(luò)（CNNs ConvolutionalNeiiral Networks） 這是第一個(gè)真正具有多層結(jié)構(gòu)的學(xué)習(xí)算法，它使用空間的相對(duì)關(guān)系來減少參數(shù)數(shù) 冃進(jìn)而提高BP訓(xùn)練性能。2011年.Socher提出基于遞歸自編碼器（Recursive AiitoEncoder, RAE）的樹回歸模型用來分析句子的情感傾向性.本文引用Socher 提岀的半監(jiān)督RAE的深度學(xué)習(xí)模型進(jìn)行情感分析。1）半監(jiān)督RAE的情感分析模型概述a. 傳統(tǒng)的遞歸自編碼（簡(jiǎn)稱RAE）傳統(tǒng)的遞歸自編碼（簡(jiǎn)稱RAE）是自編碼方法的一個(gè)變種.它屬于深度學(xué)習(xí) 一種方法.近年來被S

41、ocher等人應(yīng)用于情感分析領(lǐng)域.這種深度學(xué)習(xí)的方法是 多隱層的神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu).可以逐層分析，優(yōu)化每一層學(xué)習(xí)得到的特征向量表示. 因此它抽取的文本特征向量可以更準(zhǔn)確的表達(dá)語義信息.提高分類結(jié)果。自編碼的作用是學(xué)習(xí)輸入數(shù)據(jù)隱含的特定結(jié)構(gòu)，傳統(tǒng)的自編碼會(huì)對(duì)輸入給定 一個(gè)樹結(jié)構(gòu).圖11表示的就是一個(gè)給定的遞歸自編碼的樹狀結(jié)構(gòu).此時(shí)假設(shè)我 們給出一個(gè)句子的詞向量的列表一（加），錯(cuò)誤！未找到引用源上 一層節(jié)點(diǎn)以及二叉樹結(jié)構(gòu)的輸入用一個(gè)包含一個(gè)父節(jié)點(diǎn)和兩個(gè)子節(jié)點(diǎn)的三元組 表示PF"）。每個(gè)子節(jié)點(diǎn)可以是一個(gè)輸入字向量比或者是樹中的非終端節(jié)點(diǎn)。 以圖11為例.我們有以下三元組：（&T嚀4），&

42、#174;Ty円）,（y3Ty2xJ）.其中隱層 表示必須與詞向量入的維度相同。(0000) (oooojV2=f(W(,)x2;yi + b)CoooHoooo(wf)y3=f(W(1,x1;y2 + b)XX2OGOOyi=f(W(:,x3;x4 + b)X3 X4圖11遞歸白編碼的樹結(jié)構(gòu)從這種樹狀圖中.我們可以計(jì)算父節(jié)點(diǎn)的表示。這第一個(gè)父節(jié)點(diǎn)向量人通 過子節(jié)點(diǎn)（22）"対4）：(1)其中.丿帳於是參數(shù)矩陣是偏差.n為空間向量的維度。我們乘以J）詞+瀘）兩個(gè)并置子節(jié)點(diǎn)參數(shù)矩陣J 亡心錯(cuò)誤！未找到引用源加入偏差項(xiàng)之后. 我們把每個(gè)結(jié)果帶入函數(shù)中如雙曲正弦中去評(píng)估所得到的向量.此外，

43、通過增加 重構(gòu)層（因中空心部分）垂構(gòu)該父節(jié)點(diǎn)的子節(jié)點(diǎn)的方式判斷得到的父親節(jié)點(diǎn)是否 能夠很好的表示子節(jié)點(diǎn)信息評(píng)估的方法之一就是如何更好的用n維向最表示為 了重構(gòu)在重構(gòu)層的子節(jié)點(diǎn)。= w(2)p + b(2)訓(xùn)練過程中.目標(biāo)是最小化重構(gòu)子節(jié)點(diǎn)與原來的子節(jié)點(diǎn)之間的誤差.即重構(gòu) 誤差。圖中矩形框中的部分是RAE方法中的一次迭代計(jì)算.在每次迭代中.采 用歐氏距離衡量衡量重構(gòu)誤差.如公式所示1Erec%c"-2（3）至此.一個(gè)三元組的向量表示確定.而樹形結(jié)構(gòu)中的其他三元組的計(jì)算也采第15貝泰迪杯大學(xué)牛.數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告wwwtqjdmorg用相同的計(jì)算方法，實(shí)質(zhì)上，就是重復(fù)上述動(dòng)作直至重構(gòu)誤

44、差達(dá)到設(shè)定的閾值。b. 基于半監(jiān)督RAE的深度學(xué)習(xí)模型傳統(tǒng)的RAE遞推自編碼是完全無監(jiān)督和一般情況下多字詞組的語義捕捉， 他的一個(gè)缺點(diǎn)就是詞與詞之間沒有建立聯(lián)系。我們擴(kuò)大傳統(tǒng)無監(jiān)督RAE的應(yīng)用 范圍到半監(jiān)督RAE引入半監(jiān)督RAE的機(jī)制.預(yù)測(cè)句子或者短語的情感分布。它的核心思想在于計(jì)算文章中的交叉墻誤差(cross-entropy eiTor)和重構(gòu)誤差(reconstruction eiror) 在半監(jiān)督RAE中.在每一個(gè)父節(jié)點(diǎn)上增加一個(gè)簡(jiǎn)單的softinax層.輔助預(yù)測(cè)類分布：rd(p; 6) - soft max(wlabelP)(4)第#貝泰迪杯大學(xué)牛.數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告wwwtqjd

45、morg假設(shè)有K個(gè)情感標(biāo)簽.是K維向量分布而且(如果只有兩類情 感分布：積極和消極，此時(shí)便是2位向量分布0,1或者1, 0)。圖12表示的-gjk 嗨 dk(p；&)就是一個(gè)半監(jiān)督RAE過程，讓如成為多項(xiàng)指標(biāo)標(biāo)簽t中的第k個(gè)元素項(xiàng).這 softmax層的輸出作為條件概率P(klh,c的表示，因此，交叉爛誤差是(5)Reconstruction error Cross-entropy error圖12半監(jiān)督RAE的非終端樹節(jié)點(diǎn)半監(jiān)督的RAE最終用下式表示語料庫(kù)中的每對(duì)(句子標(biāo)簽)：1XN (x,t)2E(x, t; 0) + 0(6)每個(gè)實(shí)體的誤差由貪婪RAE方法構(gòu)造的二叉樹上的所有節(jié)點(diǎn)

46、的誤差的總和構(gòu)成:sgT(RAE&(X)E（ci；C2s，Ps，t，&）每個(gè)非終端節(jié)點(diǎn)的誤差由它的重建誤差和交叉嫡誤差構(gòu)成：E（k；CqL, Ps，t,"=應(yīng)e&q；c2s；）+（l- «）EcE（Ps,t；0）（g）上式中的°為超參數(shù)，表示節(jié)點(diǎn)的重構(gòu)誤差在總誤差中所占權(quán)重。使用這個(gè)模型時(shí)預(yù)測(cè)句子的情感分布時(shí)，利用樹的的頂節(jié)點(diǎn)的向量表示，并 訓(xùn)練簡(jiǎn)單的邏輯回歸分類器。2）情感分析過程a.構(gòu)建半監(jiān)督RAE的模型通過人工標(biāo)記，得到積極、消極評(píng)論各占一半左右的數(shù)據(jù)集用于模型的構(gòu)建. 將經(jīng)過預(yù)處理和文本矩陣轉(zhuǎn)化的數(shù)據(jù)集作為輸入.通過以下步驟構(gòu)建半監(jiān)

47、督 RAE深度學(xué)習(xí)模型（本實(shí)驗(yàn)中的訓(xùn)練集和測(cè)試集是在模型訓(xùn)練過程中按照分別 占60%和40%隨機(jī)分配的）。訓(xùn)練模型：訓(xùn)練數(shù)據(jù)集作為輸入.利用L-BFGs算法訓(xùn)練模型.實(shí)現(xiàn)程序見 附件；么乙評(píng)價(jià)模型：將隨機(jī)生成的測(cè)試集用來測(cè)試上一步中構(gòu)建的半監(jiān)替RAE模型 并進(jìn)行評(píng)價(jià)在情感分析研究中.常用的評(píng)價(jià)指標(biāo)有準(zhǔn)確率.召回率F值等.本文中采用的是準(zhǔn)確率。本次建模的測(cè)試結(jié)果如圖13所示，用測(cè)試集測(cè)試 模型.達(dá)到了 85.13%的準(zhǔn)確率；圖13模型測(cè)試結(jié)果情感分析：利用上一步中構(gòu)建的半監(jiān)督RAE深度學(xué)習(xí)模型.分析本次實(shí)驗(yàn) 的實(shí)驗(yàn)數(shù)據(jù).分析得到每句評(píng)論的情感傾向性.結(jié)果如圖14所示：第k列 的情感標(biāo)簽表示相應(yīng)停

48、用詞過濾后的評(píng)論數(shù)據(jù)中第k行的評(píng)論的情感傾向 性，0表示消極1表示積極。京東美的F50-21W6、京東海爾EC5002-D、 京東格蘭仕G50E302T、蘇寧美的F50-21W6的評(píng)論情感分析結(jié)果分別存在圖14情感分析結(jié)果步驟五，屬性提取并統(tǒng)計(jì)本步驟主要是結(jié)合步驟三得到詞表和步驟四得到的情感分析結(jié)果.進(jìn)行統(tǒng) 計(jì).得到包含某屬性的評(píng)論數(shù)據(jù)中積極、消極評(píng)論所占的百分比。繼而分析用戶 對(duì)產(chǎn)品的某個(gè)屬性或者電商平臺(tái)的服務(wù)的滿意程度。1）根據(jù)步驟三中生成的詞表提取岀屬性相關(guān)詞并分類.結(jié)果如圖15所示.每 個(gè)屬性對(duì)應(yīng)的是步驟三中的詞表中屬性相關(guān)詞的編號(hào)。前面11個(gè)是電熱水第19貝泰迪杯大學(xué)生數(shù)據(jù)挖掘競(jìng)賽論

49、文報(bào)告wwwtq)cimorg器的屬性.后3個(gè)是電商平臺(tái)的服務(wù)質(zhì)量的屬性。莊性及狽號(hào).txt記審衣6 203 6 034733 10796 -22008853 S310?33399 5 501 3416417557444 保 格后耗熱流全肌料裝稅能全逹后 L 一昨S水蓋材安外性疾旳*2689 2458 2427 3972 39923288 2859 2192 2226 21313148 4259 5060 5654 61326531 4281 4531 4261 44664866 7399 6541 4360 45315654 5727 6850 4114453 4529 75854337 5

50、936 5921 7637 25754012 4283 4391 4399 4398 6399 6518 6： 4133 4393 4490 4549 4715 4730 4912 54(6539 74724520 4S37 5496 646945312867 4042 1088 4460 4597 4659 4051 4516152 41796007 6517 1867 437743432939 3854 4556 45654228 5093 5206 56914393 4549 4715 473071614645 5347 49124985 5146 5971 6503 73816277

51、6748 6748 76405467 3306 5519 5554 6468 6518文件(F)云58(E) Tfi式(O) SS(V) fffRtJ(H)第18貝泰迪杯大學(xué)生數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告wwwtq)cimorg第18貝泰迪杯大學(xué)生數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告wwwtq)cimorg圖15屬性相關(guān)詞提取結(jié)果2）利用程序遍歷.統(tǒng)計(jì)分析得出包含某個(gè)屬性相關(guān)詞的評(píng)論數(shù)據(jù)中的積極評(píng)論 與消極評(píng)論的數(shù)量.和各自占該商品的與該屬性相關(guān)的所有評(píng)論數(shù)量的比 重。具體實(shí)現(xiàn)程序見附件。23 結(jié)果分析將上述步驟五得到的結(jié)果進(jìn)行以下幾個(gè)方面的詳細(xì)分析：1）同一電商平臺(tái)銷售的同一產(chǎn)品的不同屬性分析.提煉該商品的競(jìng)爭(zhēng)優(yōu)勢(shì)

52、與劣 勢(shì)，并提出產(chǎn)品改進(jìn)方案。a.京東美的F50-21W6的各個(gè)屬性的積極百分比值比較結(jié)果如圖16所示，該電 熱水器最大的特點(diǎn)就是能耗較低.而對(duì)于美的公司來說.電熱水器的加熱和 控制方面需要進(jìn)一步的技術(shù)改進(jìn).以更好的吸引消費(fèi)者。第18貝泰迪杯大學(xué)牛.數(shù)據(jù)挖掘競(jìng)賽論文報(bào)告wwwtqjdmorg圖16京東美的F50-21W6的各個(gè)屬性的積極百分比值b.京東海爾EC5OO2-D的各個(gè)屬性的積極百分比值比較結(jié)果如圖17所示海爾 的這款電熱水器能耗、價(jià)格、加熱等方面較有優(yōu)勢(shì)，為了提高該產(chǎn)品的銷售 額.吸引更多消費(fèi)者.海爾公司應(yīng)該在產(chǎn)品的外觀和使用控制方面進(jìn)一步的 改進(jìn)。京東海 爾EC5002-D圖17京東海爾EC5OO2-D的各個(gè)屬性的積極百分比值c. 京東格蘭仕G50E302T的不同屬性的積極百分