基于商品評價數據的用戶需求分析-以手機為例

PAGEPAGEIII基于商品評價數據的用戶需求分析——以手機為例摘要：本文以數據挖掘的相關理論作為基礎，對手機客戶的網絡評論數據集進行挖掘，首先通過可視化技術挖掘評論特征，其次將網絡評論主題和情感相結合進行分類，挖掘評論的主題情感特征，再次將評論情感分析結果與客戶評論的其它屬性（如客戶等級、評分等級等）相結合，建立量化客戶細分模型，從而將評論的客戶進行細分，揭示評論客戶的潛在特點和價值，此外，基于客戶細分的結果，為了預知未來的客戶網絡評論的細分類別，采用有序多分類Logistic回歸分析方法建立關于客戶細分類別的預測模型。最后，針對數據挖掘結果進行總結，根據所得出的結論提出一些建議和下一步工作的展望，以期給企業(yè)、商家提供參考。關鍵詞：商品評價；評價數據；用戶需求；手機Abstract:basedondataminingtheorythispapermakesminingofnetworkreviewdatasetsofmobilephonecustomersfirstlyminingcommentfeaturesthroughvisualtechnologyfirstlycombiningnetworkcommenttopicandemotionclassification.Thirdly,combiningcommentsemotionanalysisresultswithotherattributesofcustomerreviews(suchascustomerratinggradeetc),establishingquantitativecustomersegmentationmodel,thensubdividingcustomersegmentationaccordingtothetopicemotionfeature;Besides,basedoncustomersegmentationresults,weestablishforecastingmodelaboutcustomersegmentationcategorybyordinalmulti-classificationLogisticregressionanalysisbasedoncustomersegmentationresults.Finally,aimingatdataminingresultssummarized,accordingtoconclusionsdrawnsomesuggestionsandfutureworkprospects,hopetoprovidereferenceforenterprisesandbusinesses.Keywords:commodityevaluation;evaluationdata;userrequirements;mobilephone

目錄一、緒論 1（一）研究目的和意義 11.研究目的 12.研究意義 2（二）研究現狀 31.消費者購買行為的研究 32.短句情感值計算 33.挖掘關聯關系 4二、手機客戶網絡評論的特征分析 5（一）基于可視化技術的特征分析 51.基于詞云的可視化分析 52.基于網絡語義的可視化分析 8（二）基于LDA主題模型的特征分析 101.LDA主題模型分析原理 112.LDA主題模型分析結果 11三、基于華為和蘋果手機用戶評論的需求分析 12（一）數據獲取 121.研究對象 122.數據抽樣 13（二）數據預處理 141.規(guī)范數據格式 142.分詞 153.依存句法分析 17（三）特征詞和情感詞提取 181.基于句法關系的抽取算法 182.抽取詞對結果(部分) 19（四）文本情感分析 191.建立情感詞詞庫 192.基于多策略的情感值計算 21四、基于調查的華為與蘋果手機用戶需求現狀分析 26（一）已滿足的用戶需求 261.華為P9和蘋果iphone6總體都是比較滿意 262.華為P9和蘋果幣hone6在手機質量和手感方面顧客較為滿意 26（二）未滿足的用戶需求 261.華為P9競爭點是手機款式和功能，而蘋果iphone6競爭點是手機質量和售后服務 262.華為P9顧客滿意總體低于iphone6顧客滿意 27五、基于用戶需求的華為與蘋果手機改進對策 27（一）相應進行降價 27（二）優(yōu)化社交功能，增加用戶粘性 27（三）搭建反饋平臺，了解用戶全方位需求 28六、總結與展望 29參考文獻 30致謝 32PAGE18一、緒論（一）研究目的和意義1.研究目的隨著互聯網高速發(fā)展，互聯網信息呈現爆炸式增長。淘寶、京東、亞馬遜等互聯網電子商務網站因此得到迅速發(fā)展，它們會定期舉辦購物節(jié)大促銷活動，吸引大批量用戶網上購物。如今網上購物成了潮流，這些電商網站擁有海量的商品，同時也擁有廣大的用戶群，它們真正實現了將傳統線下購買轉變成線上交易。線上交易為用戶提供了方便，克服了地域限制，給跨地域購買的客戶提供了便捷，用戶足不出戶就可以購買到自己稱心如意的物品。對于用戶，大部分用戶在購買商品之前都會首先關注商品的用戶評論數據，了解廣大用戶對該商品的評價，但是用戶面臨的一個主要問題是商品數量龐大，每個商品擁有的用戶評論數據量也極為龐大。若用戶通過逐一觀看商品評論的方式來定性判斷商品是否是自己想要的，這將耗費用戶較大的時間成本和精力，影響用戶的購買及時性，同時還可能造成商品不盡人意，影響用戶滿意度。而對于廠商，廠商無法通過如此大量用戶的評論，了解客戶的不滿與需求。而且也無法定位客戶眼中產品的不足之處，最終造成商品月銷售量停滯不前。用戶評價信息是用戶對產品使用及體驗后的第一反饋資料，具有很大挖掘價值。將其擱置而不利用是不明智之舉。正是由于Web信息挖掘的誕生解決了這些文本數據難分析的問題。因此，近年來Web信息挖掘受到計算機科學、經濟學、管理學等相關學科的廣泛關注。其中文本情感分析又稱評論挖掘或意見挖掘，是指通過自動分析某種商品評論文本內容，從文本中提取帶有情感傾向的用戶情感詞，用以反映用戶對產品態(tài)度是褒義或貶義，以及反映褒貶義的程度。利用對互聯網上商品評論信息的挖掘與分析結果，用戶可以了解他人對某種商品的態(tài)度傾向褒義還是貶義，以及褒義的程度或貶義的程度，進而選擇最優(yōu)購買決策。而通過分析用戶態(tài)度傾向和意見，廠商也能了解用戶需求點及產品不足點，對癥下藥，改善產品進而提高用戶滿意度，獲得更多忠實用戶，贏得競爭優(yōu)勢。和傳統的實際調研方式相比，情感分析通常結合了機器學習、數據挖掘及文本挖掘，對用戶情感進行分析，可以提供實時的用戶情感分析。并且具有時間成本少，操作便捷等優(yōu)點。另外互聯網的用戶評論信息在很大程度上反映了用戶的產品體驗感受，也能體現用戶對產品及服務的滿意程度。文章中提出的滿意度模型是基于文本情感分析模型計算出的特征詞情感值，構建用戶滿意度指標體系，賦予合理權重，計算滿意度，用以反映用戶對商品總體滿意情況。該指標還可以作為京東商城個性化推薦的參考指標。良好的個性化推薦能夠帶來更多的成交量，和更多的忠實用戶。2.研究意義對于購買者，通過展示用戶評論中的高頻出現詞，其能夠了解該商品用戶的關注問題，給其購買做參考，避免了買錯、不滿等不良因素。同時也減少用戶自身瀏覽商品評論所耗的成本，提高用戶的購買體驗。例如本文研究通過文本挖掘的分詞、過濾無用詞相關方法，對京東平臺上華為p9和iphone6的用戶評論數據進行文本特征詞抽取，并且利用情感分析得出在一定條件下，華為P9信號比蘋果iphone6信號強。對于信號屬性，華為P9使用者給予褒義評價，而對iphone6給予貶義評價。那么只要將此信息作為標簽打在產品介紹內，這樣對于手機信號有強烈需求的用戶則會優(yōu)先選擇華為P9，而不會去購買iphone6，用戶會因此節(jié)省其大量購買時間。對于廠商，廠商擁有大量用戶的評價數據，如何充分利用這些數據使這些數據變現成為了廠商們的關注要點。情感分析合理的提取出了已購買商品用戶對商品的評價態(tài)度，具體到商品特征的褒貶義，則可給廠商提供改善建議。同樣以信號為例，iphone6手機用戶對其信號表示不滿，那么蘋果公司針對該問題進行改善，增強iphone6信號接收能力，來提高用戶購買率。當然不單只有電商網站具備大量文本內容。社交平臺是基于大批量的用戶的互動而存在的，如微信、微博、QQ、論壇等。在這些平臺往往是熱點話題的產生地。雖然本文只對商品評論做分析，但文本分析對于文本性質數據是通用的。例如若政府想了解大眾對G20峰會開展的看法，通過提取新浪微博有關G20峰會報道下的用戶評論，利用文本情感分析，分析網民對G20峰會的具體看法，是正面或是反面的。通過此方法政府可以及時精確地收集、清楚大眾的情感傾向，了解產生不穩(wěn)定的因素，并及時作出相應調整。同時可以通過分析新浪微博大V的情感分析與大眾的情感分析關系，必要時可以通過大V言論對整個輿論事件進行調節(jié)作用，對于政府來說準確及時的把握住這些輿情導向有助于保證社會安定，維護公共秩序。（二）研究現狀1.消費者購買行為的研究Doubule（2005）研究了不同行業(yè)內在線客戶的購買前行為準備，研究對象主要分布在運動與健身產品行業(yè)、計算機硬件設備行業(yè)、美國服裝行業(yè)、旅游行業(yè)四類。研究結果顯示，一半以上的消費者會提前利用網絡查詢相關的商品信息，并且關注其他己購買此商品用戶的評論信息，在充分了解商品后，才會選擇購買，因此得出互聯網的商品評論是影響消費者做出購買抉擇的重要影響因素。吳麗云等（2015）通過對大眾點評網“家餐飲店網站數據進行研究，分詞并進行詞頻統計來描述消費者在消費時所關注的要素;Y'i等（2003）將商品的屬性劃分為四個方面，即商品名稱、商品的組成部分、商的的特點和功能、商品屬性的特點和功能。2.短句情感值計算國外學者的研究成果主要集中在短文本情感值計算方面，也可以說短句褒貶程度計算。其中包括Turney(2002），將一篇文章切分多個短句，并利用搜索引擎計算每個短句的情感值，最終利用簡單平均方法，得出短句的平均情感值，并以該平均值來代表整篇文章的情感值。該方法簡單易懂，但相比有監(jiān)督的機器學習方法得出的情感值精度稍低。之后，Dave等（2003）在Turney計算情感值方法基礎上做了一些改進。通過信息檢索技術對短句進行特征抽取以及特征賦權重，將特征權重進行累加所得來表示產品評論的褒貶義傾向程度，此類方法對傳統機器學習方法效果無明顯優(yōu)勢。Hatzivassiloglou等（2000）通過聚類方法將形容詞歸為兩類，一類褒義，一類貶義。并且該方法效果較為顯著，其分類效果高大90%，但由于需要連詞的作用，利用形容詞之間同義或反義的連接圖進行分類，因此其適用對象只限由連詞關聯的形容詞。Wilson等（2005）利用有機器學習的方法，選取短句中特征詞，并對其進行有監(jiān)督的學習，最終將文章歸類，判斷其主客觀及褒貶傾向。另外，Turney（2003）利用待判詞與基準詞（已判斷褒貶義）同時出現的概率來決定帶判詞的褒貶傾向。其假設帶判詞與基準詞同時出現的概率越大，待判詞的褒貶傾向越接近基準詞的褒貶傾向。Kim等（2004）將情感分為四個部分:主體、意見持有者、情感描述和褒貶傾向勝。整個事件過程可以認為是意見持有者對某個主題表達帶情緒的觀點或想法，則情緒可分褒貶義。之后，Kim等對意見持有者進行新的定義，即將與主題相距較短的人名或者機構名定義為意見持有者，并且引用WordNet工具對詞語的褒貶程度進行計算，并累加意見持有者距離較短的情感值，用以表示本句子的褒貶傾向。Popescu等（2005）依據商品名稱與商品屬性特征詞共現性對商品的屬性進行標注，并且分析句法結構，手工標記（特征詞、情感詞）的褒義傾向。Ghose等（2007）利用亞馬遜平臺交易數據，提出利用商家獲得商品價格溢價，計算用戶評論內使用詞語的“經濟價值”，用以判斷評論語句的褒貶傾向和強度。朱嫣嵐等（2005）基于HowNet提供的語義相似度和語義相關場兩種計算方法，分別計算待測詞與褒貶基準詞相似度之差并來表示該待測詞的語義傾向。姚天防等（2007）對汽車業(yè)商品評論進行研究，主要通過句法分析并提取其中主謂結構（SBV）和狀中結構（ADV）的特征詞與情感詞來描述語句表達內容，并且計算情感值來表示語句的褒貶義。3.挖掘關聯關系Zhuana等（2006）利用手工歸納的詞典，通過軟件訓練，抽取電影領域的語句中對應的極性詞語和屬性，并計算二者之間的最短路徑，用以挖掘其之間的對應關系。Nasukawa等（2003）手工構建的具備情感傳遞功能的數據庫，并利用匹配及句法分析，較為精確確認情感在元素之間傳遞關系。劉兵等（2005）,Hu等將在線評論表現格式歸為三類:a.對產品某個特性贊揚或批評的評論;b.即對產品某特性進行贊揚或批評的評論，同時屬于自由評論;c.無規(guī)律的自由評論。針對不同類別的評論，各有學者對其做相應研究。如對于產品某個特性贊揚或批評的評論，張紫瓊等（2010）利用詞性標注方法對商品屬性進行人工標記，并利用關聯規(guī)則提取屬性與詞語的關聯規(guī)則。對于自由評論，徐琳宏等（2007）利用頻繁項集挖掘方法提取名詞與名詞的頻繁項，并提取與其較近的修飾詞作為其情感描述，再利用這些修飾詞識別不頻繁屬性。4.其他應用Morinaga等（2002）通過自定義的情感詞典，計算商品特征詞與情感詞的距離來判斷評價語句的褒貶義，并且從褒、貶評價語句提取具有代表性的詞語作為該品牌的口碑。李艷紅等（2014年）基于Formell模型，根據詞頻計算詞匯權重，并提取權重TOP10屬性和用戶在線評分進行多元回歸建立筆記本電腦顧客滿意度模型;王曉瑩等（2013）基于模糊綜合評價模型及情感詞典，提取特征屬性情感詞，對詞頻數據進行聚類，并應用于綜合評價模型，計算京東商城顧客滿意度。二、手機客戶網絡評論的特征分析（一）基于可視化技術的特征分析1.基于詞云的可視化分析本文利用R語言對上文的預處理后得到的中文文本數據集先進行移除數字，處理停用詞等處理，然后進行中文分詞，構建語料庫和建立文檔一詞條矩陣，再結合Tagxedo軟件繪制各種樣式的詞云，來發(fā)現文本數據集中的信息和特征，這個過程中用到的R語言軟件包主要有:trn,rJava,Rwordseg,RColorBrewer。首先，本文將預處理得到的1473條評論看做一個整體，作為初始文本數據，利用R語言和Tagxedo軟件進行詞云分析，得到結果如下表1和圖1。表1對1473條評論的詞頻統計結果(前100個關鍵詞)圖11473條評論的詞云圖1中文字的顏色和大小反映了文檔中相應詞頻的高低和重要程度，不難看出，手機、華為、外觀、滿意、清晰等詞在在圖中呈現非常的突出、鮮明，結合表1的數據結果可知，這些詞的詞頻均較高?？梢姡~云圖7正確形象直觀地體現了客戶對華為手機產品多方面的優(yōu)點與不足的評價等相關信息，如滿意、漂亮、好看、不耐用、死機等。其次，為了對比觀察每月客戶對華為手機的評價的異同點，在下面的分析中將每月的客戶評價獨立的用一個詞云圖來呈現，其中詞的顯示大小代表詞頻的高低和重要程度，結果如圖2所示。圖2對1473條評論按月份分類的詞云從圖2的分類的詞云可以明顯地看出2015年5-8月客戶對華為手機的評論的核心主題等信息的變化，也可看出客戶對華為手機在這4個月來各方面的優(yōu)點和不足的評價變化趨勢，具體如下:（1）2015年5月客戶對華為手機的評論的核心主題為手感、設計、外觀、配件、信號、客服等，正面評價是滿意、漂亮、舒服、流暢等，負面評價是太難、發(fā)熱等;（2）2015年6月客戶對華為手機的評論的核心主題為外觀、物流、輸入法、電池等，正面評價是輕巧、實用、實惠、流暢等，沒有較突出的負面評價;（3）2015年7月客戶對華為手機的評論的核心主題為外觀、價格、照相、通話、電池等，正面評價是美觀、滿意、流暢等，負面評價是發(fā)熱、卡頓、死機等;（4）2015年8月客戶對華為手機的評論的核心主題為外觀、游戲、電池、客戶、像素、聲音等，正面評價是滿意、精品、速度快等，負面評價是卡頓、耗電、麻煩、不爽等。2.基于網絡語義的可視化分析本文在采用網絡語義的可視化分析過程中，將引入ROSTContentMiningSystem6文本挖掘軟件。該軟件是由武漢大學信息管理學院沈陽教授設計編碼的，此款軟件可以設定自定義詞表，可以快速高效地剔除與所需求的信息不相關的內容，篩選出文本中的高頻詞匯。本文將處理好的1473條評論文本用ROSTCM6進行“社會網絡和語義網絡分析”，得到表2和圖3。表2對1473條評論進行網絡語義關系頻數統計的結果圖3對1473條評論的網絡語義分析圖由上圖3可知，在評論樣本文本中“手機”、“華為”、“外觀”這三個詞出現的頻率比較高，成為整個網絡圖中三個重要的節(jié)點，和這3個詞靠得越近的詞與其關系就越密切。對圖3進一步分析可知:(1)與“手機”最密切有關聯的評價詞是“滿意”、“好看”這兩個詞，表明了總體上客戶對華為手機的評價是正面的，除了一些具體的情感評價詞之外，還有一些能夠展現客戶所關注的手機產品用途的詞語，如“拍照”、“功能”、“游戲”等;(2)“外觀”、“系統”、“運行”、“屏幕”等詞語出現的頻率也很高，可以作為二級詞匯，代表了華為手機產品的特點。所有這些都展示了客戶心目中的華為手機的整體形象;(3)以“很快”一詞為節(jié)點，周邊的“發(fā)貨”、“物流”、“速度”等詞分別與其形成網絡語義關系，表明了客戶對華為手機產品有著發(fā)貨很快、物流速度很快等正面的評價;(4)而以“電池”一詞為節(jié)點，與該詞形成網絡語義關系的詞主要有“發(fā)熱”、“不耐”、“續(xù)航”、“使用”等詞，表明了客戶對華為手機電池的評價情況為存在電池易發(fā)熱，不耐使用、續(xù)航能力差等方面的不足。（二）基于LDA主題模型的特征分析通過上文的可視化分析，我們從整體上了解了客戶評論中出現頻率較高的詞語以及這些詞語之間的網絡語義關系。為了進一步了解客戶所關注的評論主題，追蹤客戶評論的熱點問題，方便商家及時地知悉客戶對產品關注的熱點主題并采取相關的措施，本文采用基于LDA的主題模型分析的方法進行了分析。1.LDA主題模型分析原理主題模型(TopicModel]是一種使用概率的產生式模式來挖掘文本主題的新方法。TopicModel中假設主題可以根據一定的規(guī)則生成詞語，那么在已經知道文本詞語的情況下可以通過概率方法反推出文本集的主題分布情況。最具代表性的TopicModel是LDA(LatentDirichletAllocation)模型，LDA引入了超參數，形成了一個“文檔一主題一詞語”三層的貝葉斯模型。根據LDA模型可以獲得一系列主題詞概率分布和文檔主題概率分布，依據這兩個概率分布就可以檢測到主題傳播過程中的“主題遺傳”和“主題變異”。如果要生成一篇文檔，它里面的每個詞語出現的概率為:上面這個式子，可以用矩陣乘法來表示，如下圖所示:圖LDA主題模型計算原理的示意圖2.LDA主題模型分析結果根據上述的LDA主題模型分析原理，選取2.3節(jié)中預處理后得到的1473條評論數據集作為分析對象，先對總體數據集進行主題詞提取，然后將數據集以月為單位分成4個時間片段，即時間片段1到時間片段4分別為2015年5-8月每個月客戶評論的主題詞文本文檔，利用R語言進行編程，這個過程中用到的R語言軟件包主要有Topicmodels，程序詳見附錄1，所得的主題分析結果如表3、4。表3所有客戶評論的前8個主題結果通過表3的主題結果可知，在所有的客戶評論中，“做工”這一主題排在所有主題的首位，表明了總體上客戶最關注手機的“做工”，其次是“手感”，此外還有“耳機”、“設計”、“體驗”、“存儲”、“電池”、“包裝”等也普遍受到客戶的關注。表4按月份劃分的客戶評論前8個主題的演化結果由表4的按月份的LDA主題模型分析結果可知:隨著時間的變化，客戶評論的主題詞并不相同。2015年S月以，“外觀”為最，2015年6月轉變?yōu)椤白龉ぁ睘樽睿?015年7月又轉變?yōu)椤巴庥^”為最，而2015年8月則以“系統”為最。因此，推算不同時間客戶評論主題的變化趨勢，對于商家全面分析客戶對手機產品方面的需求和關注的熱點具有現實意義。三、基于華為和蘋果手機用戶評論的需求分析（一）數據獲取1.研究對象本文主要分析京東用戶對華為P9手機和蘋果iphone6手機的情感傾向。由于電子產品技術發(fā)展迅速，同一款手機會擁有不同型號、不同內存大小、不同手機顏色等，為了確定研究對象，本文選定京東商城分別搜索“華為P9","iphone6",按京東綜合指標降序排列，取第一家京東自營商店的用戶評論信息作為研究對象，對比分析用戶對華為P9手機與蘋果iphone6手機體驗反饋。2.數據抽樣本文分析的總體是京東自營華為P9和蘋果iphone6的所有評論數據，這兩個品種的評論數據在京東商城綜合排名中均列各自品牌第一。評論數據較為龐大，蘋果iphone6評論擁有44+萬條，華為P9評論擁有2.2+萬條。獲取數據方法采用R軟件進行爬蟲，獲取商店評論信息。一方面由于京東商城每天客戶訪問量大，為了保證京東商城服務器正常運行，京東自行自定了爬蟲限制規(guī)則，加大數據爬取的時間、財力、物力成本;另一方面大量的網頁訪問、解析對京東商城造成極大負擔，而且由于文本分析數據具有高維、稀疏特性，大量數據將帶來處理能力的局限性。綜合考慮，本文采用抽樣方案，以樣本量推測分析總體情況，科學反映出華為、蘋果手機目前市場評價情況，發(fā)現待完善的功能點。本文采用整群抽樣方法對數據進行科學有效的獲取，確保取得的樣本具有一定的代表性。（1）整群抽樣整群隨機抽樣，是將總體按一定標準劃分成群或集體，以群或集體為單位按隨機的原則從總體中抽取若干群或集體，作為總體的樣本，并對抽中的各群眾每一個單位進行實際調查。京東商城中店鋪下評論數據是自然被劃分多個頁碼，每個頁碼存放10條評論。同一頁碼內的評論數據是來自于不同用戶反饋的，可以認為評論之間差異大;而不同頁碼之間是根據相同規(guī)則劃分，認為頁碼之間差異小。因此商品評論數據具有整群隨機抽樣的特性，采用整群隨機抽樣抽取的樣本是有效，能夠科學反映總體的情況。具體做法如下:a.獲取指定商品的頁碼數，如1400000b.按照等概率的方法，隨機抽取頁碼數1000個。c.對選定的1000個頁碼內評論數據全部爬取獲得。d.以物理表形式存放SQLSERVER數據庫。（2）數據獲取過程數據采集過程主要利用網絡爬蟲技術結合hadoop分布式技術以及SQLSERVER的數據庫技術對用戶反饋信息進行爬取、儲存。選擇R軟件來獲取源數據。首先，安裝R3.1.1版本的軟件，安裝需要的安裝包，比如:XML,RODBC,jiebaR等。接著，利用google瀏覽器獲取頁面解析網址，該網址存放目標數據。進入評價頁面，進入目標頁面審查元素功能，在ne七”rk下獲取存放評論數據鏈接，獲取的鏈接存放著單頁評論數據?？梢酝ㄟ^更改該網頁頁碼參數，獲取其他頁評論數據。想要獲取正確存放數據的網站鏈接，需要留意鏈接類似為“html/text"或“json”的網址，并通過反復確認找到包含評論的i}RL鏈接。最后，利用R軟件爬取指定頁面評論數據，并且將結果存儲到SQLSERVER2008以表的形式存在，方便之后R調用RODBC包從數據庫提取評論數據。爬取的部分結果數據如圖3-1所示:圖3-1京東商城“iphone6”評論數據最終爬取獲取的評論總量情況如下表:表3-1華為P9,iphone6樣本量（二）數據預處理1.規(guī)范數據格式當獲取網上手機評論后，并不能對這些數據直接利用。主要原因是這些數據并不具有統一規(guī)范的格式，如容易出現一些錯別字以及重復等噪聲數據。而這些噪聲數據對分詞效果、以及情感分析結果都具有一定影響。因此需要提前對這些數據進行相應的標準化，即更正錯別字、以及調整錯誤的語法，和修改錯誤的標點符號等等，之后將調整后的評論數據進行下一步分析。2.分詞中文分詞即是以一定的規(guī)則將某一串漢字字符進行切分，并且切分成若千個塊，將一句完整的話切分成幾個詞或短語。由于一句話里含有多個重要的組成成分，它們往往是句子的中心，將它們提取則可以用來代表句子，方便統計分析。所以將手機評論數據進行情感分析前需要對每一句評論進行切割，切割成若干詞或短語組成。分詞這個過程也屬于自然語言處理的范疇，是文本分析的首要任務?，F在用來分詞的工具很多，比如NLPIR系統，它是由張華平博士團隊開發(fā)的，它可以利用C,Python,Java進行調用完成分詞功能。還有哈工大的LTP語言平臺，可以通過C++,Python調用其API接口進行文本分詞任務。還有一些軟件如R語言的分詞包Rwordseg,jiebaR等，這些工具各有各的特點，具體的方法介紹和用法可自尋搜索，這里就不做介紹。本文之所以采用結巴分析算法，在于該方法具有運行速度快，切詞效果精確，且具備自識別新詞匯的功能、同樣還具備將詞進行詞性標注的功能。而且R軟件中有現成的jiebaR包，利用worker函數，調整參數的形式，直接進行文本切詞?？梢岳肦軟件同時完成爬取、分詞兩項步驟。將分詞結果進行詞頻統計結果如表3-2、表3-3，分別表示iphone6手機、華為P9手機相關的統計結果。表3-2為“iphone6”手機相關詞頻統計結果。從中我們可以看出“手機”、“京東”、“蘋果”、“正品”、“不錯”這幾個詞出現頻率很高，可以直觀認為該手機產品總體反饋較為積極。“物流”、“快遞”、“很快，’.“快”的頻次也非常高，這些表示京東自營物流速度方面得到大部分用戶好評，但“物流”與手機本身并無關系，它是用戶對京東服務方面的體驗反饋。“價格”、“質量”、“服務”的出現頻次較高，說明用戶在手機上主要關注點集中在手機價格、質量。與手機性能相關詞匯如:“流暢”、“系統”等這些評價比例也較高.“屏幕”、“性價比”、“電池”、“手感”、“內存”、“發(fā)熱”等方面被反映頻率也不小?！巴庥^”、“聲音”、“顏色”、“拍照”、“清晰”、“攝像頭”、“像素”等也被用戶關注。綜上所述，手機質量、性能、價格、手機外型、耗電情況、像素大小等方面是用戶關注的焦點，然而目前我們還不能判斷，對于這些方面用戶保持的態(tài)度是褒義是貶義，如何度量用戶傾向程度，需要接下來的分析求證。表3-2iphone6手機相關詞頻統計同理，表3-3為“華為P9”手機相關詞頻統計結果。“手機”、“不錯”、“華為”、“支持”、“京東”詞匯出現很高，與iphone6詞頻結果相似，總體反饋不錯?！皣a”、“國貨”、“蘋果”高頻率出現，說明部分用戶具有將國產手機華為與蘋果手機進行比較的傾向?！八俣取?、“很快”、“物流”高頻出現依然反映京東物流獲得認同?！芭恼铡?、“照相”、“相機”、“攝像頭”在評價出現比例較大，遠遠大于iphone6中該詞匯出現頻率，可以推測華為P9多媒體功能受到用戶極大關注，尤其拍照功能。在評價比例依然較高的手機外形相關詞匯“屏幕”、“外觀”、“漂亮”、“顏色”。同樣比例較高有手機性能相關詞匯“流暢”、“功能”、“系統”、“發(fā)熱”、“運行”、“性能”等。與iphone6相同的是，“質量”詞匯較高頻率出現，說明手機質量一直是用戶關注焦點?！皟r格”在評論中出現比例弱于iphone6手機評價價格出現比例?！半姵亍薄ⅰ胺铡?、“充電”、“性價比”等同樣受用戶關注。表3-3華為P9手機相關詞頻統計3.依存句法分析依存句法主要是根據句子的語義或語法將其主要成分之間的關系用一條有向線來表示其中的依存關系。而在依存句法分析這方面較為權威的工具則是哈工大的LTP平臺。使用者可以通過多種途徑進行依存句法分析，比如利用R軟件通過調用相應的API接口進行依存句法分析，并提取出分析結果。還有就是現成的哈工大LTP網站平臺，該平臺具體介紹了相應的操作方法以及對應的分詞、依存句法基本知識。并且該平臺還具備在線進行依存句法分析的功能。只需將待分析文本復制輸入框中，點擊分析，即可獲得依存分析結果，其中結果有兩種形式存在，一種是依存樹的形式，一種是XML形式。該平臺提供的XML形式為接下來的本文特征詞、情感詞提取提供了有效的途徑。LTP平臺分析的結果如圖3-2所示。圖3-2LTP平臺依存句法分析結果哈工大的LTP平臺也為使用者提供XML格式數據，可以通過網頁鏈接修改相關參數獲取，即部分存儲格式如圖3-3所示:圖3-3依存句法XML格式數據（三）特征詞和情感詞提取有相關研究，基于特征詞和情感詞抽取可分兩種方法:一種基于詞法模板的抽取;一種基于句法分析的抽取?；谠~法模板的研究指的是分析特征詞、情感詞出現在一個句子的通常成分模板，并按照該模板進行詞匯提取，并進行組合的方法。而句法分析則是根據依存句法分析的結果提取對應特征詞、情感詞并進行組合的方法。而周紅偉(2015)}'6]通過對比兩種方法，實證句法分析對特征詞和情感詞對抽取效果更佳，所以本文采取句法分析對特征詞和情感詞對抽取。1.基于句法關系的抽取算法根據哈工大LTP平臺的相關介紹，其介紹的依存句法關系就有15種，有研究表明通常情況下特征詞、情感詞主要是集中在句子的某些關系結構中。如特征詞主要是存在于主謂關系((SBV)中，而情感詞或修飾詞則主要分布在狀中結構(ADV)中，其中定中關系、介賓關系以及前置賓語也分布了較少的情感詞。因此本文主要以主謂關系(SBV)和狀中結構(ADV)提取并組合華為P9及iphone6手機的特征詞、修飾詞、情感詞組合。主要利用R軟件對特征詞、修飾詞、情感詞進行提取。具體步驟如下:1.直接利用REST方式調用哈工大LPT平臺API，通過HTTP請求的方式從api.ltp-cloud.com域進行訪問。并且調整HTTP請求中指定參數來獲取對應的XhII.結果。鏈接如下:/analysis/?apikey=YOURAPIKEY&text=YOURTEXT&pattern=dp&format=xml其中YOURAPI一EY即為平臺注冊后可得到的一串特殊編碼的字符串，而YOURTEXT即為需分析的短句。2.利用R軟件XML包xmlParse函數對鏈接解析，獲取xm1數據，并提取相關數據，如id,cont,parent,relate等。3.最后將整合數據儲存在SQLSERVER數據庫中A表。4.利用A表與A表外關聯，限制關聯條件id=parent，并判斷relate值是否為主謂關系(SBV)or狀中結構(ADV)，如果是，則提取兩表cont內容，及對應的id，依次循環(huán)，直至不是主謂關系、狀中結構兩種關系為止。2.抽取詞對結果(部分)（1）華為P9抽取詞對結果?！靶詢r比”，“高”]、[“速度”，“快”〕、[“電池，“耐用，“全”〕、[“感，“好”〕“系統”，“流暢]、〔“質量”，“高”“性能”，“好，“音響效果，“好”]、〔“拍照”，“強大”“顏色”，功能”，〕、[“手，“好看”l、[“包裝”，“差”〕、[“送貨員”，“差”〕、〔“信號”，“穩(wěn)定”〕。（1）iphone6抽取詞對結果[“性價比，“非?！?，“高”]、〔“速度”，“不”，“給力”〕、[“功能”，“還”，“可以”“挺”，快”〕、[“電池，“太”，〕、〔“系統”，“沒得說”〕、[“質量”，非常，不錯〕、[“性能，很”，強大”〕、〔[“拍照，，，“清晰，，〕、[“顏色”，“偏淺〕、[“包裝，“消失”〕“手感”，“也”，“好”〕、“精美”〕、〔“信號”，消失〕。（四）文本情感分析1.建立情感詞詞庫本文建立的情感詞詞庫主要作用是將上一節(jié)已抽取出的特征詞、修飾詞、情感詞組合分別與其進行匹配，得出修飾詞的權重和情感詞的極值。情感詞庫具有兩列變量，第一列是詞匯，第二類是對應的極值。并且情感詞詞庫包括情感詞、副詞、否定詞，具體詞來源下面將一一介紹:（1）情感詞詞表該詞表主要來自于“知網”情感分析詞語集以及臺灣大學情感詞典兩個詞典里的詞語、情感值，“知網”情感詞典里負面情感詞836個、負面情感詞語1254個。而臺灣大學負面情感詞有8276個、正面情感詞2812個。另外根據自身需求，對未劃入以上兩個詞典的但在本次分析中出現的情感詞采取人工添加的方式，并且主觀賦予情感詞極值加入詞庫，用來豐富該詞表。（2）同義詞詞表同義詞詞表的主要作用是匹配出情感詞詞表中詞匯的同義詞，并將同義詞進行相應的賦值添加入情感詞詞表中。同義詞詞典的主要來源是哈工大LTP平臺下載的《哈工大信息檢索研究室同義詞詞林擴展版》。（3）副詞詞表副詞詞表的主要作用是匹配出帶有修飾強度的副詞，并賦予相應的強度值，用以計算句子中包括副詞修飾詞的句子情感值。修飾詞在句子的主要作用是強化或者削弱句子情感值。所以，將副詞詞表納入情感詞庫中是必要的。而對副詞賦予的權重值主要參照學者的研究結果，如藺磺等(2006)將副詞劃分六個層次而且對副詞賦給對應的權值。本文副詞詞表主要從“知網”情感分析詞語集中的程度副詞文檔中獲取建立的，并且考慮到對本文數據的適用性，另外添加本文出現的但不在“知網”詞典中的程度副詞進行對副詞詞典的完善。程度副詞詞匯以及對應的權重賦予值如表3-4所示:表3-4程度副詞詞語表（4）否定詞表否定詞詞表的主要作用是用于識別既含否定詞又含情感詞的的特征詞、修飾詞、情感詞組合，由于否定詞存在的復雜性，需要對含否定詞句子進行討論，判斷否定詞與修飾副詞的位置關系，并制定不同的計算情感值方法。當抽取的組合中只出現否定詞與情感詞而沒有修飾副詞時，則否定詞起著相反的情感傾向。當抽取的組合既出現否定詞又出現修飾副詞，則還要判斷否定詞與修飾詞所在的位置關系，若否定詞在修飾詞前，則否定詞起到削弱修飾詞強度的作用。若否定詞在修飾詞后，則否定詞起到反向情感傾向的作用。而且還要考慮否定詞出現的個數，當否定詞個數為奇數時，則以上面介紹方法計算，當否定詞個數為偶數時，則否定詞不起影響情感傾向的作用。本文中使用的否定詞詞表的主要來源網絡搜索的幾個常用的否定詞，并且結合本文文本數據中代表否定的詞匯共同構建的否定詞詞表。本文整個情感詞庫就由上面四張詞表共同組建。2.基于多策略的情感值計算本文將基于詞典、基于機器學習、基于依存句法的三種情感傾向分析綜合使用。對于不含情感詞的句子利用機器學習支持向量機模型進行識別，對于含有情感詞的句子又可分只含有情感詞、含修飾詞且不含否定詞、含修飾詞且含否定詞三種情況。對于上述四種情況的句子情感傾向值計算如下：（1）不包含情感詞利用支持向量機對句子進行識別，當句子只含特征詞卻無情感詞本文視為句子情感值為0。（2）只包含情感詞對于只包含情感詞的句子，其主要情感來源是情感詞，因此這種情況下對句子情感值的計算規(guī)則如式(3-1)所示，其中，F代表句子情感值，f代表情感詞的極值。（3-1）首先將通過依存句法提取出的特征詞、情感詞組與建立好的情感詞詞庫進行匹配，若情感詞詞庫內存在該情感詞，則獲取其對應的情感值，則認為該句子的情感值等于該情感詞的極值。（3）包括修飾副詞但沒有否定詞對于包含修飾詞但不包含否定詞的句子，其主要情感來源是情感詞和修飾詞對情感詞的情感加強或削弱兩塊，因此這種情況下對句子情感值的計算規(guī)則如式(3-2)所示。其中，F代表句子情感值，n代表情感詞前的修飾詞個數，f'(x)代表該情感詞的極值，of代表對應修飾副詞的權值。（3-2）首先將通過依存句法提取出的特征詞、修飾副詞、情感詞組與建立好的情感詞詞庫進行匹配，若情感詞詞庫內存在該情感詞或該修飾副詞，則獲取其對應的情感值或權重，并將二者相乘得到的值即為句子情感值。（4）包括修飾副詞也包括否定詞對于既包括情感詞又包括否定詞的句子，其需要分兩種情況進行句子情感值計算，因此這種情況下對句子情感值的計算規(guī)則如式(3-3),(3-4)所示，其中，F代表句子情感值，f代表情感詞的極值。（3-3）（3-4）其中，F表示句子情感值，n代表情感詞前的修飾副詞個數，f(x)代表該情感詞的極值，a;表示第i個修飾副詞的權值，酥Y,)表示否定詞與對應修飾副詞組合綜合取值函數，若否定詞在副詞后面則g（Yi）為一1*ai，若否定詞在副詞前面則夢Yi)為副詞權重的倒數即1/al。另外引用(3-3).(3-4.)公式計算前需要判斷某個修飾副詞對應的否定詞的個數，如果為奇數，則按照上面表達式計算，若為偶數時，則等于副詞權重與情感詞極值乘積所得。下面列出分析過程中出現的幾類特征詞、修飾詞、情感詞組合以及對應的計算:表3-5不同特征詞、修飾詞、情感詞組合的情感值計算案例程序設計與結果輸出:利用R軟件+SQL語句實現計算目的，具體步驟如下:（1）將情感詞典整合，并利用R軟件進行讀取，將特征詞、修飾詞、情感詞一一匹配出對應的權重或極值。（2）接著利用R里面sqldf包編寫SQL語句內CASEWI}N...END以及LEFTJOIN關聯語句對副詞與否定詞位置關系判斷，若情感詞在否定詞前面，并且否定詞個數為奇數，則否定詞與副詞綜合權值為(-1)*副詞權重;若情感詞在否定詞前面，且否定詞個數為偶數，否定詞與副詞綜合權值為1*副詞權重;若情感詞在否定詞后面，且否定詞個數為奇數，否定詞與副詞綜合權重為1/副詞權重;若情感詞在否定詞后面，且否定詞個數為偶數，則否定詞與副詞綜合權重為1*副詞權重;如果無否定詞，則情感詞權重。（3）最后將情感詞極值*綜合權重可獲取結果，此次計算利用多種軟件各種優(yōu)勢完成該計算任務，大大減少時間成本。部分結果提取匯總展示如下:華為P9:“外觀”:[“外觀”，“精美”，1]}[“外觀”，“挺”，“漂亮”，1.08][“外觀”，“很”，“漂亮”，2.025]“信號”:[“信號”，“很”，“好”，2.25][“信號”，“比較”，“弱”，-1.2]，[“信號”，“太”，“弱”，-1.5]iphone6:“外觀”:【“外觀”，“完美”，1.61勻，[“外觀”，“完好”，1]}【“外觀”，“高大”，1]“信號”:[“信號”，“不”，好”，-1.5]}[“信號”，“穩(wěn)定”，1]}[，’信號”，，’消失”，-0.42]“手感”:[“手感”，“不錯”，1.2]，[“手感”，“好”，1.5]。當然上部分計算是對每句評論計算特征詞情感值得分，最后還需將其匯總計算總體特征情感得分。假設評論中出現不同特征詞用集合S}SI,SZ,S3,...,S}表示，其包括“系統”、“外觀”、“性能”等，而這些特征詞在不同句子中表現的情感值集合用Wij（Wi1、Wi2、Wi3……Wij）表示，那么第1個特征對應的總體情感值如式(3-5)所示:（3-5）利用簡單的算術平均方法將描述同一個特征詞的情感詞進行平均計算，并用來表示整體該特征詞的情感傾向。根據以上公式，根據分析結果按三種情況考慮，如果計算值大于0，則表示該特征詞受到顧客的褒義傾向，而該值越大說明褒義程度越大。如果計算值小于0，則表示該特征詞受到顧客的貶義傾向，而該值越小說明貶義程度越大。如果計算值為0，說明該特征詞的總體趨于中性，不好不壞。依據上述思路計算結果，繪制柱狀圖。從下面兩張圖對比觀察圖3-4、圖3-5華為P9在樣式、款式、配件、顏色、音質、信號、手感、質量方面情感值在1.2以上，尤其是樣式、款式更受到用戶好評。性能、耗電、外觀、運行、系統、像素、屏幕、性價比、拍照等情感值稍弱些，在om范圍波動，但用戶依然比較看好。而手機發(fā)熱現象以及觸屏方面問題較為突出，總體為負面評論。再看iphone6在手感、質量、運行、觸摸屏、外觀、款式、樣式、音質方面情感值在1.2以上，其中手感、質量更受用戶好評。耗電、顏色、性能、性價比、外表、系統、容量好評度稍弱些。而拍照、配件、觸屏、信號、耳機、發(fā)熱等問題比較突出，總體處于負面傾向。二者對比，華為P9在手機樣式、款式、配件、顏色、信號、屏幕、拍照方面獲得情感值大于iphone6的情感值，尤其信號方面問題。而iphone6在手感、質量、外觀、運行、性價比、外表、觸摸屏方面獲得情感值大于華為P9，尤其在觸摸屏、手感和質量方面更為突出。圖3-4華為P9,iphone6手機特征情感值比較當然依靠平均水平來評比，分析結果可能與實際偏差，需要結合離散程度進行綜合考察，則計算特征情感值方差。特征情感值方差如圖3-5所示:圖3-5華為P9,iphone6手機特征情感值方差比較從圖3-5可知，華為P9中音質、手感、信號、質量、性能情感值分布比較離散，其情感值高低可能受個別用戶情感的影響，而電量、運行、配件、耗電、外表、容量、觸摸屏情感比較集中，情感褒貶更有代表性。同理，iphone6中手感、質量、拍照、顏色、電量等特征分布比較離散，情感褒貶代表性相對較弱，而運行、配件、耗電、外表、容量、觸摸屏、音質、外觀情感褒貶代表性較強。四、基于調查的華為與蘋果手機用戶需求現狀分析（一）已滿足的用戶需求1.華為P9和蘋果iphone6總體都是比較滿意從結果分析，用戶對華為P9和蘋果iphone6總體上都是比較滿意，給予了好評。其中華為P9和iphone6的滿意度分別為1.085,1.24都大于1，表示用戶對其偏褒義且程度較大。但具體到手機的少部分特征如手機發(fā)熱、觸屏，兩款手機都得到了負面的評價，作為智能手機的共性，手機發(fā)熱現象以及觸屏功能的問題急需得到改善更進。另外，蘋果iphone6在配件、信號、耳機三個特性中也得到用戶不滿，其情感值都為負值。2.華為P9和蘋果幣hone6在手機質量和手感方面顧客較為滿意從手機特征情感值分析顯示，華為P9在手機樣式、款式、配件、顏色、音質、信號、手感、質量方面情感值為1.2以上，尤其是樣式、款式更受到用戶好評。其手機性能、耗電、外觀、運行、系統、像素、屏幕、性價比、拍照等情感值稍弱些，在0}1范圍波動，但用戶依然比較看好。另外由于是國產機的關系，華為P9也得到大部分用戶支持。另一方面，iphone6在手感、質量、運行、觸摸屏、外觀、款式、樣式、音質方面情感值在1.2以上，其中手感、質量更受用戶好評。耗電、顏色、性能、性價比、外表、系統、容量好評度稍弱些。鑒于此，華為、蘋果公司可以通過對好評度稍弱的特性，進行合適的創(chuàng)新，以獲取用戶更加強度的喜愛。例如華為P9的雙攝像頭技術，就是一種新穎的想法。（二）未滿足的用戶需求1.華為P9競爭點是手機款式和功能，而蘋果iphone6競爭點是手機質量和售后服務根據本文的情感分析得出結果可知，華為P9的品牌情感得分確實大于iphone6的品牌情感得分，而且其功能點多，比得過iphone6，華為P9手機樣式、款式、拍照功能、手機顏色、手機音質、手機信號情感值大于iphone6的;但華為P9在售后服務情感值遠落后iphone6售后情感值，而且其質量情感值也低于iphone6情感值，蘋果iphone6手機手感情感值也大于華為P9的。2.華為P9顧客滿意總體低于iphone6顧客滿意根據滿意度模型結果，兩款手機在手機質量與售后服務對滿意度的貢獻度差額大于款式與功能對滿意度的貢獻度差額(差額指華為P9指標值減去蘋果iphone指標值所得)，其中iphone6售后服務情感值遠大于華為P9售后服務，最終蘋果iphone6的滿意度得分超華為的滿意度0.17。建議華為應加大手機售后服務力量，如耐心與網上用戶溝通，了解其遇到的問題，并合理解決其問題，以獲取售后服務上的滿意。五、基于用戶需求的華為與蘋果手機改進對策（一）相應進行降價華為AscendD系列是華為智能手機的旗艦系列，華為AscendD系列作為華為最高端的手機，在各個方面都要做到當年的頂尖水準，雙核與四核版之間能夠覆蓋更大的價格區(qū)間價格2900-3999元。AscendP系列主打高端時尚手機，價格2200-2900元。每年出一部，新機發(fā)布舊款降價。AscendG系列屬于高性價比中端機，價格900-1700元。AscendY系列主打入門級智能手機，價格800元以下。榮耀系列主打高性能中端機，價格1500-2500元。每年出一部，新機發(fā)布舊款降價。華為的智能手機進入歐美發(fā)達國家市場時，采取低價策略，迅速地贏得了一些低收入家庭的認可，讓他們體驗到了智能手機可以用手機上網的眾多好處，為其贏得了很多的市場份額，也提升了自身的品牌形象，增加了品牌的宣傳。（二）優(yōu)化社交功能，增加用戶粘性華為必須不斷的提高自己的設備方面的技術含量，改良現有產品的設計、鞏固并充分發(fā)揮自己的研發(fā)優(yōu)勢和成本優(yōu)勢，也必須繼續(xù)提升自己的產品服務水平，從而使一些經濟實力強的用戶成為自己的客戶，并充分利用自己積累的客戶資源來進一步拓展市場份額。加強與政府相關部門合作，充分利用政治帶動經濟。華為可以利用自己在技術方面的優(yōu)勢和在專利方面的優(yōu)勢，與跨國企業(yè)之間實現一定的合作，來拓展市場。（三）搭建反饋平臺，了解用戶全方位需求華為智能手機的銷售模式有兩種:一種是定制機，和諾基亞、三星一樣按電信運營商的要求生產手機。這種手機實際上是對運營商直銷，由運營商再通過其自己的渠道銷售;另一種是華為根據市場分析再研發(fā)生產的手機。手機通過中間商渠道銷售，比如手機賣場、電子商務網站等方式銷售。在城市中，除了大賣場和大型連鎖店外，還存在很多小型手機店。這些小型店雖然沒有那么大的規(guī)模，但是卻很多。由于這個特點，我認為華為可以充分把握機會，和它們進行合作，因為這些小型店的經銷商都是直接和消費者接觸的，所以既可以幫助華為了解當地的市場行情還可以及時的了解消費者的需求。所以華為可以讓它們代賣自己的一些機型，來了解哪些機型比較讓消費者滿意，從而在豐富自己營銷方面的網絡的同時還能夠及時的擴大生產，獲得市場份額和利潤。華為對銷售的終端方面的管理也是極其關鍵的，跟這些經銷商進行全面的交流，了解他們的銷售狀況和市場方面的影響因素是非常及時和準確的，并且他們所采取的一些舉措將會直接影響整個營銷方面策略的執(zhí)行情況。

六、總結與展望本文主要基于