《Python商業(yè)數(shù)據(jù)分析》案例：知識付費中顧客滿意度分析

Python商業(yè)數(shù)據(jù)分析知識付費中顧客滿意度分析19.1案例背景在線社交問答社區(qū)（OnlineSocialQ&ACommunity）極大地促進了知識的分享、交流和傳播。無論是在國內(nèi)還是國外，在線社交問答社區(qū)都呈現(xiàn)出蓬勃發(fā)展的勢態(tài)。在國內(nèi)，截止到2018年底，知乎的注冊用戶數(shù)已經(jīng)超過2億，問題數(shù)超過3千萬，成為中國最大的在線社交回答社區(qū)。在國外，也有Quora、StackOverflow等一般性或?qū)I(yè)性問答社區(qū)，匯聚了全世界不同國家和地區(qū)用戶的知識和經(jīng)驗。這些社區(qū)允許用戶公開提出問題，鼓勵用戶回答他人提出的問題。用戶也可以“關注”專家用戶，進而持續(xù)獲得相關領域的高質(zhì)量知識。19.1案例背景隨著免費知識分享的蓬勃發(fā)展，在線社交問答社區(qū)的運營方也開始思考如何將知識和流量變現(xiàn)。除了傳統(tǒng)的廣告投放外，平臺也積極地利用專家用戶的知識和影響進行盈利。盡管免費的知識社交允許用戶分享彼此的知識、經(jīng)驗和見解，但和任何免費模式一樣，大量的免費知識質(zhì)量參差不齊，存在“信息過載”的問題。為了獲取高質(zhì)量的知識，用戶逐漸形成知識付費的意向和需求。同時，部分在特定領域有著良好專業(yè)積累的用戶在此過程中建立口碑及認知，成為優(yōu)質(zhì)的知識提供者，他們可將自身知識包裝成產(chǎn)品或服務，并通過知識付費平臺售賣給知識付費者以創(chuàng)造商業(yè)價值。知識付費化符合平臺、知識需求方、知識供給方的共同利益。19.1案例背景付費知識產(chǎn)品應運而生，其中較為成功的是知乎于2016年推出的線上講座類知識產(chǎn)品：知乎Live。在知乎Live中，專家用戶可以自己設計一場1~2小時的講座，通過文字、圖片、語音、視頻等多種方式傳遞知識。一場Live同時允許眾多聽眾觀看，主講人可以通過文字、圖片、音視頻、幻燈片等方式向聽眾講授知識。每場Live的售價在10至500元不等。付費知識產(chǎn)品讓顧客、專家用戶和平臺都能獲益。顧客獲得了高質(zhì)量的知識，專家用戶獲得了直接的收益，平臺則能從中收取一定的管理費用。我國知識付費用戶規(guī)模呈高速增長趨勢。從宏觀來看，2018年知識付費用戶規(guī)模超過2億，2019年知識付費用戶規(guī)模已接近4億。從微觀來看，以知乎為例，截止到2020年2月底，知乎宣布其付費用戶數(shù)比去年同期增長4倍。19.1案例背景講座類付費知識產(chǎn)品：知乎Live

19.1案例背景知識消費不同于免費的知識分享，用戶群體發(fā)生了微妙的變化。在免費模式下，用戶在不同的問題下創(chuàng)作知識、閱讀知識，用戶和用戶之間分享和討論知識，呈現(xiàn)出較為對稱的地位。而在付費模式下，用戶分化形成兩大群體：知識提供者和知識付費者。一部分用戶提供知識，另一部分用戶消費知識。用戶和用戶之間變成了“講授”和“學習”的非對稱關系。免費模式的推動力是“分享”和“社交”，而付費模式的推動力必然是“購買”。和任何付費模式一樣，知識付費的核心是知識付費者心甘情愿地、持續(xù)地花錢購買知識，也就需要持續(xù)地提供高質(zhì)量知識、保證顧客的滿意度。作為消費者，聽眾可以對自己購買的Live進行評分，來表達自己對知識付費的滿意程度：主講人講得好不好？錢花的值不值？一場成功的Live不僅要有眾多聽眾愿意付費觀看，而且應該為主講人積累良好的聲譽和口碑，為他下一場Live吸引更多聽眾。19.1案例背景本案例試圖探究知識消費中哪些因素影響顧客的滿意度。首先，從單次購買來看，Live的價格是知識產(chǎn)品極為重要的信息。Live的價格既是顧客需要付出的經(jīng)濟成本，也可能是知識質(zhì)量的指示信號。更高的價格會提高消費者對產(chǎn)品的期望，當現(xiàn)實產(chǎn)生落差時，顧客更可能產(chǎn)生不滿意的情緒；而從相反的角度，高價格的產(chǎn)品往往意味著更優(yōu)秀的知識質(zhì)量，也可能讓顧客更為滿意。從多次購買的角度，顧客之前的購買記錄也可能會影響顧客滿意度，這包括顧客對過往消費Live的評價情況，以及過往消費Live的價格水平。過往評價高的用戶可能更為寬容，對所有Live都有較高的滿意度；而過往消費水平高的用戶有較強的購買力，往往也有較高的滿意度。此外，顧客本身的特質(zhì)還值得進一步挖掘：顧客到底對哪些內(nèi)容感興趣？具備哪方面的背景知識？某場Live是否能滿足顧客的需求？因此，顧客對特定Live的專業(yè)性同樣會影響顧客的滿意程度。顧客可能更傾向于深入了解自己熟悉的領域，也可能更傾向于探索自己未知的領域。當然，對于專業(yè)性程度不同的用戶，他們對知識產(chǎn)品的感知可能完全不同，也可能影響滿意度的影響機制。19.1案例背景知識付費中滿意度的影響因素

19.1案例背景學完本案例，你應該能夠：了解在線社交問答社區(qū)的免費內(nèi)容和付費內(nèi)容的運營模式及特點；使用doc2vec模型刻畫在線問答社區(qū)中的用戶特征；刻畫付費知識產(chǎn)品及其消費者的特征；預測付費知識產(chǎn)品的用戶滿意度。19.2數(shù)據(jù)介紹本案例的所有數(shù)據(jù)收集自知乎，包括其免費問答社區(qū)和付費知識產(chǎn)品（知乎Live）。截至2018年7月，我們從知乎上收集到1,756名主講人主辦的4,010場Live。這些Live下記錄了超過50萬條顧客評價，涉及超過27萬名聽眾。我們首先對數(shù)據(jù)進行了抽樣和清洗。由于聽眾數(shù)量過多，后續(xù)還要抓取每名聽眾在免費平臺上的活動，我們試圖從全部數(shù)據(jù)中提取一個有代表性的子集進行分析。我們使用系統(tǒng)抽樣法對顧客評價進行了抽樣，在網(wǎng)頁顯示的每頁評論中保留第一條評論。此外，為了分析歷史交易對顧客滿意度的影響，我們需要顧客有一定次數(shù)的購買記錄。因此，我們剔除了評價Live不足5場的聽眾。保留下來的顧客經(jīng)驗更為豐富，評分應該更為穩(wěn)定，能更好地體現(xiàn)他們的滿意程度。在剔除所有缺失值后，我們保留了8,538名顧客，并且獲取了他們從注冊知乎起至2018年7月在免費平臺上的所有行為。最終的數(shù)據(jù)包括3,911場Live、1,687名主講人和100,780條顧客評價。我們同樣抓取了主講人在免費平臺上的所有行為。我們重點記錄了顧客或主講人的四類行為：創(chuàng)建回答、創(chuàng)建專欄文章、點贊回答和點贊專欄文章。用戶信息付費平臺信息主講人數(shù)聽眾數(shù)Live數(shù)顧客評論數(shù)1,6878,5383,911100,780免費平臺信息創(chuàng)建回答數(shù)創(chuàng)建專欄文章數(shù)點贊回答數(shù)點贊專欄文章數(shù)157,41611,4353,519,540439,89819.2.1變量介紹首先，我們介紹可以直接收集到的數(shù)值變量。在顧客評價中，顧客對每場Live的評價中包含一個1~5星的評分，可以作為顧客滿意度的衡量指標。其次，每場Live會有明確的價格。通過顧客ID，我們可以將顧客對不同Live的購買和評價聯(lián)系起來，進而計算出顧客歷史購買均價和顧客歷史評價均分。某場Live的顧客評價19.2.1變量介紹其次，我們用文本表征學習的方法度量顧客專業(yè)性。顧客專業(yè)性表示顧客對于他購買的知識（Live）有多了解。對于同一位顧客而言，他對不同知識的專業(yè)性可能是不同的。在已有學術文獻中，有學者將對某人的描述和對技能描述的相似程度作為某人在該項技能上的專業(yè)程度。在該情境下，顧客的描述可以使用他在免費平臺上的行為記錄。然而知識（Live）的描述往往過于簡潔，無法提取足夠的信息。因此，我們采取了一種變通的方式：將主講人在免費平臺上的行為記錄作為他主辦Live知識領域的替代描述。一般來說，主講人在免費平臺和付費平臺上的知識領域具有一致性。免費社區(qū)上一位攝影領域的優(yōu)質(zhì)回答者，主講的Live一般也與攝影高度相關。這一方面取決于主講人的知識積累，另一方面也取決于他的聽眾基礎。因此，我們假設主講人在免費平臺上的知識分布和他所開講的Live內(nèi)容之間具有高度相關性?；谶@一假設，我們將用“聽眾-主講人”在免費平臺上知識分布的相似性代替“聽眾-Live”的顧客專業(yè)性。顧客在免費平臺上的行為記錄

19.2.1變量介紹具體來說，聽眾或主講人在免費平臺上是地位平等的用戶，他們會創(chuàng)作、點贊其他回答或?qū)谖恼?。我們抓取了所有涉及到的回答和專欄文章的所有文本。將一名用戶（包括聽眾或主講人）創(chuàng)作/點贊的所有回答/文章收集起來，就形成了該用戶的一份特征文檔，可以用來計算該用戶的知識分布。19.2.1變量介紹從用戶的特征文檔計算用戶的特征分布，本質(zhì)上是將特征文檔轉(zhuǎn)化成特征向量表征。我們使用Doc2Vec模型進行文本向量表征，將所有特征文檔轉(zhuǎn)化成200維的特征向量。與LDA話題模型相比，Doc2Vec保留了文檔中的詞語順序和句子順序。利用Doc2Vec模型，我們將數(shù)據(jù)集中的10,208名用戶（包括主講人和聽眾）的特征文檔，建模成10,208個特征向量，來表示用戶的知識分布。在得到用戶的知識分布向量后，我們可以用兩向量的余弦值計算兩名用戶（聽眾-主講人）的知識背景相似性，用以衡量聽眾對該主講人主辦的Live的專業(yè)程度。19.2.2數(shù)據(jù)獲取Step1-確定已發(fā)布Live的列表：首先要明確有哪些已發(fā)布的Live。我們可以在知乎Live的首頁（/lives）獲得Live的列表。需要注意的是，這份列表長度很短，而且不同登錄用戶展示的內(nèi)容也有所差異。這說明該Live列表并不是平臺上已發(fā)布的所有Live，而是知乎對不同用戶進行個性化推薦而產(chǎn)生的推薦列表。知乎Live首頁的推薦列表19.2.2數(shù)據(jù)獲取Step1-確定已發(fā)布Live的列表：找到更多的Live：在任何一個Live的詳情頁面內(nèi)，我們發(fā)現(xiàn)頁面底部有“發(fā)現(xiàn)更多”功能，即知乎對每場Live又提供了一個推薦列表，向觀眾推薦主題類似的Live。從每場Live的推薦列表中，我們可以不斷發(fā)現(xiàn)新的Live。因此，我們可以不斷遍歷已知Live的推薦列表，直到不能再發(fā)現(xiàn)新的Live為止。Live下的“發(fā)現(xiàn)更多”功能

19.2.2數(shù)據(jù)獲取Step1-確定已發(fā)布Live的列表：找到更多的Live；記錄每場Live的ID：Live的ID可以從Live的詳情網(wǎng)址中獲取。從Live首頁獲得初始Live列表；并根據(jù)“發(fā)現(xiàn)更多”功能擴展Live列表。19.2.2數(shù)據(jù)獲取Step1-確定已發(fā)布Live的列表：為了避免死循環(huán)，我們要記錄哪些Live的推薦Live已經(jīng)找到，而哪些有待查找。首先，initial_Live_ID_list里記錄的Live都需要“尋找推薦Live”。我們將它作為“待處理列表”，并且額外定義一個“已處理的Live列表”，即output_Live_ID_list。當還有未處理的Live時，我們從未處理Live中選擇第1條，來尋找它的推薦列表。如果找到的Live是已處理的Live，則跳過；反之，則應先檢查未處理Live中是否有該Live，若沒有則將其記錄到未處理Live中。當該Live的推薦Live都處理完畢后，則將其移入已處理Live列表，并從未處理列表中刪除。所有循環(huán)結束后，則得到了所需的Live列表，并將其保存。19.2.2數(shù)據(jù)獲取Step2-獲取已發(fā)布Live的基本信息：我們關心每場Live的售價等基本信息，這些信息記錄在Live詳情頁中。這部分信息的獲取相對簡單，使用urllib.request.urlopen()或requests.get()獲取源代碼，并利用BeautifulSoup()提取價格、時長、文件數(shù)、問答數(shù)、主講人ID等信息即可。Live基本信息

19.2.2數(shù)據(jù)獲取Step3-獲取已發(fā)布Live的評論信息：在新版知乎Live的網(wǎng)頁端，Live的評論列表只顯示部分用戶的評論。本案例采用的數(shù)據(jù)于2018年抓取自舊版知乎Live網(wǎng)頁端。同樣，Live評論頁對應單獨的網(wǎng)址，可以獲得評論人ID、評分、評論文本等信息。某場Live的顧客評價19.2.2數(shù)據(jù)獲取Step4-獲取用戶在免費平臺上的行為：在抓取Live簡介和評論信息的過程中，我們獲取到主講人ID和評論人ID。我們可以前往用戶的個人主頁抓取相應的信息。任何一位用戶都有個人主頁。值得注意的是，該頁面采取滾動式翻頁，即采用異步加載技術，需要從開發(fā)者工具中找到加載數(shù)據(jù)的真實網(wǎng)址。在個人主頁的“動態(tài)”標簽下記錄著該用戶的多種行為。我們重點關注其中的四類行為：贊同回答、贊同專欄文章、發(fā)表回答、發(fā)表專欄文章。可以通過verb或action_text字段進行區(qū)分。個人主頁-動態(tài)動態(tài)加載的源代碼19.2.2數(shù)據(jù)獲取Step5-提取用戶知識背景向量：假設我們對每名用戶生成了3類文檔：點贊的回答/專欄文章（VF，VoteFile）、創(chuàng)作的回答/專欄文章（CF，CreateFile）、所有回答和專欄文章（AF，AllFile）。我們以AF文檔為例，簡要介紹使用Doc2Vec模型進行特征向量表征。首先，對文檔進行預處理，使用jieba或PyLTP等第三方庫等對中文文本進行分詞，刪除停用詞等。然后使用gensim庫訓練Doc2Vec模型。Doc2Vec模型分為訓練和測試兩階段。在訓練階段，我們需要用到大量數(shù)據(jù)，遠遠超過電腦內(nèi)存。因此，我們將數(shù)據(jù)分批輸入到模型中，對模型進行增量式訓練。具體過程為從所有用戶中隨機抽取一個數(shù)據(jù)集，來初始化Doc2Vec模型。然后不斷地隨機抽取數(shù)據(jù)集，更新Doc2Vec模型，當模型訓練完畢后保存更新后的模型。19.2.2數(shù)據(jù)獲取Step5-提取用戶知識背景向量：get_random_data_set()函數(shù)負責從所有用戶中隨機抽取一定數(shù)量的用戶樣本，得到對應的特征文檔，并將這些文檔轉(zhuǎn)換成Doc2Vec模型可以處理的格式。假設用戶的AF數(shù)據(jù)（所有點贊/創(chuàng)作的回答/專欄文章）存放在目錄user_AF_document下，每個文件對應1名用戶，以用戶ID命名。那么該文件夾下所有文件名就對應用戶全體（all_user_list）。利用random.sample()從中隨機抽取一定數(shù)量的用戶，并讀取他們的AF文檔，將預處理后的結果用modes.doc2vec.TaggedDocument()進行處理，即可得到Doc2Vec模型所需的數(shù)據(jù)格式。利用models.doc2vec.Doc2Vec()函數(shù)能便捷地實現(xiàn)模型的初始化，其中Sample參數(shù)可以限制頻率過高的詞被采樣的概率；negative參數(shù)則表示是否要使用負采樣策略，以及應該抽取多少的“噪音”樣本，這些參數(shù)的取值可能會影響Doc2vec的結果，在計算機科學領域有更多的討論。而當我們希望得到對管理有幫助的知識或建議時，技術性的參數(shù)調(diào)整不應該起主要作用。無論在何種參數(shù)設定下，結論都應該是成立的、穩(wěn)健的。在定義了模型后，使用dataset對模型進行訓練，用model.save()將訓練好的模型保存到特定位置。19.2.2數(shù)據(jù)獲取19.2.2數(shù)據(jù)獲取Step5-提取用戶知識背景向量：增量訓練更新模型的過程比較簡單，只需要讀取模型，隨機生成新語料，用新的語料在原有模型的基礎上更新即可。這里需要著重介紹gc（GarbageCollector）模塊，該模塊用來進行垃圾回收，實現(xiàn)手動釋放內(nèi)存功能。由于每次訓練的數(shù)據(jù)量都很大，因此在使用dataset后，需要用del()將dataset顯式地刪除，并且調(diào)用gc.collect()釋放內(nèi)存。在內(nèi)存足夠大的設備上不需要這樣的機制。19.2.2數(shù)據(jù)獲取Step5-提取用戶知識背景向量：在模型訓練完畢后，我們將所有用戶的文檔輸入到模型中，即可輸出表征向量。將文檔處理成Doc2Vec可接受格式，然后用model.infer_vector()方法即可得到相應的向量表示，最后使用numpy庫中的savetxt()函數(shù)將向量儲存到特定位置。19.2.2數(shù)據(jù)獲取

19.3.1分析方法回歸分析是經(jīng)濟管理領域常用的統(tǒng)計分析方法，我們使用回歸分析來驗證Live當前價格、顧客歷史價格、歷史滿意度和顧客專業(yè)型等因素對顧客的滿意度的影響程度。統(tǒng)計分析方法建議使用R、SPSS等專業(yè)的統(tǒng)計分析軟件，在Python中，也可以使用statsmodels庫進行回歸分析。我們使用一個簡單的例子進行回歸分析。19.3.1分析方法用R軟件也可以得到相同的結果：19.3.1分析方法在將各變量標準化后，我們使用最基礎的回歸分析來檢驗知識付費中顧客滿意度的影響因素。模型1僅包括控制變量；模型2檢驗自變量的主效應；模型3檢驗交互效應。根據(jù)VIF統(tǒng)計量，各模型均不存在多重共線性問題。模型結果如下表所示：

模型1模型2模型3常數(shù)項8.56E-15(0)6.19E-05(0.024)1.10E-03(0.43)顧客專業(yè)性1.32E-02***(5.023)1.45E-02***(5.512)當前價格-3.34E-02***(-11.689)-3.34E-02***(-11.677)歷史均價9.81E-03***(3.372)1.07E-02***(3.64)歷史滿意度5.83E-01***(228.906)5.83E-01***(228.448)當前價格×顧客專業(yè)性1.21E-02***(3.927)歷史均價×顧客專業(yè)性-6.95E-03*(-2.572)歷史滿意度×顧客專業(yè)性-1.73E-02***(-6.605)控制變量Live市場6.89E-02***(16.171)6.37E-02***(18.435)6.34E-02***(18.339)問答數(shù)-4.66E-02***(-10.095)-7.59E-03*(-2.025)-7.60E-03*(-2.028)文件數(shù)2.11E-02***(5.672)1.61E-02***(5.349)1.63E-02***(5.421)Live音頻信息數(shù)5.18E-02***(9.594)1.53E-02***(3.497)1.55E-02***(3.553)主講人Live場數(shù)7.55E-02***(23.223)4.13E-02***(15.37)4.18E-02***(15.553)主講人知乎回答數(shù)1.12E-02**(2.97)4.10E-03(1.34)4.30E-03(1.406)主講人知乎文章數(shù)-3.03E-02***(-8.197)-1.85E-02***(-6.161)-1.91E-02***(-6.359)主講人粉絲數(shù)1.78E-02***(4.736)3.61E-02***(11.793)3.59E-02***(11.721)主講人關注數(shù)7.63E-03*(2.331)-1.46E-03(-0.541)2.30E-04(0.081)主講人擅長話題數(shù)-1.89E-02***(-5.908)-1.20E-02***(-4.615)-1.24E-02***(-4.779)調(diào)整后的R20.01470.35340.353819.3.2分析結論從上述模型可以看出，在其他條件一定時，顧客專業(yè)性對顧客滿意度有正向的影響，即顧客專業(yè)程度越高，對知乎Live的滿意度也越高。類似的，當前價格對顧客滿意度有負向影響，顧客歷史購買價格和歷史滿意度對當前Live的滿意度有正向影響。模型3中引入了當前價格、歷史均價、歷史滿意度和顧客專業(yè)性的交互項。我們發(fā)現(xiàn)顧客專業(yè)性在顧客滿意度中也具有調(diào)節(jié)效應。19.3.2分析結論首先，顧客專業(yè)性在“當前價格-滿意度”的影響機制中起到調(diào)節(jié)作用。在不考慮顧客專業(yè)性時，當前價格對滿意度有負向影響，當前價格越高，顧客滿意度越低。而在區(qū)分顧客專業(yè)性后，我們發(fā)現(xiàn)對于專業(yè)性低的顧客，當前價格的負面影響更強；而對于專業(yè)性高的顧客，當前價格幾乎沒有負面影響?；诔杀臼找胬碚摚╟ost-benefittheory），價格體現(xiàn)為顧客付出的經(jīng)濟成本，而收益則是顧客從Live中學到的知識、獲得的效用。另一方面，知識產(chǎn)品價格對知識產(chǎn)品質(zhì)量具有“信號效應”，一般認為價格越高的產(chǎn)品會講授更為專業(yè)的高階知識。由于知識產(chǎn)品的效用感知具有多樣性，不是所有用戶都能感知到產(chǎn)品帶來的效用。對于專業(yè)性高的顧客來說，盡管要支付較高的價格，但他能理解高價的知識產(chǎn)品“物有所值”，對價格變動的敏感性低。而對專業(yè)性低的顧客來說，他難以理解復雜的專業(yè)知識，因此更容易作出不滿意的評價。19.3.2分析結論其次，顧客專業(yè)性在“歷史價格-滿意度”的影響機制中起到調(diào)節(jié)作用。在不考慮顧客專業(yè)性時，歷史價格對滿意度有正向影響，歷史價格越高，顧客滿意度越高。而在區(qū)分顧客專業(yè)性后，我們發(fā)現(xiàn)對于專業(yè)性低的顧客，歷史價格的正面影響更強；而對于專業(yè)性高的顧客，歷史價格對滿意度卻有負向影響?；贖elson的適應性水平理論，個體在過去的經(jīng)驗中會