第4講：定序回歸

1、第四章：定序回歸第四章：定序回歸以消費者偏好度研究為例以消費者偏好度研究為例4.1 背景介紹 我們在第一章提到，客戶是企業(yè)重要的無形資產(chǎn) 對于零售類企業(yè)來說，這就意味著消費者是企業(yè)重要的無形資產(chǎn) 什么樣的企業(yè)能夠準確迅速地了解其消費者，什么樣的企業(yè)就有可能在最短的時間內(nèi)占領(lǐng)市場 但是，怎樣才能了解消費者呢？4.1 背景介紹 在實際工作中，了解消費者的方法五花八門 最基本的莫過于一線工作人員的直接接觸，以及經(jīng)驗積累 例如，企業(yè)的客服人員往往能夠第一時間了解顧客的抱怨和不滿4.1 背景介紹 當然，除了被動地接受顧客的抱怨投訴以外，客服人員還可以通過主動聯(lián)系的方式了解顧客 這樣做的好處是能夠比較深入

2、地了解被訪問的消費者 但是壞處是時間精力耗費太大 因此，不適于大規(guī)模調(diào)查 而被訪問的顧客能夠代表其他的大多數(shù)消費者是一個很難回答的問題4.1 背景介紹 因此，管理者往往還要借助于其它的一些手段去更加主動地了解顧客 從統(tǒng)計學的角度講，就是要分析各種不同的消費者數(shù)據(jù)，以獲得更加準確的判斷4.1 背景介紹 有什么樣的典型數(shù)據(jù)可以分析呢？ 一種是實際交易數(shù)據(jù)（Transaction Data） 對于絕大多數(shù)現(xiàn)代化超市而言，此類數(shù)據(jù)非常容易獲得 此類數(shù)據(jù)真實準確地記錄了消費者的購買行為，非常準確地反映了消費者在復雜環(huán)境下的選擇和偏好 這是此類數(shù)據(jù)最大的優(yōu)點 但是，這也是此類數(shù)據(jù)最大的缺點 因為真實的購買

3、消費環(huán)境是極其復雜的 因此，如何控制去除各種干擾因素的影響非常困難4.1 背景介紹 有什么樣的典型數(shù)據(jù)可以分析呢？ 一種是試驗數(shù)據(jù) 顧名思義，試驗數(shù)據(jù)就是在一個實驗環(huán)境下獲得的數(shù)據(jù) 例如，有一新一舊兩種不同的產(chǎn)品。廠商希望對比消費者對這兩種產(chǎn)品的不同態(tài)度。在一個試驗環(huán)境下，可以首先招募一批志愿消費者，然后將他們隨機分組，分別嘗試新產(chǎn)品或者舊產(chǎn)品，最后做出評價4.1 背景介紹 有什么樣的典型數(shù)據(jù)可以分析呢？ 一種是試驗數(shù)據(jù) 顧名思義，試驗數(shù)據(jù)就是在一個實驗環(huán)境下獲得的數(shù)據(jù) 此類試驗最大的好處就是可以作隨機分組 因此，如果有其他因素（例如：消費者性別）也會同時影響消費者的偏好，那么通過隨機分組的方

4、式，該影響因素會自動被平均掉（至少在樣本量足夠大的情況下） 試驗數(shù)據(jù)所發(fā)現(xiàn)的相關(guān)關(guān)系有可能是因果關(guān)系4.1 背景介紹 有什么樣的典型數(shù)據(jù)可以分析呢？ 一種是試驗數(shù)據(jù) 但是，試驗數(shù)據(jù)也有其致命傷 那就是，試驗環(huán)境一般來說是高度簡化的，距離真實情景十萬八千里 我們有足夠的理由相信消費者行為在真實情景和試驗環(huán)境下是非常不一樣的 最后，甚至誰也無法保證我們招募的試驗者能夠有效地代表真實的消費者 這么看來，沒有什么了解消費者的方法可以被看作是完美的，但是它們都是有用的4.1 背景介紹 而本章將要演示的數(shù)據(jù)就是一個標準的試驗數(shù)據(jù) 更具體地說，本案例所關(guān)注的是一個新產(chǎn)品定位的問題 換句話說，生產(chǎn)廠商在具體開

5、發(fā)一款新產(chǎn)品之前，希望知道自己的目標客戶都關(guān)心產(chǎn)品的哪些特質(zhì) 顯然，這是一個對企業(yè)來說極其重要的問題4.1 背景介紹 在競爭日益激烈的市場上，為了保持技術(shù)或者產(chǎn)品的領(lǐng)先優(yōu)勢，每年企業(yè)都會投入很大的資源用于新產(chǎn)品研發(fā) 但是不幸的是，過去有研究表明，絕大多數(shù)新產(chǎn)品都不成功 在投放市場后，無法迅速產(chǎn)生足夠的銷量，因此無法產(chǎn)生足夠的利潤支撐企業(yè)的正常運轉(zhuǎn)，更無法彌補企業(yè)前期所作的研發(fā)投入 這樣的產(chǎn)品，往往在上市很短一段時間后，匆匆退出 這對企業(yè)顯然是一個巨大的損失4.1 背景介紹 導致一個新產(chǎn)品的失敗的原因眾多 有可能是產(chǎn)品的銷售渠道沒有鋪開，不夠暢通 有可能是企業(yè)的廣告投放不到位 有可能是促銷手段不

6、合適，還有可能使銷售團隊出了問題 在眾多原因中，產(chǎn)品定位的失敗往往是一個重要的原因 簡單地說，就是企業(yè)不了解自己的目標客戶到底需要什么 因此，生產(chǎn)了一款消費者不需要的產(chǎn)品 為了避免或者極小化該風險，所以很多企業(yè)在新產(chǎn)品立項的初期就會作消費者調(diào)查研究，以獲得對消費者偏好（Preference）的準確判斷，進而指導新產(chǎn)品的研發(fā)4.1 背景介紹 那么如何做消費者調(diào)查研究呢？ 最簡單的方法就是問卷調(diào)查 例如，將企業(yè)正在考慮的不同產(chǎn)品給消費者嘗試（如果還沒有生產(chǎn)出來，至少描述給消費者聽） 然后征求消費者的寶貴意見，希望知道他們到底喜歡哪一個產(chǎn)品或者功能多一些 以本章將要介紹的案例為例，一個手機制造商想要

7、推出一款面向商務(wù)人士的手機，他想知道對這樣的消費人群，手機的什么功能是最重要的？4.1 背景介紹 也許人們會問，為什么不把所有的功能都集中在一款高級手機上呢？ 這樣做的好處是該手機的功能將無比強大 但是，缺點也很明顯 第一、因為該手機集中了很多功能，所以其造價必定昂貴。但是，消費者是否愿意為那些他們并不認可的功能買單呢？那可無法樂觀 第二、為了實現(xiàn)很多功能，手機就必須在體積和重量上有所犧牲。如果犧牲過大，也會影響消費者的偏好程度 因此，實際的產(chǎn)品設(shè)計必須是一個權(quán)衡取舍的過程 在這個過程中，需要通過調(diào)查研究的方式理解消費者最看重什么，第二看中什么，最不看重什么，第二不看重什么。4.1 背景介紹

8、當消費者面對一個產(chǎn)品，他的態(tài)度如何評判呢？ 如果我們希望用第一章的線性回歸解決問題，那么就需要改消費者為該產(chǎn)品的偏好程度打出一個連續(xù)的得分 最好還是正態(tài)分布的！這可能嗎？不可能。這樣做會讓被調(diào)查者迅速失去興趣，失去配合的耐心 因此，消費者的評判過程一定要簡單！所以，實際工作中，人們只會問個大概 即：您對該產(chǎn)品是：很喜歡，一般喜歡，無所謂，不喜歡，還是極其不喜歡？這就簡單多了4.1 背景介紹 為了方便起見，人們常常將其編號 例如：5=很喜歡，4=一般喜歡，3=無所謂，2=不喜歡，還有1=極其不喜歡 請注意，這樣的編號只有代碼的意義，沒有任何數(shù)值意義 例如，我們不能說： 3（無所謂）+2（不喜歡）

9、=5（很喜歡） 因此，該數(shù)據(jù)從本質(zhì)上講是一個定性數(shù)據(jù) 但是，同一般的定性數(shù)據(jù)（例如：顏色）又不一樣的是：本數(shù)據(jù)有順序（Order）特征 我知道5（很喜歡）要優(yōu)于4（一般喜歡），4（一般喜歡）要優(yōu)于3（無所謂）等 因此，統(tǒng)計學上稱此類數(shù)據(jù)為定序（Ordinal）數(shù)據(jù)4.1 背景介紹 如果此類數(shù)據(jù)恰好是我們感興趣的因變量，那么前面所講的各種模型都不再適用 例如，線性回歸要求因變量是定量指標，邏輯回歸要求因變兩的取值只有兩個可能等 所以，我們需要一種特殊的，特別為定序數(shù)據(jù)設(shè)計的回歸方法 那就是下面將要講述的定序回歸（Ordinal）4.2 數(shù)據(jù)介紹 手機市場是一個競爭非常激烈的市場 為了確立自己在市

10、場中的相對優(yōu)勢地位，開發(fā)新功能是手機制造商常用的手段 因為與開發(fā)新產(chǎn)品相比，在現(xiàn)有產(chǎn)品的基礎(chǔ)上增加新功能所需要的投入少，而承擔的風險較小 因此不失為一種既快速又有效的方式 當企業(yè)決定為現(xiàn)有產(chǎn)品增加新功能時，往往面對眾多選擇 例如：下一個升級換代產(chǎn)品是增加數(shù)碼相機功能還是增加收音機或者MP3播放器功能？ 對這個問題的正確回答非常依賴于我們的目標客戶4.2 數(shù)據(jù)介紹 對于不同的目標客戶，他們對不同新功能的評價喜好是不一樣的 該喜好將直接決定消費者的支付意愿，對產(chǎn)品的實際銷售價格產(chǎn)生影響 有趣的是，在此價格形成過程中，企業(yè)為實現(xiàn)該新功能所耗費的成本不見得能起多大作用 因此，研究消費者對新功能的偏好就

11、有著特別重要的意義 我們尤其感興趣的是，當消費者面對不同功能取舍的時候（例如：有數(shù)碼相機但是沒有手寫筆），哪些功能更為消費者看重4.2 數(shù)據(jù)介紹 我們的數(shù)據(jù)來源于問卷調(diào)查 被調(diào)查對象是北京大學光華管理學院的MBA學生和高級經(jīng)理培訓班的學員 對于每一個被調(diào)查者，我們?yōu)槠涑尸F(xiàn)幾款具體的手機描述，然后要求被訪問者對其偏好程度打分（5度里克特量表） 所以在我們的實際數(shù)據(jù)中，有可能一個被訪問者評判了好幾款手機，因此會產(chǎn)生多條觀測 從統(tǒng)計學上講，來自同一個體的觀測肯定是相關(guān)的，因此需要特殊的回歸模型（例如：面板數(shù)據(jù)模型，Panel Data Model）來處理。但是，為了簡便起見，本案例假設(shè)所有樣本都是獨

12、立的。嚴格地講，這是一個錯誤的假設(shè)，相應(yīng)產(chǎn)生的結(jié)論是有可能有偏（Biased）的4.2 數(shù)據(jù)介紹 在為被調(diào)查這描述產(chǎn)品的時候，我們考慮了以下幾個產(chǎn)品屬性 首先我們考慮的是品牌 我們這里考慮了兩個知名的國際大品牌（諾基亞、摩托羅拉），一個亞洲地區(qū)的知名品牌（三星），最后一個本土知名品牌（波導） 我們考慮的手機功能有：數(shù)碼相機功能、收看電視功能、手寫筆功能、電話本多條記錄、MP3功能和游戲數(shù)目 詳細情況如下4.2 數(shù)據(jù)介紹變量類型變量類型變量含義變量含義變量名變量名變量水平變量水平因變量因變量對該產(chǎn)品的偏好程度1=根本不喜歡；2=比較不喜歡；3=一般喜歡；4=比較喜歡；5=非常喜歡自變量自變量手機

13、品牌諾基亞、摩托羅拉、三星和波導 有無數(shù)碼相機共二種（1=有、0=無） 能否收看電視共二種（1=能、0=不能） 有無手寫筆共二種（1=有、0=無） 電話本能否多條記錄共二種（1=能、0=不能） 有無MP3共二種（1=有、0=無） 游戲數(shù)目數(shù)值型4.2 數(shù)據(jù)介紹 我們?nèi)缓髮⑦@七個要素按不同方式組成12個產(chǎn)品組合，如下：4.2 數(shù)據(jù)介紹品牌品牌數(shù)碼數(shù)碼相機相機能否能否收看電視收看電視手寫筆手寫筆電話本能否電話本能否多條記錄多條記錄MP3游戲游戲數(shù)目數(shù)目諾基亞諾基亞無不能無能有3 有不能有不能有5 無能有不能無7波導波導有能無能無3 無不能無不能有5 有不能有能有7摩托羅拉摩托羅拉無能有能無3 有能

14、無不能無5 無不能無能無7三星三星有不能有不能無3 無能有不能有5 有能無能有74.2 數(shù)據(jù)介紹 然后對于上表中的每一款產(chǎn)品我們都會邀請多個被訪問者互相獨立地評估他們對該產(chǎn)品的偏好程度 由于我們被調(diào)查的對象是北京大學光華管理學院的MBA學生和高級經(jīng)理培訓班的學員的調(diào)查，因此可以假設(shè)目標人群是高端商務(wù)人士4.2 數(shù)據(jù)介紹4.3 描述分析4.3 描述分析4.3 描述分析4.3 描述分析 從最后行第一列可以看出，在我們的樣本中一共有352人被測試了波導手機，占整個樣本n=1451的24.26% 從同一列的第一行可以看出，在352個波導樣本中，有37個人給出了“1=根本不喜歡”的答案 這部分樣本（37

15、個）占整個波導樣本（352個）的10.51% 該比率是4個不同品牌中最高的，明顯地高于摩托羅拉以及三星 同樣的規(guī)律也出現(xiàn)在“2=比較不喜歡”這一行中4.3 描述分析 根據(jù)最后一列的第二行，我們知道在整個樣本中一共有263個樣本給出了2=比較不喜歡這個答案 其中有80個來自波導，是所有品牌中最多的，占263個樣本的30.42% 所有分析都似乎表明波導在我們的被測樣本中是一個比較弱勢的品牌 這和我們的目標人群是高端商務(wù)人群有關(guān) 如果我們面對的是另外一類消費人群，結(jié)論可能完全不一樣4.3 描述分析4.3 描述分析4.3 描述分析4.3 描述分析4.3 描述分析4.4 統(tǒng)計模型4.4 統(tǒng)計模型4.4

16、統(tǒng)計模型4.4 統(tǒng)計模型4.4 統(tǒng)計模型4.4 統(tǒng)計模型4.4 統(tǒng)計模型4.4 統(tǒng)計模型4.4 統(tǒng)計模型 定序PROBIT回歸模型應(yīng)該如何估計呢？ 從其推導過程來看，PROBIT回歸似乎也是一個線性回歸，只不過“因變量”不是Y，而是潛變量Z 因此如果人們能夠真地觀測到Z，那就可以用Z作為因變量做一個普通的最小二乘估計。所有的問題都能夠迎刃而解 但是，問題的難處就是Z是一個未知變量（否則為什么稱其為潛變量） 因此，最小二乘想法無法實施 那么應(yīng)該如何解決該問題呢？同0-1邏輯回歸一樣，我們將考慮極大似然準則4.4 統(tǒng)計模型4.4 統(tǒng)計模型4.4 統(tǒng)計模型4.4 統(tǒng)計模型4.4 統(tǒng)計模型 標準的似然

17、比檢驗（Likelihood Ratio Test）理論告訴我們，該差異，再樣本量足夠大的情況下，應(yīng)該服從一個自由度為p的卡方分布 對于本案例而言，一共有7個因素 其中，除了第一個因素手機品牌以外，每個因素都只消耗一個自由度，總共6個 但是，手機品牌有4個水平，對應(yīng)3個啞變量，共消耗3個自由度 因此，對本案例而言自由度為p=9 因此，我們可以近似地計算出模型全局檢驗的p-值，并以此作為依據(jù)，做相應(yīng)的統(tǒng)計推斷4.4 統(tǒng)計模型4.4 統(tǒng)計模型4.5 預測評估4.5 預測評估4.5 預測評估4.5 預測評估 同0-1回歸類似，以上結(jié)論非常簡單而優(yōu)美，而且非常有用 但是MCR隱含著一個假設(shè)，那就是不同

18、類型的錯誤預測（例如：把1預測成2，2預測成3，或者3預測成4）所帶來的損失都是一樣的 這常常是一個合理的假設(shè)，如果在整個樣本中各種偏好水平的消費者分布比較均勻可比 但是，如果該分布非常不均勻，那么故事就不一樣了 在那種情況下，我們應(yīng)該考慮加權(quán)的錯判概率WMCR 應(yīng)該對那些稀有的樣本賦予更多的權(quán)重，而對另外的豐富的樣本賦予較小的權(quán)重4.5 預測評估4.5 預測評估4.6 R編程 第二類方差分析（Type 2 Analysis）4.6 R編程4.6 R編程4.6 R編程4.6 R編程4.6 R編程4.6 R編程 下面嘗試按照不同的標準對消費者偏好予以預測 同前一章一樣，為了簡便我們沒有區(qū)分內(nèi)外樣本 這樣會夸大實際中的預測精度 首先考慮極小化MCR4.6 R編程 由此可見完全準確預測的樣本總數(shù)為：28+303+234=565 相應(yīng)的MCR=(1451-565)/1451=61.1%4.6 R編程 接下來考慮極小化WMCR 根據(jù)上表結(jié)果，我們知道各個偏好的先驗概率分