應(yīng)用統(tǒng)計(jì)學(xué)-緒論2015

馬昕經(jīng)濟(jì)學(xué)教研室電話mail:maxin@應(yīng)用統(tǒng)計(jì)學(xué)教學(xué)目的：信息時(shí)代是數(shù)據(jù)時(shí)代。決策已從過去以經(jīng)驗(yàn)為主轉(zhuǎn)變到科學(xué)決策。如何從大量數(shù)據(jù)中發(fā)現(xiàn)盡可能多的有用信息，從而把握事物特征，為科學(xué)決策提供依據(jù)，這是本課程要解決的問題。本課程是在學(xué)生掌握統(tǒng)計(jì)分析的基本知識和技能之后，以進(jìn)一步深化學(xué)生的量化分析能力為宗旨、以多元統(tǒng)計(jì)為中心的一門應(yīng)用性課程。課程內(nèi)容：第一章緒論第二章向量、矩陣與多維正態(tài)分布第三章方差分析第四章回歸分析第五章聚類分析第六章判別分析第七章主成分分析第八章因子分析第九章對應(yīng)分析第十章結(jié)構(gòu)方程模型教材：JamsMLattin等著，《多元數(shù)據(jù)分析》(英文版)，機(jī)械工業(yè)出版社參考書何曉群《多元統(tǒng)計(jì)分析（第三版）》，中國人民大學(xué)出版社,2012王學(xué)民《應(yīng)用多元分析》，上海財(cái)經(jīng)大學(xué)出版社理查德·約翰遜《實(shí)用多元統(tǒng)計(jì)分析》，清華大學(xué)出版社，2008（英文版）考核方法：讀書報(bào)告：30分（考試前交）期末考試（開卷）：70分教學(xué)資源位于：appliedmultistat@126.com(key：ncepuedu2013)：網(wǎng)盤課件課件例題數(shù)據(jù)第一章緒論多元數(shù)據(jù)分析的必要性多元數(shù)據(jù)分析方法概論多元數(shù)據(jù)的描述統(tǒng)計(jì)基本知識回顧一、多元數(shù)據(jù)分析的必要性數(shù)據(jù)分析從大量數(shù)據(jù)中發(fā)現(xiàn)盡可能多的有用信息，從而把握事物特征的過程事物特征的描述：變量/指標(biāo)每個(gè)變量/指標(biāo)數(shù)據(jù)：反映事物某一方面的特征一般來說事物通常具有多面性，即有多方面特征例：學(xué)生的能力、物種、國家經(jīng)濟(jì)實(shí)力、企業(yè)競爭力僅從一個(gè)方面往往不足以反映事物特性或個(gè)體之間的差異必須全面考慮事物的各個(gè)方面，才能對其正確認(rèn)識。統(tǒng)計(jì)學(xué)：單變量/雙變量分析描述統(tǒng)計(jì)集中趨勢離散趨勢變量分布異常點(diǎn)推斷統(tǒng)計(jì)：從樣本統(tǒng)計(jì)量推斷總體參數(shù)參數(shù)估計(jì)：樣本均值估計(jì)總體均值，假設(shè)檢驗(yàn)：總體均值或方差的檢驗(yàn)，兩總體均值/方差相等的檢驗(yàn)雙變量：相關(guān)分析：兩個(gè)隨機(jī)變量間的（線性）相關(guān)程度一元回歸：一個(gè)隨機(jī)變量對另一變量間的依存關(guān)系Simpson’sParadoxExample:44%ofmaleapplicantsareadmittedbyauniversity,butonly33%offemaleapplicantsDoesthismeanthereisunfairdiscrimination?UniversityinvestigatesandbreaksdownfiguresforEngineeringandEnglishprogrammesMaleFemaleAccept3520Refuseentry4540Total8060為什么需要多元數(shù)據(jù)-續(xù)兩變量分析有時(shí)會(huì)得到虛假結(jié)果Simpson’sParadoxNorelationshipbetweensexandacceptanceforeitherprogrammeSonoevidenceofdiscriminationWhy?MorefemalesapplyfortheEnglishprogramme,butitithardtogetintoMoremalesappliedtoEngineering,whichhasahigheracceptanceratethanEnglishMustlookdeeperthansinglecross-tabtofindthisoutEngineeringMaleFemaleAccept3010Refuseentry3010Total6020EnglishMaleFemaleAccept510Refuseentry1530Total2040兩變量分析有時(shí)會(huì)得到虛假結(jié)果Simpson’sParadoxInthisexample,thebivariateanalysis(cross-tabulationorcorrelation)gavemisleadingresultsIntroducinganothervariablegaveabetterunderstandingofthedataItevenreversedtheinitialconclusions性別錄取率專業(yè)？二、多元數(shù)據(jù)分析過程及方法反映對象行為的、可被觀測的所有特征面精選特征面子集行為數(shù)據(jù)測量模型模式多元分析方法行為—數(shù)據(jù)—結(jié)構(gòu)定比數(shù)據(jù)篩選變量/指標(biāo)SomeCommonPatternsinPointCloudsplanesfilamentsclustersoutliersDataAnalysis:FindingandInterpretingsuchPatterns多元數(shù)據(jù)分析方法概述多元分析的目的：探索數(shù)據(jù)的模式（結(jié)構(gòu)）多元數(shù)據(jù)分析的難點(diǎn)：維度太多使我們難以發(fā)現(xiàn)規(guī)律、把握重點(diǎn)多元分析方法的核心：概要和簡化工具：矩陣代數(shù)、統(tǒng)計(jì)軟件（SAS,SPSS,Stata等）具體方法聚類分析：按距離遠(yuǎn)近分類判別分析：給定樣本定類——親疏判別主成分分析、因子分析、對應(yīng)分析：找出主要因素，化簡數(shù)據(jù)方差分析多元回歸分析結(jié)構(gòu)方程模型GroupingDiscriminatingPrincipleComponent,Factoring，CorrespondenceInferring推斷exploring探索數(shù)據(jù)模式StructuralEquationModel課程重點(diǎn)強(qiáng)調(diào)方法的應(yīng)用而非理論推導(dǎo)強(qiáng)調(diào)方法的內(nèi)涵與幾何解釋強(qiáng)調(diào)SPSS軟件的應(yīng)用和結(jié)果的解釋牢記：從數(shù)據(jù)中獲取信息沒有確定的方法具體問題具體分析：把握機(jī)理三、多元數(shù)據(jù)的描述數(shù)據(jù)的計(jì)量尺度(measurementscale)：告訴我們從數(shù)據(jù)中可獲得哪些信息。品質(zhì)數(shù)據(jù)：計(jì)算無意義定類尺度：按窮盡和互斥原則將對象某種特征歸類通常用虛擬變量表示：定序尺度對象特征等級或順序差別的測度三、多元數(shù)據(jù)的描述數(shù)值數(shù)據(jù)定距尺度：測度對象特征的間距，不能做絕對比較。定比尺度：即可測度間距，又可做絕對比較。數(shù)值數(shù)據(jù)的矩陣表示：樣本數(shù)n，變量數(shù)p數(shù)據(jù)的矩陣描述注：若無特別說明，向量均指列向量四、統(tǒng)計(jì)基本知識回顧：單變量分析描述統(tǒng)計(jì)參數(shù)估計(jì)假設(shè)檢驗(yàn)1.描述統(tǒng)計(jì)描述數(shù)據(jù)的集中趨勢均值中位數(shù)眾數(shù)描述數(shù)據(jù)的離散趨勢極差方差、標(biāo)準(zhǔn)差變異系數(shù)異常點(diǎn)均值的代表性目的：描述數(shù)據(jù)分布與正態(tài)分布的可能偏離正態(tài)分布具有許多有利于統(tǒng)計(jì)的特性一般獨(dú)立隨機(jī)事件的分布都服從正態(tài)分布人的身高，產(chǎn)品質(zhì)量偏度：用來度量對稱性的指標(biāo)峰度：刻畫一個(gè)分布陡峭或平緩程度的指標(biāo)正態(tài)右偏左偏正態(tài)比正態(tài)更陡比正態(tài)平緩分布的偏度與峰度標(biāo)準(zhǔn)化變量對于任意變量x，將觀測值轉(zhuǎn)換成相應(yīng)Z值的過程稱為將該變量標(biāo)準(zhǔn)化，所得到的變量Z稱為標(biāo)準(zhǔn)化變量。

相對度量例：地區(qū)供電局?jǐn)?shù)據(jù)基本概念2、參數(shù)估計(jì)總體樣本變量觀測值華北電大的所有學(xué)生華北電大的所有學(xué)生中所有抽取的100名學(xué)生基本概念（續(xù)）參數(shù)統(tǒng)計(jì)量精確度準(zhǔn)確度偏誤標(biāo)準(zhǔn)差：小標(biāo)準(zhǔn)誤：小標(biāo)準(zhǔn)差：大標(biāo)準(zhǔn)誤：小標(biāo)準(zhǔn)誤差standarderror標(biāo)準(zhǔn)差standarddeviation抽樣推斷：從樣本統(tǒng)計(jì)量推斷總體參數(shù)參數(shù)估計(jì)：在未知總體參數(shù)的情況下，利用樣本統(tǒng)計(jì)量來估計(jì)總體參數(shù)的方法。參數(shù)點(diǎn)估計(jì)參數(shù)區(qū)間估計(jì)假設(shè)檢驗(yàn)：先對總體參數(shù)作一個(gè)假設(shè)，然后通過搜集樣本數(shù)據(jù)，用樣本統(tǒng)計(jì)量判斷對總體參數(shù)的假設(shè)是否成立參數(shù)估計(jì)：總體參數(shù)的點(diǎn)估計(jì)假設(shè)在總體X中，θ為未知參數(shù)（均值、方差、成數(shù)等）。由樣本（x1、x2…xn）構(gòu)造統(tǒng)計(jì)量來估計(jì)未知參數(shù)θ，稱為θ的點(diǎn)估計(jì)量。將某次抽樣的樣本觀測值，代入即得該估計(jì)量的一個(gè)點(diǎn)估計(jì)值。方法

矩估計(jì)法

極大似然估計(jì)法

最小二乘法設(shè)為待估計(jì)的總體參數(shù)，為樣本統(tǒng)計(jì)量，則的優(yōu)良標(biāo)準(zhǔn)為：點(diǎn)估計(jì)量的優(yōu)良性標(biāo)準(zhǔn)指樣本統(tǒng)計(jì)量抽樣分布的平均值等于被估計(jì)的總體指標(biāo)無偏性

設(shè)和是總體指標(biāo)

的兩個(gè)無偏估計(jì)量，有效性若，則稱為比更有效的估計(jì)量如果隨著樣本容量n的增大，樣本估計(jì)量在概率意義下越來越接近于總體真實(shí)值，則稱該估計(jì)量是待估參數(shù)的一致估計(jì)量。一致性一致性是對一個(gè)估計(jì)量的最起碼要求?！叭绻阍趎趨于無窮大時(shí)還不能正確地得到它，那你就不應(yīng)該做這件事”