統(tǒng)計(jì)學(xué)理論在大數(shù)據(jù)分析中的應(yīng)用

統(tǒng)計(jì)學(xué)是數(shù)據(jù)分析的靈魂，而大數(shù)據(jù)分析離不開統(tǒng)計(jì)學(xué)理論的支持，二者是相互關(guān)聯(lián)、相互影響的關(guān)系。換句話來說，大數(shù)據(jù)告知信息但不解釋信息，想要了解這些信息背后的內(nèi)涵與規(guī)律，就需要進(jìn)行數(shù)據(jù)分析，雖然借助計(jì)算機(jī)技術(shù)可以實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的評(píng)估與推斷，但沒有系統(tǒng)的數(shù)據(jù)科學(xué)作為指導(dǎo)，也很難保證數(shù)據(jù)分析的全面性與準(zhǔn)確性。而統(tǒng)計(jì)學(xué)理論無疑是數(shù)據(jù)學(xué)科中非常重要的一門，將其應(yīng)用到大數(shù)據(jù)分析當(dāng)中，不僅可以更好地從海量數(shù)據(jù)中提取規(guī)律、創(chuàng)造新價(jià)值，而且還能夠量化數(shù)據(jù)中的不確定性，提高數(shù)據(jù)分析的準(zhǔn)確率。由此可見，在當(dāng)前時(shí)代背景下，加強(qiáng)對(duì)統(tǒng)計(jì)學(xué)理論在大數(shù)據(jù)分析中的應(yīng)用研究，具有非常突出的現(xiàn)實(shí)意義。一、大數(shù)據(jù)的基本概述(一)什么是數(shù)據(jù)數(shù)據(jù)在拉丁文里指“已知”，代表已經(jīng)知道且存在的內(nèi)容，在英文中指的是“一組事實(shí)的集合，通過對(duì)其的研究與分析，能夠得出一定結(jié)論的，統(tǒng)稱為數(shù)據(jù)”。在我國，數(shù)據(jù)指的就是數(shù)值，數(shù)字、文字、圖像都可以是它的一種形式，具體來說就是指通過實(shí)驗(yàn)、計(jì)算得出的結(jié)果，可用于科學(xué)研究、設(shè)計(jì)和查證等當(dāng)中?？偟膩碚f，凡是用某種載體記錄下來的，并且可以反饋出一定信息量的，都可以稱之為數(shù)據(jù)，比如在遠(yuǎn)古時(shí)期，人類記載信息的方式就是結(jié)繩，進(jìn)入現(xiàn)代社會(huì)之后，人們獲取信息的渠道逐漸增多，信息的種類與數(shù)量也愈發(fā)增多，使得數(shù)據(jù)的呈現(xiàn)形式也發(fā)生了巨大變化，數(shù)字、文字、圖像、音頻都可作為它的載體。(二)什么是大數(shù)據(jù)大數(shù)據(jù)與數(shù)據(jù)的本質(zhì)區(qū)別就在于“大”，這里所說的“大”通常指量的增多，包括數(shù)量與種類。簡而言之，大數(shù)據(jù)指的就是巨量資料，這些資料通常來自于不同渠道，并以多元形式產(chǎn)生和存儲(chǔ)下來，具有實(shí)時(shí)性、復(fù)雜性、海量性等特征。我們的生活中處處有大數(shù)據(jù)，例如，神經(jīng)科學(xué)領(lǐng)域中，精神分裂癥、阿爾茨海默癥等病癥都被證明與大腦連接網(wǎng)絡(luò)有關(guān)，而功能性核磁共振成像技術(shù)就是通過持續(xù)產(chǎn)生大量高分辨率的大腦圖像，來幫助研究人員厘清大腦與潛在反應(yīng)之間的聯(lián)系。另外，在金融領(lǐng)域中，通過對(duì)大數(shù)據(jù)的收集、整理與分析，還能夠幫助企業(yè)衡量風(fēng)險(xiǎn)，做出更好的經(jīng)營決策。由此可以看出，大數(shù)據(jù)最核心的價(jià)值，不是體現(xiàn)在其大量、高速、實(shí)時(shí)等優(yōu)勢(shì)特征上，而是體現(xiàn)在對(duì)海量資料價(jià)值的挖掘和呈現(xiàn)上，這也是大數(shù)據(jù)分析的由來。(三)大數(shù)據(jù)分析的意義所謂的大數(shù)據(jù)分析，簡單來說就是指通過對(duì)過去發(fā)生的現(xiàn)象進(jìn)行大量的數(shù)據(jù)采集與分析，找到事物存在的原因，并形成有效結(jié)論，然后在此基礎(chǔ)上給出科學(xué)合理的指導(dǎo)性建議。大數(shù)據(jù)分析的主要目的不僅是為了得出結(jié)論，更是為了挖掘一切有用的信息資源，生成更具有價(jià)值優(yōu)勢(shì)的數(shù)據(jù)庫，為各行各業(yè)的發(fā)展提供指導(dǎo)。舉例來說，通過大數(shù)據(jù)分析，可以幫助大型服務(wù)類企業(yè)更好地進(jìn)行精準(zhǔn)營銷，提高市場(chǎng)占有率；也可以幫助中小微企業(yè)更快地進(jìn)行服務(wù)轉(zhuǎn)型，以免被市場(chǎng)所淘汰；同時(shí)還可以幫助傳統(tǒng)企業(yè)更好地進(jìn)行改革創(chuàng)新，探索出一條可行的發(fā)展之路。以上是從大方向來展現(xiàn)大數(shù)據(jù)分析的價(jià)值，從小方向上來看，大數(shù)據(jù)分析有著更為突出的優(yōu)勢(shì)作用，比如幫助企業(yè)降低成本、提高效率；及時(shí)解決各種問題和缺陷；開發(fā)新產(chǎn)品、做出正確決策；識(shí)別金牌客戶、躲避欺詐行為等等。二、統(tǒng)計(jì)學(xué)的基本概述(一)什么是統(tǒng)計(jì)學(xué)統(tǒng)計(jì)學(xué)是數(shù)學(xué)學(xué)科的分支，是指通過搜索、整理、分析等方式，來推理對(duì)象本質(zhì)和預(yù)測(cè)對(duì)象未來的一門學(xué)科課程，通常會(huì)運(yùn)用到除數(shù)學(xué)知識(shí)以外的其他學(xué)科知識(shí)，在眾多領(lǐng)域中都有廣泛應(yīng)用。換言之，統(tǒng)計(jì)學(xué)是一門認(rèn)識(shí)客觀現(xiàn)象數(shù)量規(guī)律性的學(xué)科，具有客觀、準(zhǔn)確和可檢驗(yàn)的特征，涉及到的變量有分類變量、順序變量、數(shù)值型變量等，按照其統(tǒng)計(jì)方法的不同，可以將統(tǒng)計(jì)學(xué)理論劃分為不同的類型，比如描述統(tǒng)計(jì)、推斷統(tǒng)計(jì)等，不同的統(tǒng)計(jì)方法所起到的作用也是有所差異的，在具體應(yīng)用過程中需結(jié)合實(shí)際情況進(jìn)行合理選擇。誤用統(tǒng)計(jì)學(xué)所帶來的影響非常大，輕則會(huì)導(dǎo)致描述面或推論面出錯(cuò)，造成最終結(jié)果的不準(zhǔn)確，重則會(huì)導(dǎo)致應(yīng)用領(lǐng)域出現(xiàn)重大變故，比如對(duì)醫(yī)療實(shí)踐的影響、對(duì)核能發(fā)電計(jì)劃結(jié)構(gòu)可靠性的影響等等，因此，合理應(yīng)用統(tǒng)計(jì)學(xué)非常關(guān)鍵。(二)統(tǒng)計(jì)學(xué)的作用統(tǒng)計(jì)學(xué)在我們的日常生活十分常見，對(duì)人們的生產(chǎn)生活起到了極大的促進(jìn)作用，任何人都可以利用統(tǒng)計(jì)學(xué)實(shí)現(xiàn)想要達(dá)成的目標(biāo)，比如學(xué)生可以用它估計(jì)自己是否被名校錄取、商人可以用它來制定銷售計(jì)劃、Netflix通過數(shù)據(jù)預(yù)測(cè)觀眾接下來想看的節(jié)目、政府可以用它來判斷是否要加強(qiáng)精神衛(wèi)生服務(wù)建設(shè)等等。從某種程度上來說，統(tǒng)計(jì)學(xué)既是國家宏觀調(diào)控的重要工具，同時(shí)也是企業(yè)管理與決策制定的重要依據(jù)，加強(qiáng)對(duì)其的有效應(yīng)用與分析，對(duì)國家和企業(yè)的未來發(fā)展都有巨大的推動(dòng)作用。三、統(tǒng)計(jì)學(xué)理論與大數(shù)據(jù)分析的關(guān)聯(lián)性(一)內(nèi)在邏輯關(guān)聯(lián)通過前文對(duì)統(tǒng)計(jì)學(xué)理論與大數(shù)據(jù)分析的相關(guān)研究可以看出，二者在本質(zhì)上的內(nèi)在邏輯是有一定關(guān)聯(lián)性的。以數(shù)據(jù)分析為例，統(tǒng)計(jì)學(xué)理論通常是借助各種理論進(jìn)行指導(dǎo)，并運(yùn)用數(shù)理分析工具來挖掘出具背后的規(guī)律，而大數(shù)據(jù)分析采用的是先進(jìn)技術(shù)手段，可以實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的分析與推斷，得出更為全面、具體的結(jié)論，充分挖掘出這些數(shù)據(jù)背后的規(guī)律。由此可見，傳統(tǒng)的統(tǒng)計(jì)學(xué)理論在數(shù)據(jù)分析這一方面，優(yōu)勢(shì)并不突出，而且在分析過程中還有可能受人為因素的影響，導(dǎo)致數(shù)據(jù)出錯(cuò)或遺漏，進(jìn)而造成分析結(jié)果出現(xiàn)較大誤差，但是基于計(jì)算機(jī)技術(shù)的大數(shù)據(jù)分析則可以很好地規(guī)避這類問題的發(fā)生，在分析結(jié)果的準(zhǔn)確性方面更具優(yōu)勢(shì)?？偟膩碚f，不管是統(tǒng)計(jì)學(xué)分析還是大數(shù)據(jù)分析，二者的基本思路、最終目標(biāo)都是一致的，都是通過深入挖掘數(shù)據(jù)資料，來構(gòu)建預(yù)測(cè)模型，并最終得出相應(yīng)結(jié)論的過程，所以二者的內(nèi)在邏輯存在較大的關(guān)聯(lián)性。(二)分析方式一致在統(tǒng)計(jì)學(xué)分析中，為了更好地對(duì)數(shù)據(jù)信息進(jìn)行挖掘，通常需要先進(jìn)行數(shù)據(jù)的統(tǒng)計(jì)與整理，將原本雜亂無章的數(shù)據(jù)變得更加有序，以便為后續(xù)尋找數(shù)據(jù)之間的規(guī)律做好鋪墊。同樣的，在進(jìn)行大數(shù)據(jù)分析時(shí)，也需要對(duì)各類數(shù)據(jù)進(jìn)行有效整合，形成一種可制表的數(shù)據(jù)形式，這樣才能更好地運(yùn)用計(jì)算機(jī)技術(shù)進(jìn)行數(shù)據(jù)規(guī)律的挖掘與探尋。所以，從一定程度上來說，統(tǒng)計(jì)學(xué)分析與大數(shù)據(jù)分析在分析方式上也存在關(guān)聯(lián)性，因?yàn)槎叩姆治鰧?duì)象必須是定量數(shù)據(jù)形式，而想要達(dá)到這一點(diǎn)，就需要提前對(duì)原始信息形式進(jìn)行轉(zhuǎn)化，雖然轉(zhuǎn)化的方式各不相同，但目的都是為了將這些數(shù)據(jù)變成可以制表的量化數(shù)據(jù)形式，所以總體上還是一致的。四、統(tǒng)計(jì)學(xué)理論對(duì)大數(shù)據(jù)分析的意義以及面臨的挑戰(zhàn)(一)統(tǒng)計(jì)學(xué)理論對(duì)大數(shù)據(jù)分析的意義隨著大數(shù)據(jù)、云計(jì)算等技術(shù)的不斷發(fā)展，各行各業(yè)的信息化程度大幅提升，這也是使得每天所產(chǎn)生的數(shù)據(jù)信息量越來越多，如何從紛繁復(fù)雜的數(shù)據(jù)中提取有用的信息資源，成為企業(yè)領(lǐng)導(dǎo)者與管理者亟需解決的難題。而大數(shù)據(jù)分析技術(shù)的出現(xiàn)，不僅可以有效解決上述問題，而且還能發(fā)揮更大的作用與價(jià)值，充分挖掘到數(shù)據(jù)背后的規(guī)律，為企業(yè)及個(gè)人制定戰(zhàn)略決策提供可靠依據(jù)。時(shí)代是不斷向前發(fā)展的，數(shù)據(jù)變化速度也非?？欤胍M(jìn)一步提升大數(shù)據(jù)分析技術(shù)的優(yōu)勢(shì)價(jià)值，還必須要重視對(duì)統(tǒng)計(jì)學(xué)理論的充分應(yīng)用，由于二者的內(nèi)在邏輯是相互關(guān)聯(lián)的，且分析方法存在一致性，因此，能更好地實(shí)現(xiàn)有效融合。從某種程度上來說，基于統(tǒng)計(jì)學(xué)理論的大數(shù)據(jù)分析，可以協(xié)助分析人員迅速搭建數(shù)據(jù)信息處理系統(tǒng)平臺(tái)，減少量化分析時(shí)的難度以及偶然性誤差，從而取得更好的數(shù)據(jù)量化效果。另外，在進(jìn)行大數(shù)據(jù)分析過程中，數(shù)據(jù)資料的前期收集、挖掘與分析等環(huán)節(jié)都需要建立相應(yīng)的數(shù)據(jù)模型，以免數(shù)據(jù)結(jié)果分析不符合要求，如果將統(tǒng)計(jì)學(xué)理論應(yīng)用到數(shù)據(jù)分析當(dāng)中，則可以實(shí)現(xiàn)對(duì)數(shù)據(jù)信息走向和波動(dòng)情況的有效預(yù)測(cè)，從而更快地了解客戶需求，為企業(yè)帶來更大的效益。(二)大數(shù)據(jù)分析面臨的挑戰(zhàn)隨著信息技術(shù)的持續(xù)發(fā)展，數(shù)據(jù)已成為一種新的資產(chǎn)類別，是企業(yè)和社會(huì)發(fā)展中非常重要的戰(zhàn)略資源，是大家搶奪的新焦點(diǎn)。應(yīng)用大數(shù)據(jù)力量可以幫助企業(yè)和機(jī)構(gòu)獲得更大的市場(chǎng)份額，提升自身的綜合競爭力，從某種程度上來說，大數(shù)據(jù)成為新的戰(zhàn)略制高點(diǎn)，而大數(shù)據(jù)分析同樣占據(jù)著舉足輕重的地位。在現(xiàn)階段的大數(shù)據(jù)分析中，處理非結(jié)構(gòu)化數(shù)據(jù)還沒有非常好的舉措，尤其是針對(duì)高維數(shù)據(jù)分析這一塊，主要目標(biāo)是通過開發(fā)有效方法來預(yù)測(cè)未來，如果樣本容量大，探索數(shù)據(jù)中每個(gè)子群體的隱藏結(jié)構(gòu)就變得非常困難；如果樣本容量小，則會(huì)被看作是“離群值”，因而難以獲取有效信息。此外，大樣本和高緯度相結(jié)合，還會(huì)帶來一系列問題，比如算法不穩(wěn)定性、計(jì)算成本增加等等，而且由于異質(zhì)性數(shù)據(jù)采用不同技術(shù)，擁有不同中心，所以還必須要開發(fā)更具適應(yīng)性和穩(wěn)健性的程序，才能保證數(shù)據(jù)提取的有效性，這對(duì)于當(dāng)前的數(shù)據(jù)分析人員來說還是存在一定困難的。除此之外，處理適量樣本與處理海量樣本所采取的措施是無法共用的，對(duì)高維數(shù)據(jù)的統(tǒng)計(jì)方法，也不一定適用于低緯度數(shù)據(jù)分析，這就要求研究人員必須使用新的統(tǒng)計(jì)思維與計(jì)算方法，而統(tǒng)計(jì)學(xué)理論在這方面起到了至關(guān)重要的作用，加強(qiáng)對(duì)這一理論的應(yīng)用研究與分析，可以更好地應(yīng)對(duì)大數(shù)據(jù)的異質(zhì)性、偶然內(nèi)生性等問題，但如何實(shí)現(xiàn)二者的有效結(jié)合仍是當(dāng)前的主要挑戰(zhàn)。五、統(tǒng)計(jì)學(xué)理論在大數(shù)據(jù)分析中的具體應(yīng)用(一)神經(jīng)網(wǎng)絡(luò)法神經(jīng)網(wǎng)絡(luò)法是統(tǒng)計(jì)學(xué)理論應(yīng)用大數(shù)據(jù)分析中非常重要的一項(xiàng)技術(shù)方法，其主要是通過模擬人的思維來實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的動(dòng)態(tài)推理，在模擬的過程中，通常需要先將數(shù)據(jù)信息進(jìn)行轉(zhuǎn)化，使其變成串行的指令，然后再遵循一定的規(guī)則邏輯進(jìn)行信息推理，并將信息在神經(jīng)元上的興奮模式加以科學(xué)儲(chǔ)存，最終實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的準(zhǔn)確推理。另外，考慮到數(shù)據(jù)信息的挖掘與處理會(huì)運(yùn)用到非常多不同的學(xué)科類型以及技術(shù)方法，交叉性質(zhì)的特征十分明顯，因此，將統(tǒng)計(jì)學(xué)理論與大數(shù)據(jù)分析進(jìn)行有效結(jié)合，也正好符合這種交叉學(xué)科類型，可以最大程度地發(fā)揮大數(shù)據(jù)分析的優(yōu)勢(shì)價(jià)值，實(shí)現(xiàn)對(duì)數(shù)據(jù)信息的動(dòng)態(tài)處理。(二)決策樹分析法決策分析法在經(jīng)濟(jì)統(tǒng)計(jì)中同樣占據(jù)著不可替代的位置，其主要以經(jīng)濟(jì)統(tǒng)計(jì)理論為依據(jù)，在具體應(yīng)用過程中，通過將多個(gè)事件或數(shù)據(jù)結(jié)果進(jìn)行有規(guī)律的排布，使之形成一種向外延伸的分支圖形，如同樹干一樣，以此來實(shí)現(xiàn)對(duì)數(shù)據(jù)的預(yù)測(cè)與分析。該方法相對(duì)于神經(jīng)網(wǎng)絡(luò)法而言，最突出的優(yōu)勢(shì)就在于其數(shù)據(jù)信息是自上而下的生成，也正因如此，使得這一方法在面對(duì)龐大的數(shù)據(jù)統(tǒng)計(jì)項(xiàng)目時(shí)，更能夠彰顯其優(yōu)勢(shì)特征。舉例來說，某項(xiàng)工程需進(jìn)行設(shè)計(jì)變更，為了保證全面性，設(shè)計(jì)師設(shè)計(jì)了多個(gè)方案，由于每個(gè)方案涉及到的內(nèi)容都有所區(qū)別，影響因素也各不相同，想要從眾多方案中選擇最佳的變更決策就變得尤為困難，而采用決策樹分析方法進(jìn)行數(shù)據(jù)分析，就可以很好地實(shí)現(xiàn)對(duì)多個(gè)數(shù)據(jù)結(jié)果的預(yù)測(cè)分析，從而選出最為有效的變更方案，保障工程項(xiàng)目的利潤收益。(三)粗集理論法雖然粗集理論法是統(tǒng)計(jì)學(xué)理論中的一種分析方法，但準(zhǔn)確來說更接近于數(shù)學(xué)范疇，其主要是通過上下近似集形式進(jìn)行數(shù)據(jù)分析，整個(gè)操作過程相對(duì)比較簡單，不需要大量數(shù)據(jù)的支撐，因而更適用于一些不確定數(shù)據(jù)資料的統(tǒng)計(jì)項(xiàng)目。就目前實(shí)際情況來看，粗集理論法在大數(shù)據(jù)分析中還屬于比較新型的思維分析模式，想要使其發(fā)揮更大的作用與價(jià)值，還必須要持續(xù)加強(qiáng)對(duì)該方法的應(yīng)用研究，尤其是要提高其在不確定經(jīng)濟(jì)要素轉(zhuǎn)化方面的優(yōu)勢(shì)，這樣才能更好地提升數(shù)據(jù)分析的準(zhǔn)確性與可靠性。(四)遺傳計(jì)算法遺傳算法是通過模擬達(dá)爾文的自然選擇機(jī)制來實(shí)現(xiàn)對(duì)數(shù)據(jù)模型的構(gòu)建，其最突出的特征就是依據(jù)自然界的生物進(jìn)化過程來搭建模型，可以最大程度地挖掘隱含性的數(shù)據(jù)信息，并通過遺傳算法使這些隱含信息得到延伸和優(yōu)化，從而獲取到更多的信息內(nèi)容，為大數(shù)據(jù)分析提供更為精準(zhǔn)有效的分析結(jié)果。從另一層面來看，該方法是將數(shù)據(jù)和計(jì)算機(jī)仿真進(jìn)行了結(jié)合，因而在大數(shù)據(jù)分析中占據(jù)更大的優(yōu)勢(shì)，不僅可以從特定群體中獲取數(shù)據(jù)信息，而且還能對(duì)這些信息進(jìn)行拓展，得出優(yōu)化后的數(shù)據(jù)結(jié)果，所以在預(yù)測(cè)數(shù)據(jù)信息走向和波動(dòng)情況方面，具有非常突出