大數(shù)據(jù)分析方法

1

大數(shù)據(jù)是2012的時髦詞匯，正受到越來越多人的關(guān)注和談論。大數(shù)據(jù)之所以受到人們的關(guān)注和談論，是因為隱藏在大數(shù)據(jù)后面超千億美元的市場機會。大數(shù)據(jù)時代，數(shù)據(jù)挖掘是最關(guān)鍵的工作。以下內(nèi)容供個人學習用，感興趣的朋友可以看一下。智庫百科是這樣描述數(shù)據(jù)挖掘的“數(shù)據(jù)挖掘又稱數(shù)據(jù)庫中的知識發(fā)現(xiàn)，是目前人工智能和數(shù)據(jù)庫領域研究的熱點問題，所謂數(shù)據(jù)挖掘是指從數(shù)據(jù)庫的大量數(shù)據(jù)中揭示出隱含的、先前未知的并有潛在價值的信息的非平凡過程。數(shù)據(jù)挖掘是一種決策支持過程，它主要基于人工智能、機器學習、模式識別、統(tǒng)計學、數(shù)據(jù)庫、可視化技術(shù)等，高度自動化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助決策者調(diào)整市場策略，減少風險，做出正確的決策。數(shù)據(jù)挖掘的定義技術(shù)上的定義及含義數(shù)據(jù)挖掘(DataMining)就是從大量的、不完全的、有噪聲的、模糊的、隨機的實際應用數(shù)據(jù)中，提取隱含在其中的、人們事先不知道的、但又是潛在有用的信息和知識的過程。這個定義包括好幾層含義：數(shù)據(jù)源必須是真實的、大量的、含噪聲的;發(fā)現(xiàn)的是用戶感興趣的知識;發(fā)現(xiàn)的知識要可接受、可理解、可運用;并不要求發(fā)現(xiàn)放之四海皆準的知識，僅支持特定的發(fā)現(xiàn)問題。與數(shù)據(jù)挖掘相近的同義詞有數(shù)據(jù)融合、人工智能、商務智能、模式識別、機器學習、知識發(fā)現(xiàn)、數(shù)據(jù)分析和決策支持等。----何為知識從廣義上理解，數(shù)據(jù)、信息也是知識的表現(xiàn)形式，但是人們更把概念、規(guī)則、模式、規(guī)律和約束等看作知識。人們把數(shù)據(jù)看作是形成知識的源泉，好像從礦石中采礦或淘金一樣。原始數(shù)據(jù)可以是結(jié)構(gòu)化的，如關(guān)系數(shù)據(jù)庫中的數(shù)據(jù);也可以是半結(jié)構(gòu)化的，如文本、圖形和圖像數(shù)據(jù);甚至是分布在網(wǎng)絡上的異構(gòu)型數(shù)據(jù)。發(fā)現(xiàn)知識的方法可以是數(shù)學的，也可以是非數(shù)學的;可以是演繹的，也可以是歸納的。發(fā)現(xiàn)的知識可以被用于信息管理，查詢優(yōu)化，決策支持和過程控制等，還可以用于數(shù)據(jù)自身的維護。因此，數(shù)據(jù)挖掘是一門交叉學科，它把人們對數(shù)據(jù)的應用從低層次的簡單查詢，提升到從數(shù)據(jù)中挖掘知識，提供決策支持。在這種需求牽引下，匯聚了不同領域的研究者，尤其是數(shù)據(jù)庫技術(shù)、人工智能技術(shù)、數(shù)理統(tǒng)計、可視化技術(shù)、并行計算等方面的學者和工程技術(shù)人員，投身到數(shù)據(jù)挖掘這一新興的研究領域，形成新的技術(shù)熱點。這里所說的知識發(fā)現(xiàn)，不是要求發(fā)現(xiàn)放之四海而皆準的真理，也不是要去發(fā)現(xiàn)嶄新的自然科學定理和純數(shù)學公式，更不是什么機器定理證明。實際上，所有發(fā)現(xiàn)的知識都是相對的，是有特定前提和約束條件，面向特定領域的，同時還要能夠易于被用戶理解。最好能用自然語言表達所發(fā)現(xiàn)的結(jié)果。商業(yè)角度的定義數(shù)據(jù)挖掘是一種新的商業(yè)信息處理技術(shù)，其主要特點是對商業(yè)數(shù)據(jù)庫中的大量業(yè)務數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助商業(yè)決策的關(guān)鍵性數(shù)據(jù)。簡而言之，數(shù)據(jù)挖掘其實是一類深層次的數(shù)據(jù)分析方法。數(shù)據(jù)分析本身已經(jīng)有很多年的歷史，只不過在過去數(shù)據(jù)收集和分析的目的是用于科學研究，另外，由于當時計算能力的限制，對大數(shù)據(jù)量進行分析的復雜數(shù)據(jù)分析方法受到很大限制?，F(xiàn)在，由于各行業(yè)業(yè)務自動化的實現(xiàn)，商業(yè)領域產(chǎn)生了大量的業(yè)務數(shù)據(jù)，這些數(shù)據(jù)不再是為了分析的目的而收集的，而是由于純機會的(Opportunistic)商業(yè)運作而產(chǎn)生。分析這些數(shù)據(jù)也不再是單純?yōu)榱搜芯康男枰?，更主要是為商業(yè)決策提供真正有價值的信息，進而獲得利潤。但所有企業(yè)面臨的一個共同問題是：企業(yè)數(shù)據(jù)量非常大，而其中真正有價值的信息卻很少，因此從大量的數(shù)據(jù)中經(jīng)過深層分析，獲得有利于商業(yè)運作、提高競爭力的信息，就像從礦石中淘金一樣，數(shù)據(jù)挖掘也因此而得名。因此，數(shù)據(jù)挖掘可以描述為：按企業(yè)既定業(yè)務目標，對大量的企業(yè)數(shù)據(jù)進行探索和分析，揭示隱藏的、未知的或驗證已知的規(guī)律性，并進一步將其模型化的先進有效的方法。數(shù)據(jù)挖掘常用的方法利用數(shù)據(jù)挖掘進行數(shù)據(jù)分析常用的方法主要有分類、回歸分析、聚類、關(guān)聯(lián)規(guī)則、特征、變化和偏差分析、Web頁挖掘等，它們分別從不同的角度對數(shù)據(jù)進行挖掘。①分類。分類是找出數(shù)據(jù)庫中一組數(shù)據(jù)對象的共同特點并按照分類模式將其劃分為不同的類，其目的是通過分類模型，將數(shù)據(jù)庫中的數(shù)據(jù)項映射到某個給定的類別。它可以應用到客戶的分類、客戶的屬性和特征分析、客戶滿意度分析、客戶的購買趨勢預測等，如一個汽車零售商將客戶按照對汽車的喜好劃分成不同的類，這樣營銷人員就可以將新型汽車的廣告手冊直接郵寄到有這種喜好的客戶手中，從而大大增加了商業(yè)機會。②回歸分析?；貧w分析方法反映的是事務數(shù)據(jù)庫中屬性值在時間上的特征，產(chǎn)生一個將數(shù)據(jù)項映射到一個實值預測變量的函數(shù)，發(fā)現(xiàn)變量或?qū)傩蚤g的依賴關(guān)系，其主要研究問題包括數(shù)據(jù)序列的趨勢特征、數(shù)據(jù)序列的預測以及數(shù)據(jù)間的相關(guān)關(guān)系等。它可以應用到市場營銷的各個方面，如客戶尋求、保持和預防客戶流失活動、產(chǎn)品生命周期分析、銷售趨勢預測及有針對性的促銷活動等。③聚類。聚類分析是把一組數(shù)據(jù)按照相似性和差異性分為幾個類別，其目的是使得屬于同一類別的數(shù)據(jù)間的相似性盡可能大，不同類別中的數(shù)據(jù)間的相似性盡可能小。它可以應用到客戶群體的分類、客戶背景分析、客戶購買趨勢預測、市場的細分等。④關(guān)聯(lián)規(guī)則。關(guān)聯(lián)規(guī)則是描述數(shù)據(jù)庫中數(shù)據(jù)項之間所存在的關(guān)系的規(guī)則，即根據(jù)一個事務中某些項的出現(xiàn)可導出另一些項在同一事務中也出現(xiàn)，即隱藏在數(shù)據(jù)間的關(guān)聯(lián)或相互關(guān)系。在客戶關(guān)系管理中，通過對企業(yè)的客戶數(shù)據(jù)庫里的大量數(shù)據(jù)進行挖掘，可以從大量的記錄中發(fā)現(xiàn)有趣的關(guān)聯(lián)關(guān)系，找出影響市場營銷效果的關(guān)鍵因素，為產(chǎn)品定位、定價與定制客戶群，客戶尋求、細分與保持，市場營銷與推銷，營銷風險評估和詐騙預測等決策支持提供參考依據(jù)。爭優(yōu)勢。但是由于危機產(chǎn)生的原因復雜，種類繁多，許多因素難以量化，而且危機管理中帶有大量不確定因素的半結(jié)構(gòu)化問題和非結(jié)構(gòu)化問題，很多因素由于沒有歷史數(shù)據(jù)和相應的統(tǒng)計資料，很難進行科學地計算和評估，因此需要應用其它技術(shù)和方法來加強企業(yè)的危機管理工作。隨著計算機技術(shù)、網(wǎng)絡技術(shù)、通訊技術(shù)、Internet技術(shù)的迅速發(fā)展和電子商務、辦公自動化、管理信息系統(tǒng)、Internet的普及等，企業(yè)業(yè)務操作流程日益自動化，企業(yè)經(jīng)營過程中產(chǎn)生了大量的數(shù)據(jù)，這些數(shù)據(jù)和由此產(chǎn)生的信息是企業(yè)的寶貴財富，它如實地記錄著企業(yè)經(jīng)營的本質(zhì)狀況。但是面對如此大量的數(shù)據(jù)，傳統(tǒng)的數(shù)據(jù)分析方法，如數(shù)據(jù)檢索、統(tǒng)計分析等只能獲得數(shù)據(jù)的表層信息，不能獲得其內(nèi)在的、深層次的信息，管理者面臨著數(shù)據(jù)豐富而知識貧乏的困境。如何從這些數(shù)據(jù)中挖掘出對企業(yè)經(jīng)營決策有用的知識是非常重要的，數(shù)據(jù)挖掘便是為適應這種需要應運而生的。數(shù)據(jù)挖掘是一種新的信息處理技術(shù)，其主要特點是對企業(yè)數(shù)據(jù)庫中的大量業(yè)務數(shù)據(jù)進行抽取、轉(zhuǎn)換、分析和其他模型化處理，從中提取輔助經(jīng)營決策的關(guān)鍵性數(shù)據(jù)，它在企業(yè)危機管理中得到了比較普遍的應用，具體可以應用到以下幾個方面。1.利用Web頁挖掘搜集外部環(huán)境信息信息是危機管理的關(guān)鍵因素。在危機管理過程中，可以利用Web頁挖掘技術(shù)對企業(yè)外部環(huán)境信息進行收集、整理和分析，盡可能地收集政治、經(jīng)濟、政策、科技、金融、各種市場、競爭對手、供求信息、消費者等與企業(yè)發(fā)展有關(guān)的信息，集中精力分析處理那些對企業(yè)發(fā)展有重大或潛在重大影響的外部環(huán)境信息，抓住轉(zhuǎn)瞬即逝的市場機遇，獲得企業(yè)危機的先兆信息，采取有效措施規(guī)避危機，促使企業(yè)健康、持續(xù)地發(fā)展。2.利用數(shù)據(jù)挖掘分析企業(yè)經(jīng)營信息利用數(shù)據(jù)挖掘技術(shù)、數(shù)據(jù)倉庫技術(shù)和聯(lián)機分析技術(shù)，管理者能夠充分利用企業(yè)數(shù)據(jù)倉庫中的海量數(shù)據(jù)進行分析，并根據(jù)分析結(jié)果找出企業(yè)經(jīng)營過程中出現(xiàn)的各種問題和可能引起危機的先兆，如經(jīng)營不善、觀念滯后、產(chǎn)品失敗、戰(zhàn)略決策失誤、財務危機等內(nèi)部因素引起企業(yè)人、財、物、產(chǎn)、供、銷的相對和諧平衡體遭到重大破壞，對企業(yè)的生存、發(fā)展構(gòu)成嚴重威脅的信息，及時做出正確的決策，調(diào)整經(jīng)營戰(zhàn)略，以適應不斷變化的市場需求。3.利用數(shù)據(jù)挖掘識別、分析和預防危機危機管理的精髓在于預防。利用數(shù)據(jù)挖掘技術(shù)對企業(yè)經(jīng)營的各方面的風險、威脅和危險進行識別和分析，如產(chǎn)品質(zhì)量和責任、環(huán)境、健康和人身安全、財務、營銷、自然災害、經(jīng)營欺詐、人員及計算機故障等，對每一種風險進行分類，并決定如何管理各類風險;準確地預測企業(yè)所面臨的各種風險，并對每一種風險、威脅和危險的大小及發(fā)生概率進行評價，建立各類風險管理的優(yōu)先次序，以有限的資源、時間和資金來管理最嚴重的一種或某幾類風險;制定危機管理的策略和方法，擬定危機應急計劃和危機管理隊伍，做好危機預防工作。4.利用數(shù)據(jù)挖掘技術(shù)改善客戶關(guān)系管理客戶滿意度歷來就是衡量一個企業(yè)服務質(zhì)量好壞的重要尺度，特別是當客戶的反饋意見具有廣泛效應的時候更是如此。目前很多企業(yè)利用營銷中心、新聞組、BBS以及呼叫中心等收集客戶的投訴和意見，并對這些投訴和意見進行分析，以發(fā)現(xiàn)客戶關(guān)系管理中存在的問題，如果有足夠多的客戶都在抱怨同一個問題，管理者就有理由對其展開調(diào)查，為企業(yè)及時捕捉到發(fā)生危機的一切可能事件和先兆，從而挽救客戶關(guān)系，避免經(jīng)營危機。5.利用數(shù)據(jù)挖掘進行信用風險分析和欺詐甄別客戶信用風險分析和欺詐行為預測對企業(yè)的財務安全是非常重要的，使用企業(yè)信息系統(tǒng)中數(shù)據(jù)庫的數(shù)據(jù)，利用數(shù)據(jù)挖掘中的變化和偏差分析技術(shù)進行客戶信用風險分析和欺詐行為預測，分析這些風險為什么會發(fā)生?哪些因素會導致這些風險?這些風險主要來自于何處?如何預測到可能發(fā)生的風險?采取何種措施減少風險的發(fā)生?通過評價這些風險的嚴重性、發(fā)生的可能性及控制這些風險的成本，匯總對各種風險的評價結(jié)果，進而建立一套信用風險管理的戰(zhàn)略和監(jiān)督體系，設計并完善信用風險管理能力，準確、及時地對各種信用風險進行監(jiān)視、評價、預警和管理，進而采取有效的規(guī)避和監(jiān)督措施，在信用風險發(fā)生之前對其進行預警和控制，趨利避害，做好信用風險的防范工作。6.利用數(shù)據(jù)挖掘控制危機危機一旦爆發(fā)，來勢迅猛，損失嚴重，因此危機發(fā)生以后，要采取有力的措施控制危機，管理者可以利用先進的信息技術(shù)如基于Web的挖掘技術(shù)、各種搜索引擎工具、E-mail自動處理工具、基于人工智能的信息內(nèi)容的自動分類、聚類以及基于深層次自然語言理解的知識檢索、問答式知識檢索系統(tǒng)等快速地獲取危機管理所需要的各種信息，以便向客戶、社區(qū)、新聞界發(fā)布有關(guān)的危機管理信息，并在各種媒體尤其是公司的網(wǎng)站上公布企業(yè)的詳細風險防御和危機管理計劃，使全體員工能夠及時獲取危機管理信息及危機最新的進展情況。這樣企業(yè)的高層管理人員、公關(guān)人員、危機管理人員和全體員工就能隨時有準備地應付任何復雜情況和危急形勢的壓力，對出現(xiàn)的危機立即做出反應，使危機的損失降到最低。危機就是危險和機遇，企業(yè)的每一次危機既包含了導致失敗的根源，又蘊藏著成功的種子，發(fā)現(xiàn)、培育，進而收獲潛在的成功機會，就是危機管理的精髓;而錯誤地估計形勢，并令事態(tài)進一步惡化，則是不良危機管理的典型特征。企業(yè)應加強危機管理工作，利用先進的數(shù)據(jù)挖掘技術(shù)加強企業(yè)的危機管理工作，以便準確及時地獲取所需要的危機信息，迅速捕捉到企業(yè)可能發(fā)生危機的一切事件和征兆，進而采取有