大數據建模概述

大數據建模概述演講人：通用名大數據建模應遵循的規(guī)律以業(yè)務目標作為實現目標業(yè)務知識是每一步的核心做好數據預處理試驗對尋找解決方案是必要的數據中總含有模式數據挖掘增大對業(yè)務的認識與猜測提高了信息作用能力大數據建模的價值不在于預測的準確率模式因業(yè)務變化而變化大數據建模技術，是為了解決業(yè)務流程問題。數據建模的核心：業(yè)務目標。我們要什么樣的數據挖掘模型業(yè)務調研

問題定位

可解釋、有實際業(yè)務涵義、可使用的

制定目標

①以業(yè)務目標作為實現目標

→↓↓←②業(yè)務知識是每一步的核心

業(yè)務知識是理解問題的基礎。例如大數據分析“飲食與疾病的關系”“糖尿病與高血壓發(fā)病關系”，這些分析都需要對醫(yī)學相關知識有一定了解才能建模。數據分布數據質量指標選擇衍生指標→→→③做好數據預處理

數據預處理比數據挖掘其他任何一個過程都重要且費力，數據預處理的目的是把數據挖掘問題轉化為格式化的數據，使得分析技術更容易利用它。數據預處理兩種方法

第一種方法是將數據轉化為可以分析的完全格式化的數據，比如，大多數數據挖掘算法需要單一表格形式的數據，一個記錄就是一個樣例。數據挖掘者都知道什么樣的算法需要什么樣的數據形式，因此可以將數據轉化為一個合適的格式。第二種方法是使得數據能夠含有業(yè)務問題的更多的信息，通過這些領域的知識，數據挖掘者可能可以找到一個合適的技術解決方案。數據提取數據清洗數據審核數據集成→→→④試驗對尋找解決方案是必要的

挖掘過程中往往通過算法和業(yè)務知識結合進行多次試驗，才能揭示數據隱藏的規(guī)則。了解業(yè)務知識對模式有更好的理解，模式也對業(yè)務知識有貢獻。模型初步構建模型優(yōu)化模型帶動業(yè)務業(yè)務帶動模型→→→⑤數據中總含有模式

在一個與業(yè)務相關的數據集中，即使一些期望的模式不能被發(fā)現，但其他的一些有用的東西可能會被發(fā)現。一些數據挖掘項目失敗是因為開始的數據采集存在問題。⑥數據挖掘增大對業(yè)務的認識

為什么數據挖掘必須是一個業(yè)務過程而不是一個技術過程？

業(yè)務問題是由人而非算法解決的。

數據挖掘算法揭示的模式通常不是人類以正常的方式所能認識到的，幫助業(yè)務專家解決他們不能單獨完成的業(yè)務問題。如：通過大數據分析幫學校找到學生學習困難的原因。⑦與猜測提高了信息作用能力

數據挖掘算法揭示的模式通常不是人類以正常的方式所能認識到的。聚類和關聯模型也有預測特征。聚類：預測一個個體屬于哪個群體。eg：預測個別交易是否為欺詐。關聯：基于已知基本屬性預測更多屬性。eg：預測客戶行為。⑧大數據建模的價值不在于預測的準確率

準確性和穩(wěn)定性是預測模型常用的兩個度量。準確性是指正確的預測結果所占的比例；穩(wěn)定性是指當創(chuàng)建模型的數據改變時，其預測結果變化有多大。一個好的大數據是為了改變企業(yè)的行為以及預測的結果來改善企業(yè)的行為，會不會適應業(yè)務發(fā)展需要才是它的衡量標準。⑨模式因業(yè)務變化而變化

模式的變化