大數(shù)據(jù)技術(shù)及數(shù)據(jù)分析課程培訓(xùn)-師偉ppt課件

大數(shù)據(jù)技術(shù)及數(shù)據(jù)分析 主講人 師偉 2 課程收益 學(xué)習(xí)數(shù)理統(tǒng)計(jì)的理念熟悉常見的處理套路掌握常用軟件的使用解決學(xué)員的具體問題 3 目錄 數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù) 4 目錄 數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡(jiǎn)介數(shù)理統(tǒng)計(jì)技術(shù) 5 案例 6 案例 記者在短時(shí)間內(nèi)發(fā)生這么多起跳樓的事件 如果站在理論角度上 發(fā)生率算不算高 樊富珉按衛(wèi)生部統(tǒng)計(jì) 目前中國(guó)自殺率大概是十萬(wàn)分之十六左右 而富士康40多萬(wàn)人 約十萬(wàn)分之二三左右 大學(xué)生我們也做過統(tǒng)計(jì) 大概十萬(wàn)分之二到三左右 如果從全國(guó)的自殺率來比的話 應(yīng)該還是低的 7 案例 世界銀行發(fā)展委員會(huì)25日通過了發(fā)達(dá)國(guó)家向發(fā)展中國(guó)家轉(zhuǎn)移投票權(quán)的改革方案 這一改革從一個(gè)側(cè)面反映了世界經(jīng)濟(jì)版圖的變化本次改革中 發(fā)達(dá)國(guó)家向發(fā)展中國(guó)家共轉(zhuǎn)移了3 13個(gè)百分點(diǎn)的投票權(quán) 中國(guó)在世行的投票權(quán)從目前的2 77 提高到4 42 成為世界銀行第三大股東國(guó) 僅次于美國(guó)和日本世界銀行規(guī)則 任何重要的決議必須由85 以上的表決權(quán)決定 8 案例 在一次海難中 統(tǒng)計(jì)數(shù)據(jù)為頭等艙乘客319人 200人幸存二等艙乘客269人 117人幸存三等艙乘客699人 172人幸存從以上數(shù)據(jù)你可以發(fā)現(xiàn)什么 9 目錄 數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡(jiǎn)介數(shù)理統(tǒng)計(jì)技術(shù) 10 誤差 波動(dòng) 偶然誤差可減小但不可消除系統(tǒng)誤差可消除 11 抽樣 12 連續(xù)數(shù)據(jù)和離散數(shù)據(jù) 連續(xù)數(shù)據(jù)定量信息含量大離散數(shù)據(jù)定性信息含量小 13 判斷數(shù)據(jù)屬性 銷售訂單準(zhǔn)確度數(shù)據(jù)輸入準(zhǔn)確度銷售地區(qū)用通規(guī)測(cè)量得到的孔徑用卡尺測(cè)量得到的孔徑客戶熱線對(duì)話時(shí)間空調(diào)制冷劑的重量一批顧客中不滿意的人數(shù)一批顧客中不滿意的比例 14 數(shù)據(jù)的居中程度和離散程度 主要的居中指標(biāo)平均值數(shù)據(jù)集的平均值中位數(shù)數(shù)據(jù)排序后得到的中間數(shù)眾數(shù)數(shù)據(jù)集中最頻繁出現(xiàn)的值主要的離散指標(biāo)極差數(shù)據(jù)集中最大值與最小值的差值方差與平均值間距的平方和的平均值標(biāo)準(zhǔn)偏差方差的平方根 15 正態(tài)曲線 大多數(shù) 但不是所有 數(shù)據(jù)符合正態(tài)分布 16 目錄 數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡(jiǎn)介數(shù)理統(tǒng)計(jì)技術(shù) 17 數(shù)據(jù)挖掘簡(jiǎn)介 數(shù)據(jù)挖掘 DataMining 的概念從數(shù)據(jù)庫(kù)數(shù)據(jù)中揭示出隱含的 未知的并有潛在價(jià)值的信息決策支持 基于人工智能 機(jī)器學(xué)習(xí) 模式識(shí)別 統(tǒng)計(jì)學(xué) 數(shù)據(jù)庫(kù) 可視化技術(shù)等 高度自動(dòng)化地分析企業(yè)的數(shù)據(jù) 做出歸納性的推理 從中挖掘出潛在的模式 幫助做出正確的決策 18 數(shù)據(jù)挖掘主要?jiǎng)幼?分類估值預(yù)測(cè)關(guān)聯(lián)聚集可視化描述 19 案例 第一次戰(zhàn)役1950年10月26日1950年11月02日第二次戰(zhàn)役1950年11月25日1950年12月02日第三次戰(zhàn)役1950年12月31日1951年01月08日 20 案例 豐田大規(guī)模召回事件引起全球強(qiáng)烈反響 引發(fā)豐田信譽(yù)危機(jī) 21 目錄 數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用 22 基礎(chǔ)動(dòng)作 搜集整理分析評(píng)估展示 23 目錄 數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用 24 圖表類型 數(shù)字型邏輯型 25 圖表的注意事項(xiàng) 選取適當(dāng)?shù)膱D表類型數(shù)量圖表應(yīng)寫清單位引用資料應(yīng)說明出處不要妄圖表達(dá)過多的信息圖例一般控制在五個(gè)以下盡量簡(jiǎn)單明了 利于理解 26 動(dòng)態(tài)圖表 27 報(bào)告制作原則 提案型報(bào)告說明型報(bào)告 28 文檔制作原則 邏輯清晰方案多選文字精煉內(nèi)容可視恰當(dāng)修飾體積小巧制作迅速 29 報(bào)告的需求管理 報(bào)告的客戶誰(shuí)在看報(bào)告 希望看什么 希望的頻率 希望的詳略 相關(guān)的技巧買點(diǎn)和賣點(diǎn)金字塔原理 30 報(bào)告的素材準(zhǔn)則 中肯可比準(zhǔn)確時(shí)效可靠清晰 31 素材組織的FAB技巧 Feature特點(diǎn)Advantage優(yōu)點(diǎn)Benefit利益 Benefit Advantage Feature 32 目錄 數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用 33 規(guī)范處理數(shù)據(jù)和數(shù)據(jù)有效性 數(shù)據(jù)處理的良好習(xí)慣Excel數(shù)據(jù)有效性 34 層別法 聚類和表格維度 層別法 聚類一維表和二維表 35 數(shù)據(jù)透視表 36 將數(shù)據(jù)按順序等距分組 體現(xiàn)各組內(nèi)頻數(shù)的柱狀圖輪廓符合正態(tài)分布曲線說明處于穩(wěn)定狀態(tài)通過異常輪廓形狀分析可定位異常的原因 直方圖 37 案例 174185189196208190178184190205184185194191 205205207207207206210209217214214206209210 38 表現(xiàn)各項(xiàng)目頻度降序排列及累積比例二八原則大問題優(yōu)先 柏拉圖 39 ABC分析法 A類0 70 主要影響因素B類70 90 次要影響因素C類90 100 一般影響因素 ABC的劃分不是絕對(duì)的 40 練習(xí) 張女士結(jié)婚五年以來與丈夫發(fā)生糾紛如下不做家務(wù)28次深夜不歸5次不良嗜好5次沒送禮物1次胡亂花錢3次婆媳關(guān)系50次異性交往8次請(qǐng)制作柏拉圖并用ABC法分析 41 散布圖 關(guān)聯(lián)規(guī)則和預(yù)測(cè) 研究?jī)蓚€(gè)特性之的內(nèi)在關(guān)系坐標(biāo)軸分別表示結(jié)果特性和原因特性使得解決問題時(shí)找出強(qiáng)相關(guān)的原因 42 常見類型 散布圖 正相關(guān)強(qiáng)X的增加導(dǎo)致Y的明顯增加 正相關(guān)弱X的增加導(dǎo)致Y的略微增加 43 常見類型 負(fù)相關(guān)強(qiáng)X的增加導(dǎo)致Y的明顯減少 負(fù)相關(guān)弱X的增加導(dǎo)致Y的略微減少 散布圖 44 常見類型 散布圖 無相關(guān)Y的變化與X的變化毫無關(guān)系 曲線關(guān)系X與Y之間無線性關(guān)系但符合某種曲線變化規(guī)律 45 預(yù)測(cè) Forecast法趨勢(shì)線法 46 單變量求解 47 規(guī)劃求解 48 矩陣數(shù)據(jù)分析法 矩陣數(shù)據(jù)分析法 MatrixDataAnalysisChart 用于排定優(yōu)先級(jí) 做多目標(biāo)決策量化表示各元素的關(guān)系 更準(zhǔn)確地整理和分析結(jié)果 49 案例 50 練習(xí) 51 中興通訊管理體系總監(jiān)中興通訊最佳兼職講師中興通訊學(xué)院資深講