大數(shù)據(jù)技術(shù)及數(shù)據(jù)分析課程培訓(xùn)-師偉ppt課件

大數(shù)據(jù)技術(shù)及數(shù)據(jù)分析,主講人：師偉,.,2,課程收益,學(xué)習(xí)數(shù)理統(tǒng)計(jì)的理念熟悉常見的處理套路掌握常用軟件的使用解決學(xué)員的具體問題,.,3,目錄,數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù),.,4,目錄,數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡(jiǎn)介數(shù)理統(tǒng)計(jì)技術(shù),.,5,案例,.,6,案例,記者在短時(shí)間內(nèi)發(fā)生這么多起跳樓的事件，如果站在理論角度上，發(fā)生率算不算高？樊富珉按衛(wèi)生部統(tǒng)計(jì)，目前中國(guó)自殺率大概是十萬(wàn)分之十六左右。而富士康40多萬(wàn)人，約十萬(wàn)分之二三左右，大學(xué)生我們也做過統(tǒng)計(jì)，大概十萬(wàn)分之二到三左右。如果從全國(guó)的自殺率來(lái)比的話，應(yīng)該還是低的,.,7,案例,世界銀行發(fā)展委員會(huì)25日通過了發(fā)達(dá)國(guó)家向發(fā)展中國(guó)家轉(zhuǎn)移投票權(quán)的改革方案，這一改革從一個(gè)側(cè)面反映了世界經(jīng)濟(jì)版圖的變化本次改革中，發(fā)達(dá)國(guó)家向發(fā)展中國(guó)家共轉(zhuǎn)移了3.13個(gè)百分點(diǎn)的投票權(quán)。中國(guó)在世行的投票權(quán)從目前的2.77%提高到4.42%，成為世界銀行第三大股東國(guó)，僅次于美國(guó)和日本世界銀行規(guī)則：任何重要的決議必須由85%以上的表決權(quán)決定,.,8,案例,在一次海難中，統(tǒng)計(jì)數(shù)據(jù)為頭等艙乘客319人，200人幸存二等艙乘客269人，117人幸存三等艙乘客699人，172人幸存從以上數(shù)據(jù)你可以發(fā)現(xiàn)什么？,.,9,目錄,數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡(jiǎn)介數(shù)理統(tǒng)計(jì)技術(shù),.,10,誤差（波動(dòng)）,偶然誤差可減小但不可消除系統(tǒng)誤差可消除,.,11,抽樣,.,12,連續(xù)數(shù)據(jù)和離散數(shù)據(jù),連續(xù)數(shù)據(jù)定量信息含量大離散數(shù)據(jù)定性信息含量小,.,13,判斷數(shù)據(jù)屬性,銷售訂單準(zhǔn)確度數(shù)據(jù)輸入準(zhǔn)確度銷售地區(qū)用通規(guī)測(cè)量得到的孔徑用卡尺測(cè)量得到的孔徑客戶熱線對(duì)話時(shí)間空調(diào)制冷劑的重量一批顧客中不滿意的人數(shù)一批顧客中不滿意的比例,.,14,數(shù)據(jù)的居中程度和離散程度,主要的居中指標(biāo)平均值數(shù)據(jù)集的平均值中位數(shù)數(shù)據(jù)排序后得到的中間數(shù)眾數(shù)數(shù)據(jù)集中最頻繁出現(xiàn)的值主要的離散指標(biāo)極差數(shù)據(jù)集中最大值與最小值的差值方差與平均值間距的平方和的平均值標(biāo)準(zhǔn)偏差方差的平方根,.,15,正態(tài)曲線,大多數(shù)（但不是所有）數(shù)據(jù)符合正態(tài)分布,.,16,目錄,數(shù)理統(tǒng)計(jì)常識(shí)量化的重要性統(tǒng)計(jì)基礎(chǔ)知識(shí)數(shù)據(jù)挖掘簡(jiǎn)介數(shù)理統(tǒng)計(jì)技術(shù),.,17,數(shù)據(jù)挖掘簡(jiǎn)介,數(shù)據(jù)挖掘（DataMining）的概念從數(shù)據(jù)庫(kù)數(shù)據(jù)中揭示出隱含的、未知的并有潛在價(jià)值的信息決策支持，基于人工智能、機(jī)器學(xué)習(xí)、模式識(shí)別、統(tǒng)計(jì)學(xué)、數(shù)據(jù)庫(kù)、可視化技術(shù)等，高度自動(dòng)化地分析企業(yè)的數(shù)據(jù)，做出歸納性的推理，從中挖掘出潛在的模式，幫助做出正確的決策,.,18,數(shù)據(jù)挖掘主要?jiǎng)幼?分類估值預(yù)測(cè)關(guān)聯(lián)聚集可視化描述,.,19,案例,第一次戰(zhàn)役1950年10月26日1950年11月02日第二次戰(zhàn)役1950年11月25日1950年12月02日第三次戰(zhàn)役1950年12月31日1951年01月08日,.,20,案例,豐田大規(guī)模召回事件引起全球強(qiáng)烈反響，引發(fā)豐田信譽(yù)危機(jī),.,21,目錄,數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用,.,22,基礎(chǔ)動(dòng)作,搜集整理分析評(píng)估展示,.,23,目錄,數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用,.,24,圖表類型,數(shù)字型邏輯型,.,25,圖表的注意事項(xiàng),選取適當(dāng)?shù)膱D表類型數(shù)量圖表應(yīng)寫清單位引用資料應(yīng)說(shuō)明出處不要妄圖表達(dá)過多的信息圖例一般控制在五個(gè)以下盡量簡(jiǎn)單明了、利于理解,.,26,動(dòng)態(tài)圖表,.,27,報(bào)告制作原則,提案型報(bào)告說(shuō)明型報(bào)告,.,28,文檔制作原則,邏輯清晰方案多選文字精煉內(nèi)容可視恰當(dāng)修飾體積小巧制作迅速,.,29,報(bào)告的需求管理,報(bào)告的客戶誰(shuí)在看報(bào)告？希望看什么？希望的頻率？希望的詳略？,相關(guān)的技巧買點(diǎn)和賣點(diǎn)金字塔原理,.,30,報(bào)告的素材準(zhǔn)則,中肯可比準(zhǔn)確時(shí)效可靠清晰,.,31,素材組織的FAB技巧,Feature特點(diǎn)Advantage優(yōu)點(diǎn)Benefit利益,Benefit,Advantage,Feature,.,32,目錄,數(shù)理統(tǒng)計(jì)常識(shí)數(shù)理統(tǒng)計(jì)技術(shù)基礎(chǔ)動(dòng)作圖表操作典型工具和應(yīng)用,.,33,規(guī)范處理數(shù)據(jù)和數(shù)據(jù)有效性,數(shù)據(jù)處理的良好習(xí)慣Excel數(shù)據(jù)有效性,.,34,層別法、聚類和表格維度,層別法、聚類一維表和二維表,.,35,數(shù)據(jù)透視表,.,36,將數(shù)據(jù)按順序等距分組，體現(xiàn)各組內(nèi)頻數(shù)的柱狀圖輪廓符合正態(tài)分布曲線說(shuō)明處于穩(wěn)定狀態(tài)通過異常輪廓形狀分析可定位異常的原因,直方圖,.,37,案例,174185189196208190178184190205184185194191,205205207207207206210209217214214206209210,.,38,表現(xiàn)各項(xiàng)目頻度降序排列及累積比例二八原則大問題優(yōu)先,柏拉圖,.,39,ABC分析法,A類070%，主要影響因素B類7090%，次要影響因素C類90100%，一般影響因素,ABC的劃分不是絕對(duì)的,.,40,練習(xí),張女士結(jié)婚五年以來(lái)與丈夫發(fā)生糾紛如下不做家務(wù)28次深夜不歸5次不良嗜好5次沒送禮物1次胡亂花錢3次婆媳關(guān)系50次異性交往8次請(qǐng)制作柏拉圖并用ABC法分析,.,41,散布圖、關(guān)聯(lián)規(guī)則和預(yù)測(cè),研究?jī)蓚€(gè)特性之的內(nèi)在關(guān)系坐標(biāo)軸分別表示結(jié)果特性和原因特性使得解決問題時(shí)找出強(qiáng)相關(guān)的原因,.,42,常見類型,散布圖,正相關(guān)強(qiáng)X的增加導(dǎo)致Y的明顯增加,正相關(guān)弱X的增加導(dǎo)致Y的略微增加,.,43,常見類型,負(fù)相關(guān)強(qiáng)X的增加導(dǎo)致Y的明顯減少,負(fù)相關(guān)弱X的增加導(dǎo)致Y的略微減少,散布圖,.,44,常見類型,散布圖,無(wú)相關(guān)Y的變化與X的變化毫無(wú)關(guān)系,曲線關(guān)系X與Y之間無(wú)線性關(guān)系但符合某種曲線變化規(guī)律,.,45,預(yù)測(cè),Forecast法趨勢(shì)線法,.,46,單變量求解,.,47,規(guī)劃求解,.,48,矩陣數(shù)據(jù)分析法,矩陣數(shù)據(jù)分析法（MatrixDataAnalysisChart）用于排定優(yōu)先級(jí)、做多目標(biāo)決策量化表示各元素的關(guān)系，更準(zhǔn)確地整理和分析結(jié)果,.,49,