如何零基礎(chǔ)入門數(shù)據(jù)分析報告

1、 范文范例 指導參考 如何零基礎(chǔ)入門數(shù)據(jù)分析 隨著數(shù)據(jù)分析相關(guān)領(lǐng)域變得火爆，最近越來越多的被問到： 數(shù)據(jù)分析如何從 頭學起？其中很多提問者都是商科背景，之前沒有相關(guān)經(jīng)驗和基礎(chǔ)。 我在讀 Buisness Analytics碩士之前是商科背景，由于個人興趣愛好，從 大三開始到現(xiàn)在即將碩士畢業(yè)，始終沒有停下自學的腳步。Coursera 和 EDX等 平臺上大概上過20 多門網(wǎng)課， Datacamp 上 100 多門課里，刷過70 多門。這篇 文章是想談一談個人的數(shù)據(jù)分析學習經(jīng)驗，希望對想要入門這個領(lǐng)域的各位有幫 助。 1. 基本工具 學習數(shù)據(jù)分析的第一步，是了解相關(guān)工具 Excel excel 至

2、是最基礎(chǔ)的數(shù)據(jù)分析工具，至今還是非常有效的，原因是它便于使 用，受眾范圍極廣，且分析結(jié)果清晰可見。 相信大多數(shù)人都有使用excel 的基本經(jīng)驗，不需要根據(jù)教材去學習了。 重點 掌握：基本操作的快捷鍵； 函數(shù)：計算函數(shù)、if類、字符串函數(shù)、查找類 (vlookup 和 match) ，一定要熟悉函數(shù)功能的絕對和相對引用；數(shù)據(jù)透視表功能等。 另外， excel 可以導入一些模塊來使用，典型的包括數(shù)據(jù)分析模塊，作假設檢驗常用； 規(guī)劃求解，作線性規(guī)劃和決策等問題非常有效。利用這些模塊可以獲得很不錯的 分析報告，簡單且高效。 SQL 數(shù)據(jù)分析的絕對核心！ 大部分數(shù)據(jù)分析工作都是對數(shù)據(jù)框進行的，在這個過

3、word 版 整理 范文范例 指導參考 程中，需要不斷的根據(jù)已有變量生成新變量、過濾掉一些樣本還有轉(zhuǎn)換level 。 SQL的設計就是為了解決這些問題。其他常用的數(shù)據(jù)操作工具，包括R 語言的數(shù) 據(jù)框、 Python 里的 pandas，基本都是借鑒了SQL的思想，一通百通。 SQL入門容易，它的語法極其簡單，基本可以說上過一門相關(guān)的課或看過一 本相關(guān)的書就可以了解大概， 但融會貫通并能夠進行各種邏輯復雜的操作，就需 要長時間的錘煉了。 SQL的學習建議，隨便找一本書或者網(wǎng)課就好，因為主流的課程基本都是一 個思路：先講 SELECT、 WHERE、GROUPBY(配合簡單的聚合函數(shù) ) 、 OR

4、DERBY這類 單表操作，之后講JOIN 進行多表連接。除此之外，必會的基本技能還應該包括 WINDOW FUNCTION和CASE WHEN等等。學了基本的內(nèi)容之后，就是找項目多練， 不斷提升。 R/Python 熟練 SQL之后，對數(shù)據(jù)操作方面的內(nèi)容就得心應手了。接下來更復雜的問題， 如搜索和建模，則需要使用編程語言。 R vs Python 目前最主流的數(shù)據(jù)分析編程語言就是R 和 Python ，網(wǎng)上遍是關(guān)于這兩者的 爭論，有興趣的可以簡單看一下，但不用陷入過度的糾結(jié)。我個人的經(jīng)驗來看， 熟練兩者其中的任何一個都可以勝任數(shù)據(jù)分析中的大部分工作，不存在某一個語 言有明顯缺陷的情況。 這里不

5、想大篇幅的比較兩者，但是想簡單的說一下兩者的側(cè)重點： R語言是為了解決統(tǒng)計問題而設計的，因此它有一個很人性化的地方：最大 程度的簡化語言， 從而讓分析人員忽略編程內(nèi)容，直面數(shù)據(jù)分析。 也因為是統(tǒng)計 word 版 整理 范文范例 指導參考 語言，很多基本的統(tǒng)計分析內(nèi)容在R 里都是內(nèi)置函數(shù)，調(diào)用十分便捷。此外，R 的報告能力很強， 大部分模型庫在訓練模型后都會提供很多細節(jié)，也比較容易通 過 rmd 轉(zhuǎn)換成優(yōu)美的 doc/pdf/html 。 Python 先是一門 general 的編程語言，之后才是數(shù)據(jù)分析工具。 初學 python ， 語法肯定是不如R 容易理解的。但使用到后來，當越來越多的需

6、要自己定義時， Python 的優(yōu)勢就顯現(xiàn)出來了。另外，Python 在數(shù)據(jù)量大時速度會比較快。 至于先學哪一個， 需要結(jié)合自己的規(guī)劃來看：如果最終兩個都要學， 那我毫 不猶豫的建議從R 開始；如果兩個選一個學的話，我目前傾向于Python ，不過 如果你確定自己以后只做業(yè)務方面的內(nèi)容，那 R可能更好一些。 另外，如果有專 注的領(lǐng)域的話，那么要結(jié)合自己的領(lǐng)域來定，比如搞投資分析的可以看一看R 語言的 PortfolioAnalytics庫，大概就明白，說R 語言把編程簡化專注結(jié)果所 言非虛。 R語言學習 當然無論入門哪種語言，學習路徑都很重要。R 語言的學習建議從基礎(chǔ)數(shù)據(jù) 結(jié)構(gòu)開始，了解R 中

7、的 vector 、dataframe 和 list等結(jié)構(gòu)，對語法有基本的理 解。之后建議學習dplyr 和 ggplot2 這兩個庫，兩者分別是數(shù)據(jù)操縱和可視化庫， 學過之后可以做一些基本的數(shù)據(jù)項目了。學習平臺首推datacamp，是付費的但 絕對物有所值， 沒有比邊學邊練更好的學習方式了。此外推薦一本 R語言實戰(zhàn) (R in Action)，可以當作學習手冊。 Python 學習 包括我在內(nèi)的很多同學都把Coursera 上的 Python for everyone當作啟蒙 教材，這是一門很好的課程，但對于專注數(shù)據(jù)分析的Python 使用者而言，課程 word 版 整理 范文范例 指導參考

8、 沒有提供最完美的學習路徑。學習Python 也應該從數(shù)據(jù)結(jié)構(gòu)開始，list、 dictionary、 tuple這些數(shù)據(jù)結(jié)構(gòu)要了解。之后建議學習numpy、 pandas 和 matplotlib，分別是矩陣庫、數(shù)據(jù)框庫和可視化庫，基本就算是入門了。學習 Python ， Datacamp依然是個很不錯的平臺，但是資源不如R 豐富。首推一本叫 利用 python 進行數(shù)據(jù)分析 (Python for data analysis)的教材，直接傳授 數(shù)據(jù)分析最需要的編程技能，熟悉書中的知識基本就可以說學會Python 數(shù)據(jù)分 析的基本操作了。 2.描述性分析和統(tǒng)計基礎(chǔ) 了解基本工具之后， 還要擁

9、有相關(guān)的知識才能正式開始數(shù)據(jù)分析。分析的基 礎(chǔ)是統(tǒng)計知識， 相信大部分人都學過概率和統(tǒng)計相關(guān)的課程，自己基礎(chǔ)是否夠扎 實，可以考一考自己： 均值 / 標準差 / 相關(guān)性等指標， 各種探索性分析場景用哪種 可視化方法比較好， 抽樣分布 / 置信區(qū)間 / 假設檢驗，貝葉斯理論等。 在這些相關(guān) 內(nèi)容沒有徹底熟練之前， 建議不要認為自己基礎(chǔ)已經(jīng)足夠扎實了，這些內(nèi)容都是 值得反復學習的。另外，可以結(jié)合數(shù)據(jù)分析工具來學習，比如用R 或 Python 進 行雙均值假設檢驗 （當然這里是手寫而不是調(diào)用函數(shù)），對理解編程和理解統(tǒng)計 都有幫助。 這里推薦深入淺出統(tǒng)計學和深入淺出數(shù)據(jù)分析兩本書，可以作為入 門，也可

10、以作為復習，當然如果統(tǒng)計背景比較深，沒必要看了，太基礎(chǔ)了。也推 薦 Coursera 杜克大學的 Statisticswith R，前三門課質(zhì)量都比較高，需要有R 的基本知識，可以邊學統(tǒng)計邊練R。 描述性分析真的很重要， 這里需要再強調(diào)一下。 如果真的想做數(shù)據(jù)分析， 尤 其是業(yè)務導向的數(shù)據(jù)分析， 建議一定要重視這部分。 平時做項目也是一樣的， 拿 word 版 整理 范文范例 指導參考 到數(shù)據(jù)后先徹底的理解數(shù)據(jù)，不要急著往模型里放。 3. 機器學習 終于到了機器學習，我猜對于很多數(shù)據(jù)分析學習者，機器學習是本質(zhì)目的。 機器學習是有不同種學法的：對于業(yè)務數(shù)據(jù)分析者，了解各類模型的使用場景、 優(yōu)劣勢

11、，基本就足夠了； 對于偏數(shù)據(jù)科學和挖掘的人員來說，要深入理解每一種 模型，至少得寫出推導步驟； 更深入的算法導向人員， 還要有從頭實現(xiàn)算法的能 力。這篇文章的目標讀者主要是第一類和第二類。 學習機器學習模型可以從理解模型和實現(xiàn)兩個方向入手，目前主流的實現(xiàn)工 具還是 R 和 Python 。Datacamp上有很多用 R 和 Python 進行機器學習的課程， 看 了之后基本可以了解機器學習模型在做什么，平時的應用場景大概怎樣。 流行的 模型一定要理解，像邏輯回、支持向量機( 核函數(shù) ) 、k 鄰近、樸素貝葉斯、集成 學習模型( 隨機森林和各類boosting)都是很常用的模型；bias-var

12、iance tradeoff、標準化、正則化、交叉檢驗、重采樣，這些概念也要了解。 如果想進一步深入的去理解模型細節(jié)，那么微積分和線性代數(shù)是必要的先修 課，否則無法繼續(xù)進行了。當然如果決定進一步學習細節(jié)，需要看更多的教材， 上一些相關(guān)課程。 網(wǎng)上的相關(guān)課有很多，目前最火爆的肯定是Coursera Andrew Ng 的機器學 習。這門課也是我的入門課， 確切的說我第一次學這門課的時候，甚至還不會調(diào) 包，也不太會編程，就跟著一步一步做，很艱難的完成了作業(yè)。做到神經(jīng)網(wǎng)絡那 部分，當時實在寫不出來，去網(wǎng)上找答案看。到現(xiàn)在，這門課我應該看過有五遍 了，基本上每隔幾個月重新看一下都有新的收獲。 Cour

13、sera 還有另一系列的機器學習課來自華盛頓大學，質(zhì)量也很高，課程 word 版 整理 范文范例 指導參考 用 Python( 缺陷是使用的庫不是 pandas 和 sklearn ，而是授課者自己開發(fā)的庫 ) ， 很大一部分內(nèi)容是手寫模型，很有助于打好基礎(chǔ)。此外，因為這是一系列課，所以覆蓋范圍要比 Andrew Ng的課廣一些，回歸問題、分類問題、非監(jiān)督問題，都單獨成為一門課程。 很多機器學習的教材寫的也不錯，比如An Introduction to Statistical Learning(ISL)和 Machine Learning with R，兩者都是講模型的數(shù)學推導，并 用 R 語

14、言實現(xiàn)。 機器學習確實是很深奧的東西， 如果時間允許建議經(jīng)典的課程和教材都看一 看，有的課甚至可以多看幾遍。 4. 更進一步 如果以上內(nèi)容都比較扎實的完成，可以說能夠進行大部分項目了，也對數(shù)據(jù) 分析有著很成體系的理解。 之后可以結(jié)合自己的需求， 深入學習更多的內(nèi)容， 或 者結(jié)合實際項目練習。嘗試著找一些完整的項目去做，比如說kaggle 就是很不 錯的平臺，會提供數(shù)據(jù)集進行使用。kaggle的入門賽也做的很好，簡單易懂， 讓新人不會太迷茫。 如果有額外興趣的話， 還是有很多更深奧的東西值得學習的，比如深度學習 范圍的內(nèi)容或者大數(shù)據(jù)的相關(guān)技術(shù)等。 5. 結(jié)尾的話 很多人在入門數(shù)據(jù)分析時候都會問：我從零開始，多久能學會機器學習？其 實取決于你怎么理解會，如果從頭學python ，到能使用sklearn調(diào)出機器學習 模型，大概一個月就完成了。 但深入的去理解以上內(nèi)容，確實不是一年半載能完 成的。 word 版 整理 范文范例 指導參考 我見過很多人追求速成，也確實速成了。遇到項目基本就是把數(shù)據(jù)導進來， 不做特征處理，然后調(diào)出各種模型 ( 其中不乏