高校大數(shù)據(jù)人才培養(yǎng)方案

高校大數(shù)據(jù)人才培養(yǎng)方案2016LenovoInternal.Allrightsreserved.2017/06全國高校大數(shù)據(jù)教育聯(lián)盟劉娜藝2016LenovoRestricted.Allrightsreserved.公司GoogleFacebook騰訊阿里巴巴百度總收入(億美元)817.62179.28158.41122.93102.23廣告營收(億美元)732.23170.83114.0477.04100.78廣告占比89.6%95.3%71.9%62.7%98.6%大數(shù)據(jù)每年在營銷行業(yè)能夠變現(xiàn)千億美元2016LenovoRestricted.Allrightsreserved.谷歌和百度憑此生意日進(jìn)斗金關(guān)鍵詞廣告價格（美元）關(guān)鍵詞廣告價格（美元）關(guān)鍵詞廣告價格（美元）CheapCarInsurance33.97PrepaidCellPhones25.38Giftbaskets3.53Legoactivitytable3.02CableInternetProviders8.6CheapOfficeSupplies10.28Entryleveljobs1.31Bridgetonestires5.03OfficeFurniture4.34Onlinenursingdegree18.11Flowerdelivery3.88Giftbaskets3.53上海浦東最好的婦科醫(yī)院是212.99元上海最好的婦科私立醫(yī)院145.19元上海市最好婦科醫(yī)院89.58元Sanantoniocarwreckattorney670.44Accidentattorneyriversideca626.90Drugrehabnyc286.63

搜索廣告內(nèi)容廣告廣告每天顯示數(shù)56億242億廣告點擊率3.47%0.18%平均每天點擊數(shù)1.93億0.45億廣告轉(zhuǎn)化率5.63%4.68%平均單擊價格$0.53$0.35平均每天收入1億美元1600萬美元谷歌和百度部分關(guān)鍵詞點擊一次廣告價格2016LenovoRestricted.Allrightsreserved.千億美元數(shù)據(jù)營銷市場背后的邏輯2016LenovoRestricted.Allrightsreserved.基礎(chǔ)屬性特征：年齡、性別、單位等業(yè)務(wù)服務(wù)：投連賬戶狀態(tài)，其它產(chǎn)品狀態(tài)等購買習(xí)慣：歷史購買情況、位置出現(xiàn)規(guī)律、付費(fèi)習(xí)慣等行為特征：網(wǎng)上購物、訂閱分析報告、搜索、郵件等偏好特征：美食、旅游、購物、教育等旅游行為：接送服務(wù)，旅行社，酒店和景點偏好等位置信息：出沒規(guī)律、出行規(guī)律、商圈級別、差旅習(xí)慣等社交網(wǎng)絡(luò)：交往人群、圈子、影響力等家庭狀況：家人、親戚、家庭資產(chǎn)、消費(fèi)習(xí)慣等住酒店禮物上網(wǎng)活躍度：高武漢終端：iPhone男性36歲愛旅游喜愛理財經(jīng)常出差電子渠道喜歡某品牌銀行高端客戶微博控愛社交有個女兒人口統(tǒng)計學(xué)標(biāo)簽：網(wǎng)上ID：537821068，性別：男，生日：1985-02，工作狀態(tài)：一工作，教育程度：碩士，地域：湖北?。晃錆h市，活動區(qū)域：武漢-漢陽大道；武漢-江漢路步行街通用標(biāo)簽：余額寶，運(yùn)動，籃球，橄欖球，愛美女，科比，易建聯(lián)。熱血，星座，雙子座，重口味，宅，品味一般，不重時尚，外語學(xué)習(xí)，游戲，流行音樂，網(wǎng)絡(luò)小說價值標(biāo)簽：房主：是，位置：市中心是否擁有奢飾品：是是否股民：是是否信托客戶：否長期閱讀喜好：喜好類別1：體育新聞；瀏覽比例：49喜好類別2：軍事新聞；瀏覽比例：31喜好類別3：投資理財；瀏覽比例：12短期閱讀關(guān)注：關(guān)注類別1：家庭裝修；瀏覽比例：31關(guān)注類別2：出境旅游；瀏覽比例：26關(guān)注類別3：汽車報價；瀏覽比例：12長期購物喜好：喜好品類1：T恤；購買比例：46；消費(fèi)等級：2級：50,1級；50；特征tag偏好：83，領(lǐng)型-圓領(lǐng)：66，領(lǐng)型-翻領(lǐng)：34，圖案-純色：50，圖案-條紋：50短期購物場景：關(guān)注品類1：男士剃須刀；查看比例：31，消費(fèi)力等級：1級：63,2級：30；特征tag偏好：刀頭-旋轉(zhuǎn)式2刀頭：60，電源方式-充電式：43，刀頭-旋轉(zhuǎn)式3刀頭：33金融服務(wù)：貸款：房貸：額度；200萬；車貸：額度；15萬保險：車險；出境險長期游戲喜好：重度游戲、小游戲社交圈：社交圈屬性：IT，籃球，紅酒，軍事粉絲數(shù)：1503：關(guān)注數(shù)：423；影響力排名：34%社交圈口碑：78近期游戲喜好：魔獸世界；購買可能性：49；消費(fèi)力等級：2級：72,1級：28每個人都有一個標(biāo)簽化的網(wǎng)絡(luò)畫像2016LenovoRestricted.Allrightsreserved.這一切，并不簡單資料來源：百分點2016LenovoRestricted.Allrightsreserved.國民經(jīng)濟(jì)各行各業(yè)無不由數(shù)據(jù)驅(qū)動2016LenovoRestricted.Allrightsreserved.上百家大數(shù)據(jù)企業(yè)的共同需求是什么來自：中關(guān)村大數(shù)據(jù)產(chǎn)業(yè)聯(lián)盟陳新河調(diào)查報告2016LenovoRestricted.Allrightsreserved.資料來源：CSDN：《2015年中國軟件開發(fā)者白皮書》2025年中國大數(shù)據(jù)人才缺口200萬2016LenovoRestricted.Allrightsreserved.McKinsey預(yù)測：至2018年–美國需要400萬名具備基于大數(shù)據(jù)分析的經(jīng)理和分析師–人才缺口將達(dá)到150萬–至2018年將有60%的組織將會設(shè)置首席數(shù)據(jù)官（CDO)–未來八年將有19%的大數(shù)據(jù)人才需求增長職位中等收入2024年發(fā)展展望報社記者$36,390-9%伐木工$35,160-4%廣播員$37,210-9%電臺DJ$29,010-11%現(xiàn)役軍人$27,936NA害蟲防治工$30,660-1%零售店店員$21,6707%廣告銷售員$47,890-3%出租車司機(jī)$23,21013%消防員$45,9705%職位中等收入2024年發(fā)展展望數(shù)據(jù)科學(xué)家$128,24016.02%統(tǒng)計師$79,99034%信息安全分析員$88,89018%聽力學(xué)家$73,06029%醫(yī)學(xué)診斷聲納員$62,54024%數(shù)學(xué)家$103,72021%軟件工程師$97,99017%計算機(jī)系統(tǒng)分析員$82,71021%語言病理學(xué)家$71,55021%精算師$96,70018%2016美國最不受歡迎的職業(yè)2016美國最受歡迎職業(yè)美國DT人才同樣嚴(yán)重不足2016LenovoRestricted.Allrightsreserved.DT人才是IT技能、數(shù)據(jù)科學(xué)、行業(yè)知識三棲動物2016LenovoRestricted.Allrightsreserved.數(shù)據(jù)科學(xué)家DataScientist數(shù)據(jù)工程師DataEngineer數(shù)據(jù)架構(gòu)師DataSteward數(shù)據(jù)產(chǎn)品經(jīng)理DataProductManager數(shù)據(jù)分析師DataAnalystDT大數(shù)據(jù)人才是具體崗位有什么2016LenovoRestricted.Allrightsreserved.20年前高科技企業(yè)看IT人員比例，20年后高科技企業(yè)看DS比例2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)開發(fā)工程師崗位：15871個數(shù)據(jù)來自：51job招聘看看，企業(yè)要什么樣的人2016LenovoRestricted.Allrightsreserved.數(shù)據(jù)來自：51job招聘看看，企業(yè)要什么樣的人大數(shù)據(jù)挖掘工程師崗位：12168個2016LenovoRestricted.Allrightsreserved.數(shù)據(jù)來自：51job招聘大數(shù)據(jù)分析師崗位：9739個看看，企業(yè)要什么樣的人2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)相關(guān)職業(yè)類型分析2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)相關(guān)職業(yè)招聘對學(xué)歷要求的分析2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)相關(guān)職業(yè)招聘對工作經(jīng)驗的分析2016LenovoRestricted.Allrightsreserved.京東的崗位要求典型招聘崗位要求2016LenovoRestricted.Allrightsreserved.典型招聘崗位要求嘀嘀的崗位要求美團(tuán)的崗位要求2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)相關(guān)職業(yè)招聘對技能要求的分析2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)相關(guān)職業(yè)招聘對技能要求的分析2016LenovoRestricted.Allrightsreserved.國家在行動2016LenovoRestricted.Allrightsreserved.教育部在行動2016LenovoRestricted.Allrightsreserved.大數(shù)據(jù)專業(yè)申請情況2016LenovoRestricted.Allrightsreserved.已申請大數(shù)據(jù)專業(yè)院校-排名靠前24門課程開設(shè)數(shù)量對比2016LenovoRestricted.Allrightsreserved.數(shù)據(jù)結(jié)構(gòu)分析算法34所高校云計算19所高校數(shù)據(jù)挖掘33所高校算法分析與應(yīng)用19所高校大數(shù)據(jù)導(dǎo)論26所高校數(shù)據(jù)庫原理18所高校數(shù)據(jù)可視化22所高校Hadoop18所高校已申請大數(shù)據(jù)專業(yè)院校-熱門課程2016LenovoRestricted.Allrightsreserved.課程名稱開課學(xué)校（所）課程名稱開課學(xué)校（所）數(shù)據(jù)結(jié)構(gòu)分析與算法34MapReduce編程技術(shù)4數(shù)據(jù)挖掘33Spark系統(tǒng)3大數(shù)據(jù)導(dǎo)論26社交網(wǎng)絡(luò)挖掘3數(shù)據(jù)可視化22Hive技術(shù)及應(yīng)用3云計算19數(shù)據(jù)庫與商業(yè)智能3算法分析與設(shè)計（應(yīng)用）19大數(shù)據(jù)平臺技術(shù)2數(shù)據(jù)庫原理18HBase2Hadoop18大數(shù)據(jù)管理中的統(tǒng)計方法與實踐2數(shù)據(jù)分析與處理17圖像視頻與非結(jié)構(gòu)化數(shù)據(jù)2分布式系統(tǒng)16OpenStack原理與應(yīng)用2數(shù)據(jù)庫技術(shù)及應(yīng)用15分析工具與應(yīng)用2機(jī)器學(xué)習(xí)14爬蟲理論與實踐1數(shù)據(jù)采集應(yīng)用存儲12物流數(shù)據(jù)分析1并行計算11實時數(shù)據(jù)處理與分析1R語言程序設(shè)計10大數(shù)據(jù)系統(tǒng)1大型數(shù)據(jù)庫系統(tǒng)開發(fā)10大數(shù)據(jù)科學(xué)與人類情感的分析1非關(guān)系型數(shù)據(jù)庫NoSQL9貝葉斯統(tǒng)計1python語言8圖像處理與機(jī)器識別1大數(shù)據(jù)與領(lǐng)域建模6ORACLE數(shù)據(jù)庫1人工智能5高級大數(shù)據(jù)開發(fā)1大數(shù)據(jù)安全技術(shù)5HDFS原理及應(yīng)用1搜索引擎技術(shù)5電商大數(shù)據(jù)分析1金融大數(shù)據(jù)5Spss的應(yīng)用1已申請大數(shù)據(jù)專業(yè)院校-課程開設(shè)詳細(xì)情況2016LenovoRestricted.Allrightsreserved.計算機(jī)領(lǐng)域，特別是互聯(lián)網(wǎng)、云計算、大數(shù)據(jù)發(fā)展迅猛，很多學(xué)校在課程體系、實踐環(huán)境、及師資跟不上；高校人才的培養(yǎng)目標(biāo)與一般企業(yè)的用人要求是有差距的；高校人才培養(yǎng)的環(huán)境，缺乏真實的業(yè)務(wù)場景，一無真正的業(yè)務(wù)需求、二無真正的數(shù)據(jù)、三無真正的軟硬件環(huán)境；傳統(tǒng)的實驗、實踐體系變革空間大。問題總結(jié)2016LenovoRestricted.Allrightsreserved.首家基于企業(yè)案例的大數(shù)據(jù)實踐教學(xué)平臺實踐教學(xué)平臺2016LenovoRestricted.Allrightsreserved.實踐為核心就業(yè)競爭力核心理念2016LenovoRestricted.Allrightsreserved.建設(shè)目標(biāo)以大數(shù)據(jù)技能操作訓(xùn)練為主要目的以Hadoop和Spark為基礎(chǔ)的科研平臺真實企業(yè)的大數(shù)據(jù)應(yīng)用場景與案例輔助教學(xué)的實驗環(huán)境及實驗指導(dǎo)書運(yùn)用云計算和互聯(lián)網(wǎng)+思想、結(jié)合網(wǎng)絡(luò)與實操，以基礎(chǔ)知識學(xué)習(xí)、在線視頻教學(xué)、仿真操作、線上學(xué)習(xí)、線下實操等為主線的一系列方法。構(gòu)建具備主流分析平臺，如Hadoop和Spark集群實驗教學(xué)、數(shù)據(jù)分析挖掘能力的大數(shù)據(jù)科研系統(tǒng)，提供可靠的大數(shù)據(jù)集群環(huán)境。提供超過十五個行業(yè)的業(yè)務(wù)數(shù)據(jù)和算法實現(xiàn)，結(jié)合大數(shù)據(jù)分析的應(yīng)用場景與案例對學(xué)生進(jìn)行數(shù)據(jù)分析方面的綜合訓(xùn)練等。提供實驗任務(wù)指導(dǎo)書（100+)、實驗任務(wù)報告審批系統(tǒng)、實戰(zhàn)集群系統(tǒng)等，配套高清視頻講解及匹配實驗環(huán)境；實現(xiàn)課程教學(xué)與實踐操作的完美結(jié)合。實驗實踐教學(xué)平臺2016LenovoRestricted.Allrightsreserved.服務(wù)器教室學(xué)生終端大數(shù)據(jù)實訓(xùn)教室解決“無開發(fā)、操作環(huán)境”的痛點解決“無數(shù)據(jù)、怎么用數(shù)據(jù)”的痛點架構(gòu)架構(gòu)通過瀏覽器直接訪問實驗平臺客戶端無需安裝其它工具軟件2016LenovoRestricted.Allrightsreserved.部署案例大數(shù)據(jù)實驗平臺支撐大數(shù)據(jù)課程操作系統(tǒng)與Linux應(yīng)用（僅列出部份課程）程序設(shè)計II（Java）程序設(shè)計與應(yīng)用（Python）數(shù)據(jù)庫原理與應(yīng)用大數(shù)據(jù)算法設(shè)計與分析大數(shù)據(jù)存儲與處理技術(shù)應(yīng)用Spark原理與Scala程序設(shè)計應(yīng)用大數(shù)據(jù)可視化技術(shù)與應(yīng)用數(shù)據(jù)挖掘與分析大數(shù)據(jù)系統(tǒng)運(yùn)維Hive技術(shù)及應(yīng)用R語言分析…分布式數(shù)據(jù)倉庫（HBase）機(jī)器學(xué)習(xí)與模式識別大數(shù)據(jù)實驗平臺學(xué)習(xí)行為分析大數(shù)據(jù)實驗平臺網(wǎng)絡(luò)實訓(xùn)視頻課程

大數(shù)據(jù)實驗平臺基于瀏覽器的邊學(xué)邊練實踐模式大數(shù)據(jù)實驗平臺第一堂課：集群安裝實驗大數(shù)據(jù)實驗平臺基于瀏覽器的各類實驗機(jī)大數(shù)據(jù)實驗平臺基于瀏覽器的實驗任務(wù)訓(xùn)練大數(shù)據(jù)實驗平臺基于瀏覽器的實驗任務(wù)訓(xùn)練大數(shù)據(jù)實驗平臺實驗報告大數(shù)據(jù)實驗平臺基于瀏覽器的實驗任務(wù)訓(xùn)練2016LenovoRestricted.Allrightsreserved.實戰(zhàn)集群及數(shù)據(jù)案例HDFS集群內(nèi)置Hadoop分布式文件系統(tǒng)(HDFS)，能提供較高吞吐量的數(shù)據(jù)訪問，非常適合大規(guī)模數(shù)據(jù)集上的應(yīng)用，可以用于針對HDFS的所有特點的實驗和操作。Zookeeper是一個為分布式應(yīng)用提供一致性服務(wù)的軟件，提供配置維護(hù)、名字服務(wù)、分布式同步、組服務(wù)等。Hive集群是基于Hadoop的一個數(shù)據(jù)倉庫工具，可以將結(jié)構(gòu)化的數(shù)據(jù)文件映射為一張數(shù)據(jù)庫表，并提供簡單的sql查詢功能，可以將sql語句轉(zhuǎn)換為MapReduce任務(wù)進(jìn)行運(yùn)行。。Yarn集群后續(xù)版本Hadoop的MapReduce框架完全重構(gòu)，發(fā)生了根本的變化。新的HadoopMapReduce框架命名為Yarn或MapReduceV2。HBase集群HBase是一個分布式的、面向列的開源數(shù)據(jù)庫，不同于一般的關(guān)系數(shù)據(jù)庫，它是一個適合于非結(jié)構(gòu)化數(shù)據(jù)存儲的數(shù)據(jù)庫，HBase基于列的而不是基于行的模式?；ヂ?lián)網(wǎng)新聞通過互聯(lián)網(wǎng)公共數(shù)據(jù)的采集，提供了上T的新聞數(shù)據(jù)，用于事件、輿情的分析案例。搜索引擎提供用戶搜索的熱門詞匯，用于分析行業(yè)熱點等案例。在線教育與知名的在線教育公司合作，提供學(xué)生的上課、練習(xí)、答疑等行為數(shù)據(jù)。用于用戶的學(xué)習(xí)行為特征分析案例。電子商務(wù)提供多家電商的選購、交易數(shù)據(jù)。用于商品推薦等大數(shù)據(jù)分析案例。房地產(chǎn)通過交易采購著名線上房源、租金等數(shù)據(jù)，用于分析租住人員的分布狀況、收入情況等案例。大數(shù)據(jù)實戰(zhàn)平臺大數(shù)據(jù)實驗平臺集群管理系統(tǒng)01集群管理系統(tǒng)基于分布式集群管理系統(tǒng)，提供大數(shù)據(jù)集群管理系統(tǒng)，功能包含Hadoop、Hive、HBase、Sqoop、Flume、Kafka、Spark等節(jié)點部屬及管理，提供實時監(jiān)控集群的CarPU、內(nèi)存、硬盤等使用率及相關(guān)信息，可以對管理節(jié)點、計算節(jié)點進(jìn)行啟動、停止等操作管理。大數(shù)據(jù)實驗平臺項目工作流系統(tǒng)02工作流系統(tǒng)大數(shù)據(jù)程序作業(yè)的上傳、部屬、流程管理等功能，基于Web的任務(wù)調(diào)度、兼容Hadoop、Spark主流版本、失敗任務(wù)的、運(yùn)行狀態(tài)監(jiān)控等。2016LenovoRestricted.Allrightsreserved.軟件平臺-配套實訓(xùn)課程2016LenovoRestricted.Allrightsreserved.軟件平臺-配套實訓(xùn)課程2016LenovoRestricted.Allrightsreserved.軟件平臺-配套實訓(xùn)課程2016LenovoRestricted.Allrightsreserved.Hadoop偽分布模式安裝Hadoop完全分布模式安裝Hadoop開發(fā)插件安裝HDFSJAVAAPI操作Mapreduce實例——wordcountMapreduce實例——去重Mapreduce實例——排序Mapreduce實例——求平均值Mapreduce實例——Map端JoinMapreduce實例——Reduce端JoinMapreduce實例——單表JoinMapreduce實例——二次排序Mapreduce實例——倒排索引Mapreduce實例——Chainmapper&ChainreducerMapreduce實例——MapReduce自定義輸入、輸出格式Hive安裝Hive基本操作Hive查詢Hive各種排序之間的區(qū)別zookeeper安裝HBase安裝HBaseJAVAAPI讀寫數(shù)據(jù)HBase的過濾器綜合案例：MapReduce讀HBase綜合案例：MapReduce寫HBase綜合案例：Mapreduce讀HBase并寫入HBase軟件平臺-實驗任務(wù)（100+）2016LenovoRestricted.Allrightsreserved.Sqoop安裝

sqoop數(shù)據(jù)導(dǎo)入導(dǎo)出sqoop增量數(shù)據(jù)導(dǎo)入綜合案例：hadoop、hive、sqoop、mysql聯(lián)用Flume安裝部署Flume配置：source、Channel、SinkFlume自定義