職業(yè)技術(shù)學(xué)院大數(shù)據(jù)技術(shù)專業(yè)調(diào)研報告

大數(shù)據(jù)技術(shù)專業(yè)調(diào)研報告為推動大數(shù)據(jù)技術(shù)專業(yè)的建設(shè)發(fā)展，立足新時期新形勢，找準(zhǔn)專業(yè)定位，破解發(fā)展危機，大數(shù)據(jù)技術(shù)從設(shè)立之初，就以多種形式舉辦多次教學(xué)工作專業(yè)建設(shè)專題研討會，并積極選派骨干教師代表赴省內(nèi)外參加專業(yè)建設(shè)學(xué)術(shù)研討交流會。大數(shù)據(jù)技術(shù)與應(yīng)用教研室和本專業(yè)部分學(xué)生在省內(nèi)外積極開展專業(yè)調(diào)研工作。調(diào)查形式主要有：政府主管部門、行業(yè)和協(xié)會；兄弟院校；企業(yè)雇主；就業(yè)市場等幾個方面展開調(diào)研。調(diào)研期間調(diào)研組實地考察了省內(nèi)多家企業(yè)，其中包括了IT企業(yè)和非IT企業(yè)。調(diào)研主要內(nèi)容有：（一）政府主管部門、行業(yè)和協(xié)會（1）政府發(fā)展規(guī)劃與政策動態(tài)。推動大數(shù)據(jù)產(chǎn)業(yè)持續(xù)健康發(fā)展，是黨中央、國務(wù)院作出的重大戰(zhàn)略部署，是實施國家大數(shù)據(jù)戰(zhàn)略、實現(xiàn)我國從數(shù)據(jù)大國向數(shù)據(jù)強國轉(zhuǎn)變的重要舉措。日前，工業(yè)和信息化部正式印發(fā)了《中國大數(shù)據(jù)行業(yè)前景預(yù)測及十四五規(guī)劃分析報告2020-2025年》（以下簡稱《規(guī)劃》），全面部署“十四五”時期大數(shù)據(jù)產(chǎn)業(yè)發(fā)展工作，一是推動大數(shù)據(jù)產(chǎn)業(yè)基礎(chǔ)高級化。加強技術(shù)創(chuàng)新，補齊關(guān)鍵技術(shù)短板，強化薄弱技術(shù)環(huán)節(jié)；二是推進(jìn)大數(shù)據(jù)產(chǎn)業(yè)鏈現(xiàn)代化。圍繞數(shù)據(jù)資源、基礎(chǔ)硬件、通用軟件等建立大數(shù)據(jù)產(chǎn)業(yè)圖譜，推動大數(shù)據(jù)產(chǎn)品高端化。圍繞數(shù)據(jù)清洗、數(shù)據(jù)標(biāo)注、數(shù)據(jù)分析等相關(guān)需求，加速大數(shù)據(jù)服務(wù)的優(yōu)質(zhì)化；三是構(gòu)建產(chǎn)業(yè)生態(tài)。持續(xù)做好國家大數(shù)據(jù)綜合試驗區(qū)、大數(shù)據(jù)試點示范等工作，培育壯大市場主體。未來幾年，廣東省將主要圍繞“產(chǎn)業(yè)發(fā)展”(工業(yè)大數(shù)據(jù)、金融大數(shù)據(jù)、電網(wǎng)大數(shù)據(jù)、電子商務(wù)大數(shù)據(jù)、物流大數(shù)據(jù)、現(xiàn)代農(nóng)業(yè)大數(shù)據(jù)、經(jīng)濟(jì)運行大數(shù)據(jù))、“公共服務(wù)”(健康醫(yī)療大數(shù)據(jù)、交通旅游大數(shù)據(jù)、教育服務(wù)大數(shù)據(jù)、人力資源社會保障大數(shù)據(jù))、“社會治理”(信用大數(shù)據(jù)、食品藥品大數(shù)據(jù)、環(huán)境保護(hù)大數(shù)據(jù)、國土資源大數(shù)據(jù)、輿情分析大數(shù)據(jù)、警務(wù)反恐大數(shù)據(jù))三個領(lǐng)域，實施18個重點工程，推廣典型應(yīng)用。（2）市場需求和行業(yè)發(fā)展趨勢。1）大數(shù)據(jù)市場需求大數(shù)據(jù)經(jīng)過前幾年的概念熱炒之后，逐步走過了探索階段、市場啟動階段，當(dāng)前已經(jīng)在接受度、技術(shù)、應(yīng)用等各個方面趨于成熟，開始步入產(chǎn)業(yè)的快速發(fā)展階段。大數(shù)據(jù)巨大的應(yīng)用價值帶動了大數(shù)據(jù)行業(yè)的迅速發(fā)展，行業(yè)規(guī)模增長迅速。2）大數(shù)據(jù)行業(yè)發(fā)展趨勢我國行業(yè)大數(shù)據(jù)總體發(fā)展水平較好，在各行業(yè)都有應(yīng)用。其中，金融大數(shù)據(jù)、政務(wù)大數(shù)據(jù)的應(yīng)用水平最高，同時交通、電信、商貿(mào)、醫(yī)療、教育、旅游等行業(yè)大數(shù)據(jù)的發(fā)展水平也有顯著提升。整體來看，大數(shù)據(jù)的應(yīng)用范圍廣泛。大數(shù)據(jù)分析對企業(yè)的發(fā)展越來越重要，35.1%以上的企業(yè)已經(jīng)開始在企業(yè)內(nèi)部應(yīng)用到了大數(shù)據(jù)；34.2%的企業(yè)正在考慮應(yīng)用大數(shù)據(jù)，22.9%的企業(yè)在未來1年有應(yīng)用大數(shù)據(jù)的計劃，僅僅有7.8%的企業(yè)暫不考慮應(yīng)用大數(shù)據(jù)。（二）兄弟院校（1）國內(nèi)外已開設(shè)相關(guān)專業(yè)的兄弟院校調(diào)研云的時代已全面到來！現(xiàn)在，越來越多的大中型企業(yè)正將基礎(chǔ)架構(gòu)向云端加速遷移，小微企業(yè)和個人開發(fā)者更是將云作為基礎(chǔ)設(shè)施的首選。隨著云的能力不斷提升，在DT時代，絕大多數(shù)的計算與數(shù)據(jù)服務(wù)都會在云端完成。面對這一發(fā)展趨勢，除了需要在技術(shù)不斷將計算能力提升之外，云計算、大數(shù)據(jù)方面的專業(yè)人才缺失，也成為了整個生態(tài)面臨的嚴(yán)峻挑戰(zhàn)！站在互聯(lián)網(wǎng)“風(fēng)口”上的大數(shù)據(jù)，直接催熱了大學(xué)里的大數(shù)據(jù)專業(yè)。國外除了在大數(shù)據(jù)的概念上的研究外，重點放在技術(shù)研究。美國政府六個部門啟動的大數(shù)據(jù)研究計劃中，絕大多數(shù)研究項目都是應(yīng)對大數(shù)據(jù)帶來的技術(shù)挑戰(zhàn)，重視的是數(shù)據(jù)工程而不是數(shù)據(jù)科學(xué)，主要考慮大數(shù)據(jù)分析算法和系統(tǒng)的效率。國內(nèi)在大數(shù)據(jù)研究領(lǐng)域的重點在大數(shù)據(jù)與云計算、數(shù)據(jù)挖掘，并行計算和分布式處理，應(yīng)用式主要集中在地理信息系統(tǒng),大數(shù)據(jù)在商品零售、金融等領(lǐng)域的應(yīng)用已經(jīng)非常廣泛，而在法律領(lǐng)域，其實也有許多可挖掘、可利用、可產(chǎn)生價值的地方。（2）兄弟院校學(xué)科專業(yè)建設(shè)情況1）大數(shù)據(jù)領(lǐng)域三個大的技術(shù)方向：方向一：Hadoop(在分布式服務(wù)器集群上存儲海量數(shù)據(jù)并運行分布式分析應(yīng)用的一種方法)大數(shù)據(jù)開發(fā)方向方向二：數(shù)據(jù)挖掘、數(shù)據(jù)分析&機器學(xué)習(xí)方向方向三：大數(shù)據(jù)運維、云計算計算方向2）課程設(shè)置大數(shù)據(jù)專業(yè)將從大數(shù)據(jù)應(yīng)用的三個主要層面(即數(shù)據(jù)管理、系統(tǒng)開發(fā)、海量數(shù)據(jù)分析與挖掘)系統(tǒng)地幫助企業(yè)掌握大數(shù)據(jù)應(yīng)用中的各種典型問題的解決辦法，包括實現(xiàn)和分析協(xié)同過濾算法、運行和學(xué)習(xí)分類算法、分布式Hadoop集群的搭建和基準(zhǔn)測試、分布式Hbase集群的搭建和基準(zhǔn)測試、實現(xiàn)一個基于、Mapreduce的并行算法、部署Hive并實現(xiàn)一個的數(shù)據(jù)操作等等，實際提升企業(yè)解決實際問題的能力。核心課程：程序設(shè)計基礎(chǔ)、數(shù)據(jù)結(jié)構(gòu)、數(shù)據(jù)庫原理與應(yīng)用、概率論與數(shù)理統(tǒng)計、高等代數(shù)、應(yīng)用統(tǒng)計學(xué)、面向?qū)ο蟪绦蛟O(shè)計、算法設(shè)計與分析、數(shù)據(jù)庫原理及應(yīng)用、大數(shù)據(jù)分析應(yīng)用平臺Hadoop、大數(shù)據(jù)處理、數(shù)據(jù)可視化原理與方法、數(shù)據(jù)挖掘等以及相應(yīng)的項目與實訓(xùn)課程。3）核心技術(shù)(1)大數(shù)據(jù)與Hadoop生態(tài)系統(tǒng)。詳細(xì)介紹分析分布式文件系統(tǒng)HDFS、集群文件系統(tǒng)ClusterFS和NoSQLDatabase技術(shù)的原理與應(yīng)用;分布式計算框架Mapreduce、分布式數(shù)據(jù)庫HBase、分布式數(shù)據(jù)倉庫Hive。(2)關(guān)系型數(shù)據(jù)庫技術(shù)。詳細(xì)介紹關(guān)系型數(shù)據(jù)庫的原理，掌握典型企業(yè)級數(shù)據(jù)庫的構(gòu)建、管理、開發(fā)及應(yīng)用。(3)分布式數(shù)據(jù)處理。詳細(xì)介紹分析Map/Reduce計算模型和HadoopMap/Reduce技術(shù)的原理與應(yīng)用。(4)海量數(shù)據(jù)分析與數(shù)據(jù)挖掘。詳細(xì)介紹數(shù)據(jù)挖掘技術(shù)、數(shù)據(jù)挖掘算法–Minhash,JaccardandCosinesimilarity，TF-IDF數(shù)據(jù)挖掘算法–聚類算法;以及數(shù)據(jù)挖掘技術(shù)在行業(yè)中的具體應(yīng)用。(5)物聯(lián)網(wǎng)與大數(shù)據(jù)。詳細(xì)介紹物聯(lián)網(wǎng)中的大數(shù)據(jù)應(yīng)用、遙感圖像的自動解譯、時間序列數(shù)據(jù)的查詢、分析和挖掘。(6)文件系統(tǒng)(HDFS)。詳細(xì)介紹HDFS部署，基于HDFS的高性能提供高吞吐量的數(shù)據(jù)訪問。(7)NoSQL。詳細(xì)介紹NoSQL非關(guān)系型數(shù)據(jù)庫系統(tǒng)的原理、架構(gòu)及典型應(yīng)用。（三）企業(yè)雇主（1）本專業(yè)的職業(yè)面向、主要就業(yè)單位和就業(yè)部門、專業(yè)核心崗位和相關(guān)崗位、行業(yè)標(biāo)準(zhǔn)與職業(yè)資格證書要求等方面的調(diào)研情況。1）就業(yè)方向大數(shù)據(jù)方面的工作人員主要有三大就業(yè)方向：大數(shù)據(jù)程序開發(fā)方向、大數(shù)據(jù)采集與清洗方向、大數(shù)據(jù)分析方向、大數(shù)據(jù)架構(gòu)設(shè)計方向。在此三大方向中，各自的基礎(chǔ)崗位一般為大數(shù)據(jù)系統(tǒng)研發(fā)工程師、大數(shù)據(jù)應(yīng)用開發(fā)工程師和數(shù)據(jù)分析師。2）就業(yè)部門/單位計算機、移動互聯(lián)網(wǎng)、電子信息、電子商務(wù)技術(shù)、電子金融、電子政務(wù)、軍事、政府機關(guān)、房地產(chǎn)、銀行、金融、移動互聯(lián)網(wǎng)、IT領(lǐng)域。3）專業(yè)核心崗位和相關(guān)崗位數(shù)據(jù)科學(xué)家、數(shù)據(jù)分析師、數(shù)據(jù)架構(gòu)師、數(shù)據(jù)工程師、統(tǒng)計學(xué)家、數(shù)據(jù)庫管理員、業(yè)務(wù)數(shù)據(jù)分析師、數(shù)據(jù)產(chǎn)品經(jīng)理（2）專業(yè)核心崗位和相關(guān)崗位的典型工作任務(wù)的調(diào)研情況。就業(yè)方向：=1\*GB3①大數(shù)據(jù)技術(shù)方向?qū)?yīng)崗位典型工作任務(wù)：大數(shù)據(jù)開發(fā)工程師爬蟲工程師Java大數(shù)據(jù)分布式程序開發(fā)、大數(shù)據(jù)分析師等集成平臺的應(yīng)用與開發(fā)、數(shù)據(jù)可視化等相關(guān)工作、大數(shù)據(jù)分析方向數(shù)據(jù)科學(xué)家、數(shù)據(jù)挖掘工程師、機器學(xué)習(xí)工程師等、=2\*GB3②大數(shù)據(jù)架構(gòu)設(shè)計大數(shù)據(jù)運維工程師、大數(shù)據(jù)平臺運維、大數(shù)據(jù)分析、大數(shù)據(jù)挖掘等相關(guān)工作。=3\*GB3③Java海量數(shù)據(jù)分布式編程、大數(shù)據(jù)架構(gòu)設(shè)計，大數(shù)據(jù)分析等方面工作任務(wù)（四）就業(yè)市場（1）就業(yè)市場招聘相關(guān)專業(yè)畢業(yè)生的現(xiàn)狀。如今，我國大數(shù)據(jù)產(chǎn)業(yè)發(fā)展已初具規(guī)模，但在人才市場上缺乏綜合掌握數(shù)學(xué)、統(tǒng)計學(xué)、計算機等相關(guān)學(xué)科及應(yīng)用領(lǐng)域知識的綜合性數(shù)據(jù)科學(xué)人才，特別是缺乏既熟悉行業(yè)業(yè)務(wù)又掌握大數(shù)據(jù)技術(shù)與管理的綜合型人才。今天，越來越多的行業(yè)對大數(shù)據(jù)應(yīng)用持樂觀的態(tài)度，大數(shù)據(jù)或者相關(guān)數(shù)據(jù)分析解決方案的使用在互聯(lián)網(wǎng)行業(yè)，比如百度、騰訊、淘寶、新浪等公司已經(jīng)成為標(biāo)準(zhǔn)。而像電信、金融、能源這些傳統(tǒng)行業(yè)，越來越多的用戶開始嘗試或者考慮怎么樣使用大數(shù)據(jù)解決方案，來提升自己的業(yè)務(wù)水平。在“大數(shù)據(jù)”背景之下，精通“大數(shù)據(jù)”的專業(yè)人才將成為企業(yè)最重要的業(yè)務(wù)角色，“大數(shù)據(jù)”從業(yè)人員薪酬持續(xù)增長，人才缺口巨大。各大高校緊鑼密鼓啟動大數(shù)據(jù)人才培養(yǎng)，緣于大數(shù)據(jù)時代催生的大量相關(guān)人才缺口。（2）就業(yè)市場招聘相關(guān)專業(yè)畢業(yè)生的用人需求和素質(zhì)要求。通過調(diào)研了解到，就業(yè)市場招聘相關(guān)專業(yè)畢業(yè)生的用人需求和素質(zhì)要求：1)從個人素質(zhì)方面，需要以下能力：良好的數(shù)據(jù)敏感度，能從海量數(shù)據(jù)提煉核心結(jié)果。對統(tǒng)計、數(shù)學(xué)建模有強烈的興趣和鉆研精神。良好的學(xué)習(xí)能力、團(tuán)隊協(xié)作能力、邏輯思維能力、分析能力。擅長與商