大數(shù)據(jù)采集與管理專業(yè)

學(xué)科專業(yè)大數(shù)據(jù)采集與管理專業(yè)01內(nèi)容信息課程設(shè)置相關(guān)院校行業(yè)現(xiàn)狀核心技術(shù)目錄03050204基本信息大數(shù)據(jù)采集與管理專業(yè)是從大數(shù)據(jù)應(yīng)用的數(shù)據(jù)管理、系統(tǒng)開發(fā)、海量數(shù)據(jù)分析與挖掘等層面系統(tǒng)地幫助企業(yè)掌握大數(shù)據(jù)應(yīng)用中的各種典型問題的解決辦法的專業(yè)?！按髷?shù)據(jù)”（BigData）指一般的軟件工具難以捕捉、管理和分析的大容量數(shù)據(jù)?！按髷?shù)據(jù)”之“大”，并不僅僅在于“容量之大”，更大的意義在于：通過對海量數(shù)據(jù)的交換、整合和分析，發(fā)現(xiàn)新的知識，創(chuàng)造新的價值，帶來“大知識”、“大科技”、“大利潤”和“大發(fā)展”?！按髷?shù)據(jù)”能幫助企業(yè)找到一個個難題的答案，給企業(yè)帶來前所未有的商業(yè)價值與機會。大數(shù)據(jù)同時也給企業(yè)的IT系統(tǒng)提出了巨大的挑戰(zhàn)。通過不同行業(yè)的“大數(shù)據(jù)”應(yīng)用狀況，我們能夠看到企業(yè)如何使用大數(shù)據(jù)和云計算技術(shù)，解決他們的難題，靈活、快速、高效地響應(yīng)瞬息萬變的市場需求。內(nèi)容信息內(nèi)容信息大數(shù)據(jù)浪潮，洶涌來襲，與互聯(lián)的發(fā)明一樣，這絕不僅僅是信息技術(shù)領(lǐng)域的革命，更是在全球范圍加速企業(yè)創(chuàng)新、引領(lǐng)社會變革的利器?，F(xiàn)代關(guān)系學(xué)之父德魯克有言，預(yù)測未來最好的方法，就是去創(chuàng)造未來。而“大數(shù)據(jù)戰(zhàn)略”，則是當下領(lǐng)航全球的先機?！按髷?shù)據(jù)”（BigData）指一般的軟件工具難以捕捉、管理和分析的大容量數(shù)據(jù)?！按髷?shù)據(jù)”之“大”，并不僅僅在于“容量之大”，更大的意義在于：通過對海量數(shù)據(jù)的交換、整合和分析，發(fā)現(xiàn)新的知識，創(chuàng)造新的價值，帶來“大知識”、“大科技”、“大利潤”和“大發(fā)展”?！按髷?shù)據(jù)”能幫助企業(yè)找到一個個難題的答案，給企業(yè)帶來前所未有的商業(yè)價值與機會。大數(shù)據(jù)同時也給企業(yè)的IT系統(tǒng)提出了巨大的挑戰(zhàn)。通過不同行業(yè)的“大數(shù)據(jù)”應(yīng)用狀況，我們能夠看到企業(yè)如何使用大數(shù)據(jù)和云計算技術(shù)，解決他們的難題，靈活、快速、高效地響應(yīng)瞬息萬變的市場需求。行業(yè)現(xiàn)狀行業(yè)現(xiàn)狀今天，越來越多的行業(yè)對大數(shù)據(jù)應(yīng)用持樂觀的態(tài)度，大數(shù)據(jù)或者相關(guān)數(shù)據(jù)分析解決方案的使用在互聯(lián)行業(yè)，比如百度、騰訊、淘寶、新浪等公司已經(jīng)成為標準。而像電信、金融、能源這些傳統(tǒng)行業(yè)，越來越多的用戶開始嘗試或者考慮怎么樣使用大數(shù)據(jù)解決方案，來提升自己的業(yè)務(wù)水平。在“大數(shù)據(jù)”背景之下，精通“大數(shù)據(jù)”的專業(yè)人才將成為企業(yè)最重要的業(yè)務(wù)角色，“大數(shù)據(jù)”從業(yè)人員薪酬持續(xù)增長，人才缺口巨大。課程設(shè)置課程設(shè)置大數(shù)據(jù)專業(yè)將從大數(shù)據(jù)應(yīng)用的三個主要層面（即數(shù)據(jù)管理、系統(tǒng)開發(fā)、海量數(shù)據(jù)分析與挖掘）系統(tǒng)地幫助企業(yè)掌握大數(shù)據(jù)應(yīng)用中的各種典型問題的解決辦法，包括實現(xiàn)和分析協(xié)同過濾算法、運行和學(xué)習分類算法、分布式Hadoop集群的搭建和基準測試、分布式Hbase集群的搭建和基準測試、實現(xiàn)一個基于、Mapreduce的并行算法、部署Hive并實現(xiàn)一個的數(shù)據(jù)操作等等，實際提升企業(yè)解決實際問題的能力。核心技術(shù)核心技術(shù)（1）大數(shù)據(jù)與Hadoop生態(tài)系統(tǒng)。詳細介紹分析分布式文件系統(tǒng)HDFS、集群文件系統(tǒng)ClusterFS和NoSQLDatabase技術(shù)的原理與應(yīng)用；分布式計算框架Mapreduce、分布式數(shù)據(jù)庫HBase、分布式數(shù)據(jù)倉庫Hive。（2）關(guān)系型數(shù)據(jù)庫技術(shù)。詳細介紹關(guān)系型數(shù)據(jù)庫的原理，掌握典型企業(yè)級數(shù)據(jù)庫的構(gòu)建、管理、開發(fā)及應(yīng)用。（3）分布式數(shù)據(jù)處理。詳細介紹分析Map/Reduce計算模型和HadoopMap/Reduce技術(shù)的原理與應(yīng)用。（4）海量數(shù)據(jù)分析與數(shù)據(jù)挖掘。詳細介紹數(shù)據(jù)挖掘技術(shù)、數(shù)據(jù)挖掘算法–Minhash,JaccardandCosinesimilarity，TF-IDF數(shù)據(jù)挖掘算法–聚類算法；以及數(shù)據(jù)挖掘技術(shù)在行業(yè)中的具體應(yīng)用。（5）物聯(lián)與大數(shù)據(jù)。詳細介紹物聯(lián)中的大數(shù)據(jù)應(yīng)用、遙感圖像的自動解譯、時間序列數(shù)據(jù)的查詢、分析和挖掘。（6）文件系統(tǒng)（HDFS）。詳細介紹HDFS部署，基于HDFS的高性能提供高吞吐量的數(shù)據(jù)訪問。（