高校大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)解決處理方案

...wd......wd......wd...高校大數(shù)據(jù)實(shí)驗(yàn)室建設(shè)方案建設(shè)目標(biāo)章魚大數(shù)據(jù)實(shí)驗(yàn)室的建設(shè)目的是作為大數(shù)據(jù)教學(xué)實(shí)驗(yàn)及科研平臺(tái)，包括數(shù)據(jù)挖掘與大數(shù)據(jù)分析平臺(tái)。實(shí)驗(yàn)室的設(shè)計(jì)全面落實(shí)“產(chǎn)、學(xué)、研、用〞一體化的思想和模式，從教學(xué)、實(shí)踐、科研和使用多方面注重專業(yè)人才和特色人才的培養(yǎng)。利用虛擬化教學(xué)資源，搭建教學(xué)系統(tǒng)和集群平臺(tái)，將理論學(xué)習(xí)、實(shí)踐教學(xué)和大數(shù)據(jù)工程實(shí)戰(zhàn)融為一體，由難而易、循序漸進(jìn)，逐步提升學(xué)生的學(xué)習(xí)技能和實(shí)踐水平，提高“學(xué)〞的質(zhì)量和成效。利用大數(shù)據(jù)分析主流軟件框架，搭建與業(yè)界主要用戶一致的實(shí)驗(yàn)與科研環(huán)境，將理論課程中學(xué)到的數(shù)據(jù)挖掘算法運(yùn)用到實(shí)際的數(shù)據(jù)分析過程中，提升學(xué)生的動(dòng)手操作和工程實(shí)踐能力。使得學(xué)生所學(xué)與企業(yè)工程人才需求無縫銜接，與教師的科研工作嚴(yán)密配合。通過專業(yè)的大數(shù)據(jù)分析計(jì)算資源搭建的開放式大數(shù)據(jù)分析平臺(tái)，可以充分的融合教師的科研需求，教師可以在開放的平臺(tái)環(huán)境下開展大數(shù)據(jù)科研工作，提升教師的科研創(chuàng)新能力，充分提高“研〞的成效。產(chǎn)品優(yōu)勢交互式學(xué)習(xí)模式提供體系完整、簡單易用的在線教學(xué)課堂；以根基知識(shí)學(xué)習(xí)、在線視頻教學(xué)、習(xí)題、線上測試、評(píng)估等為主線的一系列方法，確保學(xué)生在短時(shí)間內(nèi)掌握大數(shù)據(jù)虛擬仿真實(shí)驗(yàn)、分析部署技能。真機(jī)實(shí)驗(yàn)訓(xùn)練實(shí)驗(yàn)訓(xùn)練體系設(shè)計(jì)成各模塊相對(duì)獨(dú)立的形式，各模塊交互式的實(shí)驗(yàn)任務(wù)、大數(shù)據(jù)實(shí)驗(yàn)機(jī)、實(shí)際工程上機(jī)操作，通過多方位的訓(xùn)練，最終靈活的、漸進(jìn)式地掌握大數(shù)據(jù)生態(tài)體系。大數(shù)據(jù)實(shí)戰(zhàn)及案例分析提供實(shí)驗(yàn)數(shù)據(jù)，包括網(wǎng)站流量數(shù)據(jù)、租房及二手房數(shù)據(jù)、電商商品交易數(shù)據(jù)、搜索引擎訪問等多種行業(yè)數(shù)據(jù)，數(shù)據(jù)內(nèi)容超過20TB，同時(shí)周期更新數(shù)據(jù)內(nèi)容。充分支撐科研工作提供行業(yè)數(shù)據(jù)及案例解剖用于根基研究，提供數(shù)據(jù)分析方案及流程，提供數(shù)據(jù)更新接口，可以對(duì)行業(yè)數(shù)據(jù)進(jìn)展分析統(tǒng)計(jì)，按需求生成數(shù)據(jù)報(bào)表，為科研工作提供數(shù)據(jù)支撐。例如某地區(qū)經(jīng)濟(jì)數(shù)據(jù)分析、股市數(shù)據(jù)分析、全國地震數(shù)據(jù)分析、食品價(jià)格行業(yè)數(shù)據(jù)分析等。建設(shè)規(guī)模按照60臺(tái)大數(shù)據(jù)實(shí)驗(yàn)機(jī)容量進(jìn)展同時(shí)在線使用進(jìn)展建設(shè)為根基，整體系統(tǒng)提供快速擴(kuò)容升級(jí)服務(wù)。硬件配置采用十六臺(tái)高性能品牌服務(wù)器作為大數(shù)據(jù)節(jié)點(diǎn)進(jìn)展建設(shè)，采用企業(yè)級(jí)全千兆三層交換機(jī)進(jìn)展網(wǎng)絡(luò)數(shù)據(jù)交換。每臺(tái)節(jié)點(diǎn)的配置如下：處理器每節(jié)點(diǎn)支持2個(gè)英特爾?至強(qiáng)?處理器E5-2650CPU高速緩存15MBQPI總線速率7.2GT/s內(nèi)存提供12個(gè)內(nèi)存插槽，標(biāo)配192G內(nèi)存，支持高級(jí)內(nèi)存糾錯(cuò)，內(nèi)存鏡像，內(nèi)存熱備等高級(jí)功能磁盤標(biāo)配4塊3TBSATA硬盤標(biāo)配2塊120GSSD硬盤300G10000轉(zhuǎn)SAS系統(tǒng)盤網(wǎng)絡(luò)控制器集成1個(gè)高性能千兆以太網(wǎng)控制器〔雙口〕，支持虛擬化加速，網(wǎng)絡(luò)加速，負(fù)載均衡，冗余等高級(jí)功能電源標(biāo)配大功率高效白金級(jí)電源，1+1冗余虛擬化技術(shù)支持VMwarevSphere、Docker、OpenStack等軟件平臺(tái)介紹1、大數(shù)據(jù)教學(xué)管理系統(tǒng)專業(yè)管理 提供對(duì)專業(yè)信息的增加、刪除、修改、查詢功能。班級(jí)管理 提供對(duì)專業(yè)下屬班級(jí)的增加、刪除、修改、查詢功能。學(xué)生管理 提供對(duì)班級(jí)內(nèi)學(xué)生的管理，學(xué)生內(nèi)容包含姓名、學(xué)號(hào)、所屬班級(jí)、所屬專業(yè)、聯(lián)系手機(jī)、登錄次數(shù)等內(nèi)容。交流日志查閱 對(duì)實(shí)驗(yàn)機(jī)分享交流的內(nèi)容進(jìn)展查詢，包含交流IP、相關(guān)學(xué)員、相關(guān)教師、實(shí)驗(yàn)機(jī)編號(hào)、交流內(nèi)容等內(nèi)容。成績管理 對(duì)于學(xué)習(xí)中心在線學(xué)習(xí)的學(xué)習(xí)考核成績進(jìn)展管理，包含查詢及刪除等功能。學(xué)習(xí)記錄 提供每個(gè)學(xué)生在學(xué)習(xí)中心平臺(tái)內(nèi)學(xué)習(xí)課程的學(xué)習(xí)記錄，包含日期、方案、課程、章節(jié)、學(xué)習(xí)IP等。學(xué)習(xí)行為報(bào)表 對(duì)所有學(xué)生的課程學(xué)習(xí)記錄進(jìn)展統(tǒng)計(jì)，包含個(gè)體統(tǒng)計(jì)、班級(jí)統(tǒng)計(jì)、全體統(tǒng)計(jì)等。課程管理 對(duì)學(xué)習(xí)課程進(jìn)展查詢、修改、刪除等操作。開通課程方案 對(duì)于學(xué)習(xí)開課方案的字段內(nèi)容包含方案名稱、授課講師、授課時(shí)間段、開通狀態(tài)、允許申請周期，允許申請人數(shù)等，功能提供綁定課程方案相關(guān)實(shí)訓(xùn)平臺(tái)課程、授課助教、云實(shí)驗(yàn)機(jī)綁定、實(shí)驗(yàn)任務(wù)綁定等功能。課程測驗(yàn)習(xí)題管理 提供對(duì)課程相關(guān)的習(xí)題管理，題型包含單項(xiàng)選擇、多項(xiàng)選擇、判斷題等類型，對(duì)習(xí)題進(jìn)展增、冊、改、查操作。分級(jí)權(quán)限功能 系統(tǒng)分為總管理員、助教等二級(jí)管理角色，總管理員進(jìn)展管理所有的功能點(diǎn)，助教可以進(jìn)展班級(jí)管理、學(xué)生管理、開課方案制作、實(shí)驗(yàn)機(jī)遠(yuǎn)程協(xié)助等。學(xué)生實(shí)訓(xùn)系統(tǒng) 提供學(xué)生根據(jù)姓名、學(xué)號(hào)、密碼登錄系統(tǒng)進(jìn)展實(shí)訓(xùn)操作，學(xué)生只需安裝瀏覽即可進(jìn)展實(shí)驗(yàn)任務(wù)操作；提供實(shí)訓(xùn)課程在線學(xué)習(xí)功能、實(shí)驗(yàn)機(jī)在線操作、實(shí)驗(yàn)報(bào)告提交、實(shí)驗(yàn)機(jī)界面截圖、記錄課程學(xué)習(xí)時(shí)長等。實(shí)驗(yàn)機(jī)桌面分享 提供實(shí)驗(yàn)機(jī)桌面分享功能，如學(xué)生在學(xué)習(xí)、操作云實(shí)驗(yàn)機(jī)的過程中，有問題可以向教師發(fā)起協(xié)助請求，助教在收到請求時(shí)，可以遠(yuǎn)程訪問學(xué)生的實(shí)驗(yàn)機(jī)，并指導(dǎo)如何操作。2、云實(shí)驗(yàn)機(jī)及實(shí)驗(yàn)任務(wù)云實(shí)驗(yàn)機(jī) 提供基于Web瀏覽器的實(shí)驗(yàn)機(jī)可視化操作，操作終端無需安裝其它開發(fā)軟件即可進(jìn)展實(shí)驗(yàn)操作；云實(shí)驗(yàn)機(jī)可以根據(jù)學(xué)生編號(hào)、實(shí)驗(yàn)任務(wù)和環(huán)境要求自動(dòng)創(chuàng)立，無需管理人員參與實(shí)驗(yàn)機(jī)創(chuàng)立操作過程。管理平臺(tái)對(duì)云實(shí)驗(yàn)機(jī)可以進(jìn)展停頓、銷毀操作。云實(shí)驗(yàn)機(jī)集群管理功能 提供云實(shí)驗(yàn)機(jī)集群管理，對(duì)實(shí)驗(yàn)機(jī)所屬服務(wù)器進(jìn)展新增、刪除等操作。云實(shí)驗(yàn)機(jī)類型包含Hadoop實(shí)驗(yàn)機(jī)、Hive實(shí)驗(yàn)機(jī)、HBase實(shí)驗(yàn)機(jī)、R語言實(shí)驗(yàn)機(jī)、Scala實(shí)驗(yàn)機(jī)、Spark實(shí)驗(yàn)機(jī)、Kafka實(shí)驗(yàn)機(jī)、Sqoop實(shí)驗(yàn)機(jī)、Flume實(shí)驗(yàn)機(jī)、數(shù)據(jù)可視化實(shí)驗(yàn)機(jī)等。實(shí)驗(yàn)機(jī)運(yùn)行監(jiān)控系統(tǒng) 系統(tǒng)提供對(duì)實(shí)驗(yàn)集群運(yùn)行的所有實(shí)驗(yàn)機(jī)進(jìn)展監(jiān)控，可以查詢編號(hào)、所屬服務(wù)器、創(chuàng)立時(shí)間、運(yùn)行狀態(tài)、開放端口等內(nèi)容。實(shí)驗(yàn)任務(wù)管理 提供對(duì)實(shí)驗(yàn)任務(wù)內(nèi)容的管理，包含任務(wù)課程、綁定實(shí)驗(yàn)機(jī)、設(shè)定任務(wù)成績總分，排序值等，提供多種實(shí)驗(yàn)任務(wù)內(nèi)容，例如Hadoop實(shí)驗(yàn)任務(wù)、Hive實(shí)驗(yàn)任務(wù)、HBase實(shí)驗(yàn)任務(wù)、Flume與kafka實(shí)驗(yàn)任務(wù)等。實(shí)驗(yàn)報(bào)告審閱功能 在實(shí)驗(yàn)任務(wù)過程中學(xué)生上交的任務(wù)報(bào)告進(jìn)展審閱評(píng)分，提供按照學(xué)生、實(shí)驗(yàn)任務(wù)等字段進(jìn)展檢索功能。云實(shí)驗(yàn)機(jī)桌面分享系統(tǒng) 提供實(shí)驗(yàn)機(jī)桌面基于瀏覽器的分享功能，允許學(xué)生與學(xué)生、學(xué)生與教師同步操作實(shí)驗(yàn)機(jī)桌面系統(tǒng)，提供基于瀏覽器的交流功能。3、大數(shù)據(jù)實(shí)戰(zhàn)平臺(tái)系統(tǒng)大數(shù)據(jù)集群管理系統(tǒng) 基于分布式集群管理系統(tǒng)，提供大數(shù)據(jù)集群管理系統(tǒng)，功能包含Hadoop、Hive、HBase、Sqoop、Flume、Spark等節(jié)點(diǎn)部屬及管理，提供實(shí)時(shí)監(jiān)控集群的CPU、內(nèi)存、硬盤等使用率及相關(guān)信息，可以對(duì)管理節(jié)點(diǎn)、計(jì)算節(jié)點(diǎn)進(jìn)展啟動(dòng)、停頓等操作管理。大數(shù)據(jù)作業(yè)工作流系統(tǒng) 提供大數(shù)據(jù)相關(guān)作業(yè)的上傳、部屬、流程管理等功能，基于Web的任務(wù)調(diào)度、兼容Hadoop、Spark主流版本、失敗任務(wù)的、運(yùn)行狀態(tài)監(jiān)控等。大數(shù)據(jù)課程及行業(yè)案例實(shí)驗(yàn)平臺(tái)提供100個(gè)課時(shí)的Hadoop、Spark等大數(shù)據(jù)主流課程，課程與大數(shù)據(jù)實(shí)驗(yàn)機(jī)完美結(jié)合，學(xué)員在教學(xué)管理系統(tǒng)學(xué)習(xí)課程，隨時(shí)進(jìn)展實(shí)訓(xùn)操作，包含工程設(shè)計(jì)、數(shù)據(jù)采集、清洗、建模、技術(shù)實(shí)現(xiàn)等，快速提升實(shí)操技能，最終掌握大數(shù)據(jù)開發(fā)、數(shù)據(jù)分析與數(shù)據(jù)挖掘等大數(shù)據(jù)能力。局部案例圖片：【電商大數(shù)據(jù)分析案例】【電商大數(shù)據(jù)分析架構(gòu)】【房產(chǎn)大數(shù)據(jù)分析架構(gòu)】【房產(chǎn)大數(shù)據(jù)分析可視化】【搜索大數(shù)據(jù)分析架構(gòu)】【網(wǎng)站日志大數(shù)據(jù)分析架構(gòu)】課程實(shí)驗(yàn)內(nèi)容包含：課程名稱課時(shí)課程內(nèi)容介紹Hadoop根基10講解Hadoop生態(tài)系統(tǒng)，包括操作與開發(fā)；詳細(xì)講解HDFS和Map-Reduce的功能及作用；了解MapReduce原理、運(yùn)行流程、壓縮數(shù)據(jù)處理、作業(yè)調(diào)度、計(jì)算器等環(huán)節(jié)。HDFS程序開發(fā)6講解Hadoop文件系統(tǒng)HDFSJAVAAPI的使用。掌握如何使用HDFSJavaAPI，讀寫文件、讀寫目錄、以及對(duì)文件進(jìn)展壓縮處理等。MapReduce開發(fā)6本課程針對(duì)HadoopMapReduce開發(fā)進(jìn)展講解。課程以案例為根基，重點(diǎn)介紹MapReduce程序構(gòu)造，以及如何使用MapReduce進(jìn)展數(shù)據(jù)統(tǒng)計(jì)，去重，排序，Map端Join，Reduce端Join等關(guān)聯(lián)操作，掌握MapReduce處理過程。Hive數(shù)據(jù)倉庫24Hive是基于Hadoop構(gòu)建的數(shù)據(jù)倉庫分析系統(tǒng)，通過學(xué)習(xí)掌握Hive的函數(shù)、Hive數(shù)據(jù)的加載、Hive的DDL操作、自定義函數(shù)〔UDF〕等內(nèi)容，到達(dá)使用Hive進(jìn)展查詢、匯總、分析數(shù)據(jù)的能力。分布式數(shù)據(jù)庫HBase6HBase是Hadoop生態(tài)系統(tǒng)中的重要一員，主要用于海量構(gòu)造化數(shù)據(jù)存儲(chǔ)；通過學(xué)習(xí)對(duì)HBase表設(shè)計(jì)、表操作、數(shù)據(jù)操作、JavaAPI等內(nèi)容，掌握對(duì)HBase系統(tǒng)的開發(fā)及使用。數(shù)據(jù)遷移工具Sqoop4Sqoop是關(guān)系型數(shù)據(jù)庫和Hadoop生態(tài)系統(tǒng)之間進(jìn)展數(shù)據(jù)轉(zhuǎn)換的主要工具；通過學(xué)習(xí)將mysql中的數(shù)據(jù)導(dǎo)入到hdfs中、將數(shù)據(jù)導(dǎo)入到HBase中、定義導(dǎo)入導(dǎo)出任務(wù)等，掌握對(duì)數(shù)據(jù)遷移的能力。分布式日志框架Flume4Flume對(duì)海量日志進(jìn)展采集、聚合和傳輸?shù)闹髁鞔髷?shù)據(jù)工具；課程內(nèi)容包含F(xiàn)lume應(yīng)用場景、FlumeNG、FlumeOG、Flume的核心組件、Flume的架構(gòu)、Flume的source、sink配置說明等。Kafka流式數(shù)據(jù)采集4Kafka是分布式的消息隊(duì)列，廣泛應(yīng)用于實(shí)時(shí)數(shù)據(jù)處理。學(xué)習(xí)內(nèi)容包含Kafka的體系構(gòu)造、安裝模式及安裝部署、Topic、Producer、Consumer、發(fā)布訂閱消息以及KafkaJAVA開發(fā)等。Spark6Spark是一款高性能的分布式計(jì)算框架，比MapReduce計(jì)算快百倍；本課程內(nèi)容全面涵蓋了Spark生態(tài)系統(tǒng)、Spark與Hadoop比照、開發(fā)環(huán)境搭建、RDD、編程模型、Web監(jiān)控等內(nèi)容。SparkStreaming 4SparkStreaming是用戶結(jié)合流式、批處理和交互式查詢應(yīng)用的實(shí)時(shí)計(jì)算框架；本課程內(nèi)容詳細(xì)講解原理與特點(diǎn)、適用場景、Dstream操作、容錯(cuò)、性能優(yōu)化和內(nèi)存優(yōu)化等。SparkSQL4SparkSQL的出現(xiàn)，使得SQL-on-Hadoop的性能相對(duì)于Hive有了顯著的提高。到達(dá)Spark兼容Hive的功能。本課程詳細(xì)講解特點(diǎn)、運(yùn)行架構(gòu)、數(shù)據(jù)源、數(shù)據(jù)緩存、DataFrame等。實(shí)戰(zhàn)案例搜索引擎日志數(shù)據(jù)統(tǒng)計(jì)分析6講解Hadoop系統(tǒng)架構(gòu)設(shè)計(jì)以及工程分析流程；通過對(duì)用戶搜索記錄數(shù)據(jù)的清洗，分析指標(biāo)內(nèi)容，得出關(guān)鍵詞排行榜、用戶停留時(shí)間最高頁面等。實(shí)戰(zhàn)案例電子商務(wù)平臺(tái)大數(shù)據(jù)分析6講解Spark系統(tǒng)架構(gòu)設(shè)計(jì)以及工程分析流程；本課程主要講解搭建電商的數(shù)據(jù)處理平臺(tái)、數(shù)據(jù)統(tǒng)計(jì)、分析及可視化技術(shù)的應(yīng)用開發(fā)流程。行業(yè)數(shù)據(jù)及案例 提供大數(shù)據(jù)實(shí)戰(zhàn)案例以及行業(yè)數(shù)據(jù)，提供包含海量網(wǎng)站日志分析案例、租房及二手房大數(shù)據(jù)分析案例、電商商品交易大數(shù)據(jù)挖掘、搜索引擎關(guān)鍵詞分析算法案例、汽車銷售數(shù)據(jù)分析案例等案例講解及實(shí)戰(zhàn)作業(yè)工作流內(nèi)容。數(shù)據(jù)名稱數(shù)據(jù)描述更新地區(qū)房產(chǎn)數(shù)據(jù)包含二手房在售數(shù)據(jù)、出租房屋數(shù)據(jù)、經(jīng)紀(jì)人評(píng)價(jià)數(shù)據(jù)等。每周全國汽車數(shù)據(jù)包含國內(nèi)不同種類汽車詳細(xì)配置信息、汽車使用評(píng)論數(shù)據(jù)、汽車銷售數(shù)據(jù)以及二手車數(shù)據(jù)等。可用于汽車行業(yè)市場行情分析。每月法律咨詢數(shù)據(jù)包含國內(nèi)所有法律咨詢服務(wù)機(jī)構(gòu)數(shù)據(jù)、機(jī)構(gòu)評(píng)論數(shù)據(jù)、有關(guān)法律咨詢話題的數(shù)據(jù)?？捎糜诜勺稍冃袠I(yè)市場行情分析，社會(huì)治安情況分析。每周疾病問答數(shù)據(jù)包含國內(nèi)不同種類疾病問題數(shù)據(jù)、醫(yī)生回復(fù)數(shù)據(jù)、有關(guān)疾病常識(shí)等話題的數(shù)據(jù)。每月股票基金交易數(shù)據(jù)包含國內(nèi)、港股、美股等國內(nèi)外股票行情及交易數(shù)據(jù)、按照時(shí)間段提供詳細(xì)數(shù)據(jù)；也包含證券投資基金、保險(xiǎn)基金、信托投資基金等行情數(shù)據(jù)。每日天氣、氣象數(shù)據(jù)包含全國各個(gè)地區(qū)氣象數(shù)據(jù)〔氣溫、降水量、風(fēng)、氣壓等〕、氣象觀測產(chǎn)品數(shù)據(jù)。可用于氣象業(yè)務(wù)、天氣預(yù)報(bào)、氣候預(yù)測以及氣象服務(wù)。每日人臉圖像數(shù)據(jù)包含國內(nèi)多種年齡段的人臉圖像數(shù)據(jù)。用于臉部特征分析、人臉識(shí)別、人臉檢測等，每個(gè)人提供多個(gè)角度的圖片。每月電商評(píng)價(jià)數(shù)據(jù)包含上百萬條國內(nèi)知名電商平臺(tái)產(chǎn)品評(píng)價(jià)數(shù)據(jù)?？捎糜谟脩糍徶卯a(chǎn)品意愿分析、個(gè)性化推薦和精準(zhǔn)營銷，進(jìn)展