大數(shù)據(jù)實驗平臺招標(biāo)參數(shù)

一、采購需求及詳細技術(shù)參數(shù)：大數(shù)據(jù)實驗平臺需要滿足40人同時并發(fā)。1、實驗系統(tǒng)硬件要求：硬件配置需保證滿足以下最低性能要求：硬件類別指標(biāo)具體需求大數(shù)據(jù)實驗平臺管理控制設(shè)備節(jié)點個數(shù)不少于1臺CPU雙CPU，型號不低于IntelXeonE5-2603v3內(nèi)存不低于128GB（ECCDDR4）硬盤總物理容量不低于4TBSATA128G固態(tài)硬盤網(wǎng)卡不少于3個GE網(wǎng)口風(fēng)扇4個降溫風(fēng)扇，1個排氣風(fēng)扇功能1.設(shè)備提供所有云計算工具，必須包括Hive、Spark、Pig的配置功能，配置Spark的作業(yè)調(diào)度方式和內(nèi)存管理方式。2.支持大數(shù)據(jù)查詢及分析功能，如聚集查詢、連接查詢、選擇操作、嵌套查詢、Llke查詢等功能大數(shù)據(jù)實驗平臺主計算節(jié)點設(shè)備節(jié)點個數(shù)不少于1臺CPU單CPU，型號不低于IntelXeonE5-2603v3內(nèi)存不低于64GB（ECCDDR4）硬盤總物理容量不低于4TBSATA網(wǎng)卡2個GE網(wǎng)口風(fēng)扇4個降溫風(fēng)扇，1個排氣風(fēng)扇功能1.單臺設(shè)備最大可管理150個子計算節(jié)點，可同時支持3000個計算任務(wù)分配；具備Hbase海量事物處理功能2.設(shè)備提供與云計算平臺能夠?qū)拥能浖?wù)，如任務(wù)調(diào)度、數(shù)據(jù)接口和統(tǒng)計建模工具（R）大數(shù)據(jù)實驗平臺子計算節(jié)點節(jié)點個數(shù)不少于3臺CPU單CPU，型號不低于IntelXeonE5-2603v3內(nèi)存不低于64GB（ECCDDR4）硬盤總物理容量不低于4TBSATA網(wǎng)卡2個GE網(wǎng)口風(fēng)扇4個降溫風(fēng)扇，1個排氣風(fēng)扇功能1.要求設(shè)備負責(zé)所有云計算工具（如Hive、Spark、Pig）中計算任務(wù)的轉(zhuǎn)換、實施和執(zhí)行。2.要求同時可并行處理100個GB級數(shù)據(jù)大數(shù)據(jù)實驗平臺云桌面設(shè)備數(shù)量不少于2臺CPU單CPU，型號不低于IntelXeonE5-2603v3內(nèi)存不低于64GB（ECCDDR4）硬盤1TSSD固態(tài)硬盤網(wǎng)卡2個GE網(wǎng)口風(fēng)扇4個降溫風(fēng)扇，1個排氣風(fēng)扇功能1.能夠?qū)Ψ峙涞奶摂M機資源進行生命周期管理，可以根據(jù)實驗流程計算資源的使用時間，當(dāng)可使用時間結(jié)束時，能夠自動的釋放計算資源，包括處理器、內(nèi)存、存儲空間等。2.為學(xué)生提供云桌面功能，每臺設(shè)備可支承20學(xué)生虛擬桌面5個科研桌面資源3.支持多用戶的并發(fā)快速啟動，實驗所支持的學(xué)生虛擬機可同時在3分鐘內(nèi)完成啟動。交換機數(shù)量不少于2臺端口數(shù)量24個10/100/1000Base-T以太網(wǎng)端口VLAN支持基于端口的VLAN（4K個）QOS支持IEEE802.1p/DSCP優(yōu)先級、支持優(yōu)先級映射、支持端口信任模式、每端口支持4個隊列、支持端口隊列調(diào)度。網(wǎng)絡(luò)管理支持SNMP，WEB網(wǎng)管，內(nèi)置H3CWiNet內(nèi)嵌式網(wǎng)管軟件、支持命令行接口（CLI），Telnet，Console口進行配置、支持VCT（VirtualCableTest）電纜檢測功能、支持Loopback-detection端口環(huán)回檢測。功能為接入交換機的任意兩個網(wǎng)絡(luò)節(jié)點提供獨享的電信號通路機柜數(shù)量不少于1臺規(guī)格600*900*2000MM符合標(biāo)準(zhǔn)符合ANSI/EIARS-310-D、IEC297-2、DIN41491、PART1、DIN41494、PART7、GB/T3047.2-92標(biāo)準(zhǔn);兼容ETSI標(biāo)準(zhǔn)功能安置硬件設(shè)備移動硬盤數(shù)量2塊功能接口USB3.0，存儲不低于2T用來備份所有案例庫及數(shù)據(jù)集2、大數(shù)據(jù)實驗平臺統(tǒng)軟件指標(biāo)要求：包含數(shù)據(jù)挖掘算法與大數(shù)據(jù)分析算法兩部分內(nèi)容，共17大類96個實驗項目，涵蓋統(tǒng)計分析、軟件應(yīng)用、算法展示、統(tǒng)計算法開發(fā)以及大數(shù)據(jù)計算等內(nèi)容。序號功能名稱功能需求1大數(shù)據(jù)實驗平臺教師管理系統(tǒng)1.系統(tǒng)功能要求：系統(tǒng)采用B/S結(jié)構(gòu)，支持在線注冊功能，分為超級管員和普通教師管理功能，系統(tǒng)包括班級管理、實訓(xùn)設(shè)置、實訓(xùn)內(nèi)容管理、實驗報告管理、虛擬機管理、云計算集群管理功能；2.設(shè)備管理：按教學(xué)要求新建課程；新建課程可以選擇參與實驗班級、選擇要開設(shè)的實驗、實驗開始時間，實驗的結(jié)束時間等；系統(tǒng)可對所有的實驗進行增加、修改、刪除等功能。3．虛擬機管理：要求可演示實驗名稱、實驗類型、實驗時間、可要看詳細內(nèi)容、查看實驗虛擬機、關(guān)閉實驗虛擬機等功能。4.云計算集群管理：存儲管理、Hadoop管理、Spark管理。要求可顯示正常節(jié)點數(shù)、運行作業(yè)數(shù)、內(nèi)存使用情況、CPU使用情況、作業(yè)名稱、用戶名、開始時間、作業(yè)計算狀態(tài)等功能。5.其他要求：1.需提供大數(shù)據(jù)實驗系統(tǒng)軟件著作權(quán)登記證書。2大數(shù)據(jù)實驗平臺設(shè)備管理系統(tǒng)1.為整個系統(tǒng)提供管理功能，管理系統(tǒng)各設(shè)備，可對各設(shè)備進行開關(guān)機，恢復(fù)實驗初始狀態(tài)等功能2.提供實驗環(huán)境配置功能，大數(shù)平臺計算平臺配置功能、計算節(jié)點服務(wù)自動化配置功能和實驗初始配置功能三個方面，能夠通過原始數(shù)據(jù)進行統(tǒng)計分析，直觀的顯示實驗結(jié)果。3.專業(yè)的數(shù)據(jù)管理系統(tǒng)可以為整個實驗平臺提供數(shù)據(jù)存儲、安全保障功能。系統(tǒng)可管理整個實驗平臺的數(shù)據(jù)能全部匯總到本臺管理設(shè)備，此管理系統(tǒng)可以對用戶信息的統(tǒng)一存儲和控制，提供查詢功能，修改功能，支持用戶信息注冊功能、實驗日志存儲查詢功能、實驗結(jié)果存儲查詢功能、考核成績存儲查詢功能。4.提供云計算平臺配置功能，包括配置存儲限額、作業(yè)調(diào)度方式等。5.提供所有云計算工具，由于大數(shù)據(jù)行業(yè)教學(xué)內(nèi)容需求的重要性，須包括Hive、Spark、Pig的配置功能，配置Spark的作業(yè)調(diào)度方式和內(nèi)存管理方式。6.可以監(jiān)控整個云計算平臺的運行狀況，包括可用資源和已用資源、作業(yè)的排隊狀況、正常和異常的作業(yè)運行狀況，并提供干預(yù)功能，及時釋放異常占用資源和終止異常作業(yè)。7.提供的接口須與系統(tǒng)無縫對接，對接系統(tǒng)包括HDFS、HBase、YARN、Pig、Hive、Mahout、Spark、Shell、JDBC、ClouderaManager。8.提供與云計算平臺能夠?qū)拥能浖?wù)，如任務(wù)調(diào)度、數(shù)據(jù)接口和統(tǒng)計建模工具（R）。9.用戶數(shù)據(jù)可自定義進行計算，提供各接口的使用說明。提供專業(yè)的Hadoop計算系統(tǒng)，支持分布式計算，為實驗平臺提供計算服務(wù)、數(shù)據(jù)分析服務(wù)；單臺設(shè)備支持15資源同時計算；要求提供數(shù)據(jù)挖掘、數(shù)據(jù)分析、數(shù)據(jù)統(tǒng)計、數(shù)據(jù)過濾功能、數(shù)據(jù)聚集、連接查詢、嵌套查詢、Like查詢等功能。提供WEB管理界面，支持導(dǎo)向式管理，要求可強制關(guān)閉不良計算資源，要求可通過界面可視化窗口進行實施監(jiān)控。10.要求系統(tǒng)負責(zé)所有云計算工具（如Hive、Spark、Pig）中計算任務(wù)的轉(zhuǎn)換、實施和執(zhí)行。11.系統(tǒng)要求同時可并行處理100個GB級數(shù)據(jù)；要求提供部分節(jié)點故障無間斷計算；要求根據(jù)主節(jié)點分配數(shù)據(jù)重要級別，進行排隊計算；要求實時返回任務(wù)執(zhí)行進度和資源消耗狀態(tài)；要求實時返回任務(wù)執(zhí)行進度和資源消耗狀態(tài)。12.系統(tǒng)采用基于Openstack的全定制化虛擬化方案，基于X86架構(gòu)的VT功能的單個CPU核可運行多個虛擬機。虛擬化系統(tǒng)支持多種操作系統(tǒng)，包括Linux和Windows的不同版本，每個虛擬機有私有的硬件，包括網(wǎng)卡、磁盤以及圖形適配卡等，能模擬至接近真實電腦的速度。13.能夠?qū)Ψ峙涞奶摂M機資源進行生命周期管理，可以根據(jù)實驗流程計算資源的使用時間，當(dāng)可使用時間結(jié)束時，能夠自動的釋放計算資源，包括處理器、內(nèi)存、存儲空間等。14.系統(tǒng)架構(gòu)包括物理硬件層、虛擬化層、管理層和應(yīng)用層。結(jié)合大數(shù)據(jù)實驗流程的云計算平臺管理軟件，將所有的硬件層整合，把統(tǒng)一的硬件資源抽象出來組成一個統(tǒng)一的云計算資源池平臺。資源管理與實驗流程無縫結(jié)合。本系統(tǒng)對虛擬化平臺具有良好的開放性和兼容性，為了適應(yīng)大數(shù)據(jù)分析實驗與科研工作的要求，須支持市場主流的Windows版本和Linux操作系統(tǒng)。15.本系統(tǒng)實現(xiàn)從虛擬機資源到大數(shù)據(jù)實驗與科研全過程統(tǒng)一管理，根據(jù)大數(shù)據(jù)實驗過程的特征，解決虛擬機動態(tài)部署與調(diào)度過程中統(tǒng)一資源管理問題，保證虛擬機的服務(wù)質(zhì)量，提高資源利用效率。實驗管理人員可通過頁面實現(xiàn)虛擬資源的關(guān)聯(lián)，學(xué)生可通過頁面無縫訪問所分配的虛擬計算資源。16.要求可與科研虛擬機配合工作，要求數(shù)據(jù)可永久存儲性在科研虛擬機內(nèi)；17.支持多用戶的并發(fā)快速啟動，實驗所支持的學(xué)生虛擬機可同時在3分鐘內(nèi)完成啟動。3大數(shù)據(jù)實驗平臺實驗終端大數(shù)據(jù)教學(xué)演示類實驗資源1.統(tǒng)計與建模方法演示：探索性數(shù)據(jù)分析演示、常用概率分布和漸進性演示、置信區(qū)間和假設(shè)檢驗演示、線性回歸模型演示、廣義線性回歸模型演示2.數(shù)據(jù)挖掘方法演示：分類預(yù)測基本流程演示、數(shù)據(jù)預(yù)處理演示、分類方法演示、聚類分析演示、關(guān)聯(lián)分析演示大數(shù)據(jù)Excel類實驗資源1.Excel數(shù)據(jù)處理：Excel基本操作、Excel數(shù)據(jù)可視化、Excel函數(shù)與公式、Excel透視表、Excel數(shù)據(jù)分析2.Excel高級編程：VBA程序基礎(chǔ)、VBA數(shù)據(jù)類型、VBA流程控制、VBA綜合應(yīng)用3.關(guān)聯(lián)分析演示4.其他要求：1.需提供大數(shù)據(jù)實驗系統(tǒng)軟件著作權(quán)登記證書。大數(shù)據(jù)R語言類實驗資源1.R語言編程基礎(chǔ)：R語言數(shù)據(jù)類型、R語言子集和控制語句、R語言數(shù)據(jù)導(dǎo)入導(dǎo)出、R語言數(shù)據(jù)可視化、R語言探索性數(shù)據(jù)分析2.R語言統(tǒng)計與建模：R語言常用概率分布和漸進性、R語言置信區(qū)間和假設(shè)檢驗、R語言單元線性回歸模型、R語言多元線性回歸模型、R語言廣義線性回歸模型、R語言數(shù)據(jù)挖掘、R語言分類預(yù)測基本流程、R語言數(shù)據(jù)預(yù)處理3.R語言決策樹分類方法：R語言高級分類方法、R語言聚類分析、R語言關(guān)聯(lián)分析4.★R語言數(shù)據(jù)分析綜合應(yīng)用：R語言建立營銷響應(yīng)模型、R語言預(yù)測股票價格、R語言建立信用評分模型、R語言預(yù)測門店銷售額、R語言人口教育情況分析大數(shù)據(jù)SAS類實驗資源1.SAS編程基礎(chǔ)：SAS基本操作、SAS數(shù)據(jù)步、SAS數(shù)據(jù)導(dǎo)入導(dǎo)出、SAS數(shù)據(jù)可視化、SAS宏定義和調(diào)用2.SAS統(tǒng)計與建模：SAS常用概率分布和漸進性、SAS置信區(qū)間和假設(shè)檢驗、SAS線性回歸模型、SAS廣義線性回歸模型、SAS方差分析3.SAS數(shù)據(jù)挖掘：SAS主成分和因子分析SAS聚類分析、SAS判別分析、SAS相關(guān)分析、SAS生存分析4.★SAS數(shù)據(jù)分析綜合應(yīng)用：SAS建立營銷響應(yīng)模型、SAS預(yù)測股票價格、SAS建立信用評分模型、SAS預(yù)測門店銷售額、SAS人口教育情況分析大數(shù)據(jù)教學(xué)Hadoop/Spark類實驗1.Hadoop大數(shù)據(jù)分析：HDFS基本操作、MapReduce詞頻統(tǒng)計、MapReduce高級特性、迭代式MapReduce程序開發(fā)、Hive基本操作1.Spark大數(shù)據(jù)分析：Spark基本操作、Spark詞頻統(tǒng)計、Spark網(wǎng)絡(luò)日志分析、Spark實體解析、Spark電影推薦1.大數(shù)據(jù)分析綜合應(yīng)用：車輛GPS位置信息分析、超市零售數(shù)據(jù)分析、微博消息分析、用戶網(wǎng)上行為分析、電影評分分析4超市零售大數(shù)據(jù)案例庫1.數(shù)據(jù)描述：實戰(zhàn)案例所用數(shù)據(jù)為國內(nèi)某超市從2012年8月1日到2013年8月1日共一年的交易數(shù)據(jù)，包含了812,847條交易、2,893,385件單個商品以及20,154名顧客2.實戰(zhàn)要求：用Hive做數(shù)據(jù)分析和數(shù)據(jù)準(zhǔn)備，所有代碼在大數(shù)據(jù)計算集群上執(zhí)行，用R語言做數(shù)據(jù)可視化3.用Hive做數(shù)據(jù)分析和數(shù)據(jù)準(zhǔn)備：統(tǒng)計周末和工作日每小時的銷售額和交易數(shù)量、統(tǒng)計一年內(nèi)每天的銷售額和交易數(shù)量、統(tǒng)計一年內(nèi)每天各類商品的銷售額和交易數(shù)量、統(tǒng)計所有用戶的最近消費間隔、消費頻次和消費金額4.用R語言做數(shù)據(jù)可視化：畫出周末和工作日每小時的交易數(shù)量、畫出一年內(nèi)每天的交易數(shù)量、畫出一年內(nèi)每天各類商品的交易數(shù)量、將所有顧客用RFM模型聚成3類5微博消息大數(shù)據(jù)案例庫1.數(shù)據(jù)描述：實戰(zhàn)案例所用數(shù)據(jù)為新浪微博數(shù)據(jù)，包含了從2013年6月1日到14日期間的12,102,744條微博2.實戰(zhàn)要求：用IKAnalyzer做中文分詞，用Hive做數(shù)據(jù)分析和數(shù)據(jù)準(zhǔn)備，所有代碼在大數(shù)據(jù)計算集群上執(zhí)行，是用R語言做數(shù)據(jù)可視化。3.用Hive做數(shù)據(jù)分析和數(shù)據(jù)準(zhǔn)備：統(tǒng)計各關(guān)鍵詞的熱度變化指標(biāo)、轉(zhuǎn)發(fā)數(shù)和評論數(shù)、統(tǒng)計熱度變化前五和后五的關(guān)鍵詞每天的出現(xiàn)次數(shù)、轉(zhuǎn)發(fā)數(shù)和評論數(shù)1.用R語言做數(shù)據(jù)可視化：畫出熱度變化指標(biāo)、轉(zhuǎn)發(fā)數(shù)和評論數(shù)的直方圖、畫出熱度變化指標(biāo)、轉(zhuǎn)發(fā)數(shù)和評論數(shù)的散點圖矩陣和相關(guān)性、畫出熱度變化前五和后五的關(guān)鍵詞每天的出現(xiàn)次數(shù)、轉(zhuǎn)發(fā)數(shù)和評論數(shù)6人口教育情況大數(shù)據(jù)分析案例庫1.數(shù)據(jù)描述：實驗所用數(shù)據(jù)為美國人口統(tǒng)計局對350萬美國家庭進行問卷調(diào)查的結(jié)果數(shù)據(jù)，包含了美國民眾生活的方方面面，包括家世、教育、工作、交通、互聯(lián)網(wǎng)使用和居住等等。本實驗主要探索教育程度（本科、碩士和博士）對就業(yè)情況和收入的影響。本實驗所用數(shù)據(jù)包含了283個字段，共1,017,209個樣本2.實戰(zhàn)要求：要求首先進行數(shù)據(jù)準(zhǔn)備，然后進行探索性數(shù)據(jù)分析。主要探索教育程度（本科、碩士和博士）對就業(yè)情況和收入的影響，學(xué)生可以從自己感興趣的角度出發(fā)，探索相關(guān)問題1.探索性數(shù)據(jù)分析和數(shù)據(jù)預(yù)處理：讀取樣本畫出不同教育程度的人數(shù)柱狀圖、過濾出失業(yè)的樣本畫出不同教育程度失業(yè)比例的柱狀圖、畫出不同州的失業(yè)比例的地理信息圖、畫出收入中位數(shù)的箱形圖、畫出收入中位數(shù)的分布密度曲線圖。7車輛GPS位置大數(shù)據(jù)信息案例庫1.數(shù)據(jù)描述：實戰(zhàn)案例所用數(shù)據(jù)為XX市出租車從2010年9月1日到2日的GPS位置數(shù)據(jù)，包含了7726輛出租車的共33,042,225條位置記錄2.實戰(zhàn)要求：用Hive做數(shù)據(jù)分析和數(shù)據(jù)準(zhǔn)備，所有代碼在大數(shù)據(jù)計算集群上執(zhí)行，用R語言做數(shù)據(jù)可視化。3.用Hive做數(shù)據(jù)分析和數(shù)據(jù)準(zhǔn)備：統(tǒng)計每小時出租車的載客情況；統(tǒng)計每小時載客出租車的平均車速；統(tǒng)計每小時載客出租車的利用率、統(tǒng)計出租車在3時、8時和13時的瞬時載客情況；統(tǒng)計各載客出租車在3時、8時和13時的瞬時速度；4.用R語言做數(shù)據(jù)可視化：可視化每小時出租車的平均速度和利用率；畫出3時、8時和13時出租車載客情況的地理信息圖；畫出3時、8時和13時載客出租車瞬時速度的地理信息圖8用戶上網(wǎng)行為大數(shù)據(jù)案例庫1.數(shù)據(jù)描述：實驗所用數(shù)據(jù)為谷歌（Google）和亞馬遜（Amazon）的產(chǎn)品數(shù)據(jù)。包含了谷歌產(chǎn)品數(shù)據(jù)集、亞馬遜產(chǎn)品數(shù)據(jù)集、兩個產(chǎn)品數(shù)據(jù)集的真實匹配結(jié)果，用于評估算法、英文停止詞列表等2.實戰(zhàn)要求：定義函數(shù)解析產(chǎn)品數(shù)據(jù)、創(chuàng)建初始產(chǎn)品數(shù)據(jù)RDD、定義文本記號化函數(shù)、去除停止詞、記號化兩個小數(shù)據(jù)集、查看亞馬遜產(chǎn)品小數(shù)據(jù)集中記號數(shù)最多的產(chǎn)品記錄、定義計算TF的函數(shù)、創(chuàng)建谷歌和亞馬遜小數(shù)據(jù)集的并集RDD、計算所有記號的IDF、定義計算TF-IDF的函數(shù)、定義計算余弦相似度的函數(shù)、定義計算TF-IDF余弦相似度的函數(shù)、進行實體解析、產(chǎn)品真實匹配數(shù)據(jù)集、統(tǒng)計谷歌和亞馬遜小數(shù)據(jù)集中匹配的產(chǎn)品數(shù)、統(tǒng)計匹配的產(chǎn)品的平均余弦相似度、統(tǒng)計不匹配的產(chǎn)品的平均余弦相似度、優(yōu)化算法并嘗試亞馬遜和谷歌產(chǎn)品標(biāo)準(zhǔn)數(shù)據(jù)集；9預(yù)測股票價格大數(shù)據(jù)案例庫1.數(shù)據(jù)描述：實驗所用數(shù)據(jù)為上證50組合（以2015年12月31日的選股為標(biāo)準(zhǔn)）中從2007年1月1日至2015年12月31日每日的股票開盤價、最高價、最低價、收盤價、成交量和調(diào)整價，預(yù)測股票價格的走勢。2.實戰(zhàn)要求：數(shù)據(jù)準(zhǔn)備，探索性數(shù)據(jù)分析和數(shù)據(jù)預(yù)處理最終建立預(yù)測模型；數(shù)據(jù)準(zhǔn)備，載入相關(guān)程序包，并設(shè)置隨機數(shù)種子；探索性數(shù)據(jù)分析和數(shù)據(jù)預(yù)處理：查看其中一只股票的價格走勢和成交量、近三個月價格走勢的布林線、定義需要預(yù)測的目標(biāo)變量進行探索性數(shù)據(jù)分析和數(shù)據(jù)預(yù)處理；建立分類模型：訓(xùn)練梯度boosting模型、測試模型性能畫出ROC曲線。10Python類實驗Python類實驗：Python數(shù)據(jù)處理、Python基本操作、Python列表操作、★Python數(shù)據(jù)分析、Python函數(shù)和程序包、Numpy數(shù)組操作、Matplotlib數(shù)據(jù)可視化、Pandas數(shù)據(jù)框操作、Python數(shù)據(jù)降維、Python聚類分析、PythonK近鄰分類、Python回歸分析、Python支持向量機分類、Python決策樹分類、Python隨機森林分類、Python模型評估