大數(shù)據(jù)技術(shù)社區(qū)教育平臺(tái)建設(shè)探析

1、編號(hào)：時(shí)間：2021年X月X日書山有路勤為徑，學(xué)海無涯苦作舟頁碼：第1頁共7頁大數(shù)據(jù)技術(shù)社區(qū)教育平臺(tái)建設(shè)探析【摘要】社區(qū)教育平臺(tái)建設(shè)是社區(qū)教育的主要手段，隨著不斷發(fā)展，系 統(tǒng)建設(shè)中隱含的問題逐漸顯現(xiàn)。大數(shù)據(jù)平臺(tái)是通過分布式文件系統(tǒng)、管理系統(tǒng)以 及分布式數(shù)據(jù)庫系統(tǒng)等一系列關(guān)鍵技術(shù)建設(shè)的網(wǎng)絡(luò)平臺(tái)，大數(shù)據(jù)技術(shù)所具備的超 強(qiáng)的數(shù)據(jù)收集、存儲(chǔ)、分析能力能為社區(qū)教育平臺(tái)的建設(shè)提供新的思路，能為社 區(qū)教育的發(fā)展提供先進(jìn)的技術(shù)支持?！娟P(guān)鍵詞】社區(qū)教育；大數(shù)據(jù)；分布式數(shù)據(jù)庫Hadoop1引言社區(qū)教育數(shù)字化平臺(tái)是社區(qū)教育的主要手段，它滿足了社區(qū)居民大部 分的教育訴求。隨著社區(qū)教育平臺(tái)的發(fā)展和用戶的激增，各種應(yīng)用數(shù)

2、據(jù)無所不在, 與用戶學(xué)習(xí)行為相關(guān)的數(shù)據(jù)量急速增長，社區(qū)教育平臺(tái)進(jìn)入了大數(shù)據(jù)時(shí)代。然 而，由于諸多因素造成了這些數(shù)據(jù)沒有得到充分的重視和運(yùn)用，喪失了對(duì)學(xué)習(xí)者 的深度了解，柵棄了平臺(tái)自身發(fā)展的優(yōu)勢，社區(qū)教育平臺(tái)的發(fā)展正面臨著大數(shù)據(jù) 的挑戰(zhàn)。2社區(qū)教育平臺(tái)建設(shè)現(xiàn)狀以河北省為例，社區(qū)教育平臺(tái)建設(shè)至今已五年之久，發(fā)展迅速、運(yùn)行 效果良好、硬件基礎(chǔ)比較完善、管理模式具體、推廣頗具深度；目前十一家地市 的社區(qū)教育平臺(tái)半數(shù)以上具備了 PC版和移動(dòng)版同時(shí)運(yùn)維的能力，豐富的學(xué)習(xí)資 源覆蓋范圍廣闊、知識(shí)結(jié)構(gòu)權(quán)威、學(xué)習(xí)方式快捷，為廣大學(xué)習(xí)者提供了一個(gè)良好 的學(xué)習(xí)和交流的平臺(tái)，得到了多方用戶的稱贊。但是，隨著時(shí)間的推移

3、，各平臺(tái) 出現(xiàn)了諸多類似的問題，比如用戶上網(wǎng)行為不能及時(shí)管理，教學(xué)資源推送不能滿 足用戶需求，大都與龐大的數(shù)據(jù)記錄有關(guān)，這些問題是平臺(tái)進(jìn)一步發(fā)展的瓶頸， 是不得不解決的首要問題。2.1平臺(tái)缺少信息收集和分析處理功能。社區(qū)教育的 主要特征是教育對(duì)象具有廣泛性，不同的受眾群體具有不同的教育訴求，這就需 要社區(qū)教育平臺(tái)提供不同的教育方式和內(nèi)容，以滿足廣泛的興趣需求和學(xué)習(xí)特點(diǎn); 目前平臺(tái)對(duì)每名用戶的學(xué)習(xí)行為和受教數(shù)據(jù)都沒有綜合收集和儲(chǔ)存，無法通過這 些具有個(gè)性化的日志資料分析學(xué)習(xí)傾向和需求，平臺(tái)建設(shè)大多主觀提供課程資源, 甚至造成供需脫節(jié)，達(dá)不到平臺(tái)建設(shè)的預(yù)期目標(biāo)。2.2平臺(tái)缺乏統(tǒng)一規(guī)劃，信息 存儲(chǔ)不

4、規(guī)范。目前，各平臺(tái)都是獨(dú)立運(yùn)行，使得海量信息離散分布，并且信息的 存儲(chǔ)互不兼容，大量三分屏、單視頻、PPT等資源閑置，幾乎沒有一個(gè)可執(zhí)行的 資源標(biāo)準(zhǔn)，無法形成聚合數(shù)據(jù)庫。離散信息一方面造成重復(fù)的資源建設(shè)和信息冗 余，另一方面限制了共享，不利于資源傳播。2.3對(duì)于平臺(tái)使用的關(guān)鍵技術(shù)，絕 大多數(shù)沿用傳統(tǒng)。CMS管理系統(tǒng)的結(jié)構(gòu)，沒有任何一個(gè)系統(tǒng)能夠?qū)ζ脚_(tái)運(yùn)行過程 中的數(shù)據(jù)全面存儲(chǔ)、自動(dòng)分析以為管理者提供決策和建設(shè)的依據(jù)，而作為社區(qū)教 育平臺(tái)運(yùn)行過程中產(chǎn)生的大數(shù)據(jù)恰恰是平臺(tái)運(yùn)行的寶貴資源，對(duì)于受眾對(duì)象和管 理者都是不可忽視的。大量資源無人問津，系統(tǒng)點(diǎn)擊深度低、缺乏粘合度，閉門 造車開發(fā)出來的系統(tǒng)完全成

5、了開發(fā)者自娛自樂的工具，學(xué)習(xí)者的真實(shí)需求不能滿 足，甚至有系統(tǒng)還在沾沾自喜于網(wǎng)站的點(diǎn)擊率，殊不知這樣的數(shù)據(jù)沒有任何意義； 從SEO角度看，各系統(tǒng)甚至沒有個(gè)基本的分析系統(tǒng)，盡管系統(tǒng)滿足了上千人同時(shí) 在線，卻對(duì)這些在線行為不能做出基礎(chǔ)的收集、整理和分析。出現(xiàn)供需嚴(yán)重脫節(jié) 現(xiàn)象的主要原因一是開發(fā)者沒有做細(xì)致的需求分析，二是平臺(tái)架構(gòu)存在嚴(yán)重缺陷, 而解決這些問題的重要手段就是在系統(tǒng)開發(fā)上充分利用大數(shù)據(jù)技術(shù)。3基于大數(shù)據(jù)技術(shù)的平臺(tái)架構(gòu)和關(guān)鍵技術(shù)大數(shù)據(jù)技術(shù),就是從多種類型的數(shù)據(jù)中，快速獲取有價(jià)值信息的能力， 它是數(shù)據(jù)分析的前沿技術(shù)。與傳統(tǒng)數(shù)據(jù)相比，大數(shù)據(jù)有幾個(gè)特點(diǎn)：第一，數(shù)據(jù)體 量巨大，為進(jìn)一步的分析提供

6、了充分的數(shù)據(jù)資料；第二，數(shù)據(jù)類型繁多，包含文 字、圖片、音頻、視頻、地理位置信息等；第三，處理速度快，可從海量數(shù)據(jù)中 極速獲取高價(jià)值信息，這也和傳統(tǒng)的數(shù)據(jù)挖掘技術(shù)有著本質(zhì)的不同；第四，數(shù)據(jù) 可實(shí)現(xiàn)再利用和重復(fù)利用，以低成本或零成本對(duì)研究對(duì)象進(jìn)行縱向歷史比對(duì)和橫 向現(xiàn)實(shí)比對(duì)；第五，只要合理利用數(shù)據(jù)并對(duì)其進(jìn)行正確的分析，將會(huì)帶來意想不 到的高價(jià)值回報(bào)。3.1大數(shù)據(jù)系統(tǒng)的架構(gòu)。一個(gè)常規(guī)的大數(shù)據(jù)分析平臺(tái)，必須能 夠做到可持續(xù)、可迭代開發(fā)的功能，可存儲(chǔ)所有種類的數(shù)據(jù)，可進(jìn)行各種需求分 析，可實(shí)現(xiàn)大眾化使用；同時(shí).，一個(gè)大數(shù)據(jù)分析平臺(tái)還應(yīng)該可以接入不同的開發(fā) 工具，并且實(shí)現(xiàn)數(shù)據(jù)分析的圖形化，可以在不同時(shí)間

7、、空間等維度進(jìn)行查詢。大 數(shù)據(jù)處理系統(tǒng)不管結(jié)構(gòu)如何復(fù)雜，采用的技術(shù)千差萬別，但是總體上可以分為兒 個(gè)重要邏輯部分，它們分別是管理子系統(tǒng)、數(shù)據(jù)加載系統(tǒng)、計(jì)算子系統(tǒng)、二次開 發(fā)界面、直觀的圖形、報(bào)表和自定義分析工具、提供多種服務(wù)的對(duì)外接口。大數(shù) 據(jù)系統(tǒng)涉及到的人工協(xié)議和交互中，大致分為系統(tǒng)協(xié)調(diào)者、系統(tǒng)提供者、大數(shù)據(jù) 應(yīng)用提供者、大數(shù)據(jù)框架提供者、數(shù)據(jù)消費(fèi)者，這五個(gè)角色的活動(dòng)都要受到安全 和隱私角色的影響，通過不同的技術(shù)手段和安全措施，構(gòu)筑大數(shù)據(jù)系統(tǒng)全方位、 立體的安全防護(hù)體系。3.2大數(shù)據(jù)系統(tǒng)關(guān)鍵技術(shù)。大數(shù)據(jù)環(huán)境下的關(guān)鍵技術(shù)主要 是針對(duì)不同格式的海量數(shù)據(jù)存儲(chǔ)和海量數(shù)據(jù)的運(yùn)算及分析，這其中包括數(shù)據(jù)收

8、集、 預(yù)處理，分布式文件存儲(chǔ)、文檔存儲(chǔ)、列式存儲(chǔ)等，另外還包括數(shù)據(jù)分析挖掘、 數(shù)據(jù)共享、數(shù)據(jù)呈現(xiàn)。數(shù)據(jù)呈現(xiàn)是大數(shù)據(jù)應(yīng)用的直接方式，通過一系列數(shù)據(jù)處理， 最終由用戶通過簡單明了的界面服務(wù)平臺(tái)形成可視化的圖形報(bào)告或者是數(shù)據(jù)報(bào) 表、數(shù)據(jù)檢索、數(shù)據(jù)渲染等。大數(shù)據(jù)收集需要從不同的數(shù)據(jù)源實(shí)時(shí)或者及時(shí)的手 機(jī)不同類型的數(shù)據(jù)并傳送到存儲(chǔ)系統(tǒng)或者預(yù)處理系統(tǒng)進(jìn)行后續(xù)處理，數(shù)據(jù)收集一 般可分為設(shè)備數(shù)據(jù)收集和web數(shù)據(jù)爬取兩種。數(shù)據(jù)預(yù)處理有助于提升數(shù)據(jù)質(zhì)量、 減少噪聲數(shù)據(jù)、防止數(shù)據(jù)缺失和數(shù)據(jù)沖突的影響，是后續(xù)數(shù)據(jù)處理分析和可視化 過程更加簡潔有效。分布式存儲(chǔ)訪問方式是大數(shù)據(jù)存儲(chǔ)的關(guān)鍵技術(shù)，它具有成本 低、效率高、容錯(cuò)

9、好等特點(diǎn)，在很短時(shí)間內(nèi)磁盤、磁帶等存儲(chǔ)介質(zhì)將成為大數(shù)據(jù) 分布式存儲(chǔ)的主要媒體。與分布式存儲(chǔ)相關(guān)的就是分布式數(shù)據(jù)處理技術(shù)，它由 Hadoop數(shù)據(jù)庫提供基礎(chǔ)框架，采用分布式內(nèi)存計(jì)算和流計(jì)算方式，成為各個(gè)行 業(yè)比較成熟的大數(shù)據(jù)處理方式。大數(shù)據(jù)分析技術(shù)包括對(duì)已有數(shù)據(jù)信息的分布統(tǒng)計(jì) 分析技術(shù)，以及未知數(shù)據(jù)信息的分布式挖掘和深度學(xué)習(xí)技術(shù)。數(shù)據(jù)可視化運(yùn)用圖 形學(xué)和圖像處理技術(shù)，將數(shù)據(jù)轉(zhuǎn)化為圖形或圖像在屏幕上顯示出來，并進(jìn)行交互 處理，為金融、通信、商業(yè)、教育、醫(yī)療提供決策依據(jù)，這已經(jīng)成為數(shù)據(jù)可視化 的新熱點(diǎn)。4應(yīng)用好大數(shù)據(jù)技術(shù)有效提升社區(qū)教育平臺(tái)性能大數(shù)據(jù)經(jīng)過科學(xué)分析后，能夠具有更強(qiáng)的決策力、洞察發(fā)現(xiàn)力和流

10、程 優(yōu)化能力；大數(shù)據(jù)時(shí)代的到來能夠改變?nèi)祟惪创褪褂脭?shù)據(jù)的方式，改變已有的 教育模式。針對(duì)社區(qū)教育領(lǐng)域，大數(shù)據(jù)更有其獨(dú)特的優(yōu)勢，采用大數(shù)據(jù)技術(shù)的社 區(qū)教育平臺(tái)功能更加完備，使用體驗(yàn)更加人性化，目前比較成熟的大數(shù)據(jù)分析平 臺(tái)有 IBM 發(fā)布的 InfoSphere、Oracle 推廣的 BigDataAppliance 和 Sybase 常用的 IQ 系統(tǒng)以及使用較為廣泛的微軟公司的Hadoop系統(tǒng)，在這些技術(shù)平臺(tái)的支撐下社 區(qū)教育平臺(tái)建設(shè)將揭開新的一頁。下面以Hadoop為例介紹如何使用大數(shù)據(jù)技術(shù) 為社區(qū)教育平臺(tái)服務(wù)。Hadoop是一個(gè)實(shí)現(xiàn)了 MapReduce模式的能夠?qū)Υ罅繑?shù)據(jù) 進(jìn)行分布式

11、處理的軟件框架，是一種可靠、高校、可伸縮的數(shù)據(jù)處理方式，它以 并行計(jì)算的方式假設(shè)PB級(jí)的計(jì)算元素和存儲(chǔ)失敗，從而形成多個(gè)工作數(shù)據(jù)做副 本，確保能夠針對(duì)失敗節(jié)點(diǎn)做重新分步處理，Hadoop還依賴于社區(qū)服務(wù)器以形 成低成本運(yùn)算模式，而MapReduce正是谷歌提出的云計(jì)算的核心計(jì)算模式。 Hadoop 系統(tǒng)=HDFS（文件系統(tǒng)）+HBase（數(shù)據(jù)庫）+MapReduce（數(shù)據(jù)處理）+Others<> 通過下圖來看一看海量數(shù)據(jù)架構(gòu)是如何通過大數(shù)據(jù)運(yùn)作處理機(jī)制來實(shí)現(xiàn)可視化 的。從上至下分別是：數(shù)據(jù)源、計(jì)算層、存儲(chǔ)層、查詢層、產(chǎn)品層。數(shù)據(jù)源存放 著平臺(tái)所有行為數(shù)據(jù)，通過DataX, DbSy

12、nc和Timetunel準(zhǔn)實(shí)時(shí)的傳輸?shù)紿adoop 集群，在這里系統(tǒng)對(duì)每天產(chǎn)生的數(shù)據(jù)產(chǎn)品進(jìn)行不同的MapReduce計(jì)算，下一層 是分布式存儲(chǔ)集群輔助系統(tǒng)，我們可以采用基于MySQL的MyFox,還可以采用 基于HadoopHbase技術(shù)的叫做NoSQL的存儲(chǔ)集群，MyFox 一個(gè)重要的功能就是 為數(shù)據(jù)產(chǎn)品提供查詢功能，每個(gè)產(chǎn)品具有唯一一個(gè)URL來獲取想要的數(shù)據(jù)，這里 應(yīng)用的是最常見的HTTP協(xié)議，每一個(gè)數(shù)據(jù)產(chǎn)品就是一個(gè)大數(shù)據(jù)應(yīng)用，它們?yōu)閿?shù) 據(jù)消費(fèi)者提供直觀的操作界面，呈現(xiàn)圖形化數(shù)據(jù)。5結(jié)語應(yīng)用了大數(shù)據(jù)技術(shù)的社區(qū)教育平臺(tái)不僅能推送個(gè)性化教學(xué)資源，滿足 學(xué)習(xí)需求，在功能體驗(yàn)上，除了具備搜索排序體

13、驗(yàn)，LBS定位功能，資源多樣化 以及交互功能外，還要實(shí)現(xiàn)資源利用最大化，學(xué)習(xí)行為自主化，學(xué)習(xí)形式交互化 等等，但也不是萬能的，不是能夠?qū)崿F(xiàn)所有的需求和目標(biāo)，比如大數(shù)據(jù)技術(shù)不擅 長社會(huì)關(guān)系分析、不擅長上下文情景分析、產(chǎn)生過多的發(fā)現(xiàn)、不擅長處理真正的 巨型問題、數(shù)據(jù)分析的結(jié)論往往基于大眾偏好，甚至有時(shí)原始數(shù)據(jù)往往會(huì)被扭曲， 造成樣本缺乏代表性、相關(guān)性誤差較大、過于故事化等等；當(dāng)然還有一個(gè)重要的 問題，就是大數(shù)據(jù)與隱私，大數(shù)據(jù)中包含著每個(gè)人的小數(shù)據(jù)，這些數(shù)據(jù)經(jīng)過進(jìn)一 步分析既能知道你的愛好，也能知道你的下意識(shí)行為傾向，如果據(jù)此來判斷一個(gè) 人的未來，是否會(huì)重演大片“少數(shù)派報(bào)告的場景，我們現(xiàn)在還不得而知。【參考文獻(xiàn)】韋書令，文夢丹，鄧孟紅.大數(shù)據(jù)視野下社區(qū)數(shù)字化學(xué)習(xí)平臺(tái)的應(yīng)用 策略研究N.廣西廣播電視大學(xué)學(xué)報(bào)，2018-05-25.曾浩宇.基于LBS社區(qū)系統(tǒng)的大規(guī)模