數(shù)據(jù)ZC實驗室建設方案

數(shù)據(jù)偵查實驗室建設方案 PAGEPAGE1數(shù)據(jù)偵查實驗室建設方案中科天璣數(shù)據(jù)科技股份有限公司2022年12月1-地址：北京市海淀區(qū)科學院南路新科祥園甲2號目錄TOC\o"1-4"\h\z\u1 方案背景 11.1 大數(shù)據(jù)在公安偵查中的影響 11.2 大數(shù)據(jù)背景下公安偵查模式面臨的挑戰(zhàn) 11.3 培養(yǎng)專業(yè)的數(shù)據(jù)偵查人員的需求 22 方案概述 32.1 建設目標 32.2 總體架構(gòu) 43 建設內(nèi)容 53.1 資源建設 53.1.1 課程資源 53.1.2 案例實戰(zhàn) 63.1.3 算子庫 63.2 教學平臺 73.2.1 教學系統(tǒng) 73.2.2 資源中心 83.2.3 作業(yè)系統(tǒng) 93.2.4 考試系統(tǒng) 93.3 數(shù)據(jù)偵查應用實驗室 93.3.1 情報分析實驗室 103.3.1.1 數(shù)據(jù)管理 103.3.1.2 任務管理 113.3.1.3 關聯(lián)分析 123.3.1.4 時空分析 143.3.1.5 統(tǒng)計分析 163.3.2 輿情分析實驗室 183.3.2.1 熱點輿情聚合 183.3.2.2 重點輿情發(fā)現(xiàn) 193.3.2.3 專項輿情監(jiān)控 203.3.2.4 媒體、賬號目標監(jiān)控 213.3.2.5 自動輿情預警 223.3.2.6 智能在線編報 233.3.2.7 精準輿情檢索 243.4 硬件環(huán)境 263.4.1 計算中心 263.4.2 學習中心 274 預期效益 284.1 形成海量異構(gòu)數(shù)據(jù)智能分析模式 284.2 將大數(shù)據(jù)手段與傳統(tǒng)的偵查能力有效整合 285 配置清單 29方案背景大數(shù)據(jù)在公安偵查中的影響當前人類社會已步入由物聯(lián)網(wǎng)、云計算、移動互聯(lián)、人工智能、大數(shù)據(jù)等共同構(gòu)成的技術革命新時代。以大數(shù)據(jù)為代表的新技術應用領域逐漸上升為國家戰(zhàn)略，并同樣成為孕育公安偵查工作蓬勃發(fā)展的沃土。以大數(shù)據(jù)、云計算等新技術為依托，信息技術不斷革新，數(shù)據(jù)整合愈加便捷，應用領域廣泛延伸。近年來，隨著公安信息化建設的深入推進，融合創(chuàng)新成為警務改革新趨勢。在“互聯(lián)網(wǎng)+”的戰(zhàn)略發(fā)展背景下，以互聯(lián)網(wǎng)、大數(shù)據(jù)、AI智能、生物識別為代表的新型信息技術應用于公安信息化建設之中，借助大量監(jiān)控設備捕獲的視頻數(shù)據(jù)，系統(tǒng)自動分析人臉、步態(tài)、車輛等特征數(shù)據(jù)，省去大量人工排查的分析工作。傳統(tǒng)的人群監(jiān)控全部靠人眼識別和個人經(jīng)驗，公安干警壓力巨大。隨著技術的發(fā)展，開啟了以大數(shù)據(jù)整合、融合、應用為標志的智慧警務模式。利用大數(shù)據(jù)技術，推動“智慧公安”“智慧警務”建設，實現(xiàn)公安偵查理念、手段、思維、模式和機制等多維度轉(zhuǎn)型升級，已經(jīng)成為新時代推動公安事業(yè)跨越發(fā)展的必然選擇；利用新技術，公安機關實現(xiàn)對各行業(yè)領域的結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化數(shù)據(jù)的整合，從海量雜亂無章的數(shù)據(jù)中抽取出與犯罪相關的痕跡信息，對表面上毫無意義、互不關聯(lián)的碎片信息進行串聯(lián)，勾勒出清晰完整的犯罪拼圖，為精準打擊提供先機。數(shù)據(jù)信息逐漸成為偵查工作的可靠依據(jù)，口供轉(zhuǎn)而成為輔助證據(jù)，“零口供破案”成為現(xiàn)實。大數(shù)據(jù)背景下公安偵查模式面臨的挑戰(zhàn)大數(shù)據(jù)時代的到來，為偵查工作打開了一扇門，大數(shù)據(jù)的預測性功能以及全景式記錄功能，將使得偵查人員運用大數(shù)據(jù)技術迅速掌握犯罪信息，從而打破犯罪分子與偵查人員信息不對稱的局面，使得偵查機關掌握偵查工作的主動權，同時大數(shù)據(jù)也將會為偵查人員帶來全新的偵查理念以及全新的偵查方式，因此可以說大數(shù)據(jù)將使犯罪偵查模式發(fā)生根本性變革。大數(shù)據(jù)驅(qū)動的智慧偵查模式是時代的必然選擇。這不僅在于復雜的犯罪態(tài)勢及其數(shù)據(jù)化生態(tài)，更在于大數(shù)據(jù)技術使得這種選擇成為現(xiàn)實。大數(shù)據(jù)技術在偵查中的應用，將會改變偵查的理念、偵查的運行機制以及偵查的工作重心，最終對偵查模式帶來變革。當前公安機關正在積極融合以應對大數(shù)據(jù)給傳統(tǒng)偵查工作帶來的問題和挑戰(zhàn)。盡管數(shù)據(jù)資源及大數(shù)據(jù)偵查方式在不斷豐富，但公安機關警隊內(nèi)部在情報研判、信息共享、隊伍整合、人員配置、機制機構(gòu)和系統(tǒng)建設等領域仍存在過多傳統(tǒng)的模式。大數(shù)據(jù)時代變革傳統(tǒng)偵查觀念，構(gòu)建智慧警務模式勢在必行。（1）基礎情報數(shù)據(jù)資源支撐薄弱基層情報體系建設前瞻性重視不足，囿于當前警務體制考核模式，追求“短、平、快”可見性戰(zhàn)果，導致基層隊伍大多數(shù)人對于情報數(shù)據(jù)搜集和基礎工作建設主動性不足。這種情形下，民警缺乏主動采集意識，非考核范疇內(nèi)的數(shù)據(jù)采集工作一概不予采集，采集的數(shù)據(jù)情報渠道單一，有價值的“線人情報”和“特情情報”對接渠道有限，公安內(nèi)部情報研判資源有限，偵查工作由此難以支撐。（2）專業(yè)情報研判人員能力不足從當前的公安數(shù)據(jù)情報研判工作實踐來看，部分崗位情報研判人員能力不足，數(shù)據(jù)應用適應性不強，這對信息交流及合成集群作戰(zhàn)必然存在較大阻力和困難。這其中的原因既然歷史客觀原因，也有人員自身主觀原因。歷史客觀原因主要表現(xiàn)在體制機制原因，一些情報部門被公安機關當做是“養(yǎng)老部門”，認為不管是誰，只要能夠點點鼠標，按照審批程序配合偵查查詢即可勝任，導致情報研判人員主觀研判積極性和能力提升問題被忽視：主觀方面是因為公安系統(tǒng)內(nèi)部評比仍然存在重視獎勵“看得見的戰(zhàn)果”，而對于臺后“看不見的建設”則不重視，導致情報研判人員心理失衡，不重視自身能力提升，不愿主動探索，不愿多付出多配合。培養(yǎng)專業(yè)的數(shù)據(jù)偵查人員的需求大數(shù)據(jù)的重要工作就是要對海量的信息進行整合利用，一方面要明確數(shù)據(jù)的匯聚要求，偵查人員必須要設立規(guī)范的信息要素，能夠做到對不同種類、來源、形式的信息做到有效的理解消化。深入研究已經(jīng)掌握的數(shù)據(jù)信息，了解數(shù)據(jù)的整合方法，這就需要偵查人員要有較高的數(shù)據(jù)整合能力。另一方面?zhèn)刹槿藛T必須了解專業(yè)的偵查知識，了解偵查中的重點與難點，能夠準確把握偵查工作的要求，具備豐富偵查知識與經(jīng)驗，能夠做到對有效信息的快速反應，這又要求偵查人員要具備較強的偵查知識，極強的偵查能力。而對于這兩方面的要求就意味著偵查人員必須是具有偵查能力與數(shù)據(jù)處理能力的復合型人才，而我國現(xiàn)有的偵查系統(tǒng)中，這類人才的數(shù)量是極其稀少的，必須要進行全面的教育與培養(yǎng)。再者，偵查實踐性與應用性很強的學科，數(shù)據(jù)偵查專業(yè)教育既要開設一定數(shù)量的理論課程，又要開設一定數(shù)量的實踐課程。在現(xiàn)有的偵查學課程設置中，數(shù)據(jù)偵查類的實驗、實習等實踐環(huán)節(jié)還很薄弱，畢業(yè)生缺乏運用所學理論解決實際問題的能力，無法勝任數(shù)據(jù)偵查實踐崗位的工作任務。綜上，偵查教學中需要建設一套教學練測評一體化的教學系統(tǒng)，通過豐富的教學實驗案例課程，輔助教師進行數(shù)據(jù)偵查課程教學，鍛煉學生利用大數(shù)據(jù)技術進行偵查的能力，增強學生的學習興趣和開放創(chuàng)新的思維能力。同時，基于在線考試系統(tǒng)直接完成教學評價環(huán)節(jié)，簡化教學流程，提高教學效率。方案概述建設目標通過大數(shù)據(jù)偵查實驗室的建設，以應用型人才培養(yǎng)為目標定位，在以解決現(xiàn)實問題為目的的前提下，使培養(yǎng)的學生有更寬廣和跨學科的知識視野，注重知識的實用性，有創(chuàng)新精神和綜合運用知識的能力。注重培養(yǎng)學生具有在創(chuàng)新中應用、在應用中創(chuàng)新的能力，讓學生真正學會數(shù)據(jù)偵查所需的職業(yè)技能。主要達到如下目標：（1）豐富的數(shù)據(jù)偵查教學資源與系統(tǒng)建設的同時，建設一整套數(shù)據(jù)偵查基礎理論及實戰(zhàn)應用課程，并配套活頁式教材、實驗手冊、實驗數(shù)據(jù)、習題等教學資源，實現(xiàn)教學練測一體化。（2）全面的數(shù)據(jù)覆蓋實現(xiàn)海量多模態(tài)異構(gòu)數(shù)據(jù)的融合，包含：境內(nèi)外互聯(lián)網(wǎng)開源信息、開源信號類、GIS類等多種數(shù)據(jù)，快速整合分析。（3）多樣的分析模型圍繞數(shù)據(jù)偵查需求至少建設如下分析模型：實體抽取/實體對齊/實體關系抽取、事件抽取/事件推演/歷史事件匹配、知識圖譜、動目標時空抽取/時空參照系映射/目標多源軌跡融合。（4）閉環(huán)的分析管理模式形成線索收集處理、分析、生產(chǎn)輸出、反饋的數(shù)據(jù)偵查工作的生態(tài)閉環(huán)。總體架構(gòu)計算層：以CPU、GPU服務器，網(wǎng)絡設備等搭建底層硬件，利用docker、hadoop等技術形成統(tǒng)一管理，為整套平臺提供存儲、應用部署、算力、權限管理、虛擬化等軟硬件環(huán)境支撐。應用層：基于機器學習、自然語言處理、知識圖譜等技術，此層提供開源情報分析分析平臺和輿情線索發(fā)現(xiàn)課程資源，供師生進行各類活動的實戰(zhàn)演練。同時提供教學資源庫、教學管理、考試管理等模塊，內(nèi)置理論課、實驗課，提供配套實驗數(shù)據(jù)和實驗案例，輔助師生開展教學活動。同時，為整套平臺提供數(shù)據(jù)能力，包括實驗用的內(nèi)置訓練數(shù)據(jù)和案例數(shù)據(jù)，也支持對接其他數(shù)據(jù)庫數(shù)據(jù)，采集境內(nèi)外開源數(shù)據(jù)，用以支撐整套平臺的業(yè)務流轉(zhuǎn)。實驗層：提供對應的開發(fā)實驗環(huán)境，包括大數(shù)據(jù)實驗室、人工智能實驗室、輿情實驗室、情報分析實驗室，為師生進入應用層提供技術能力支撐。建設內(nèi)容資源建設實驗室依托于中科天璣十年的資源積累，通過提煉真實的行業(yè)案例和數(shù)據(jù)，形成適用于數(shù)據(jù)偵查特色的教學資源，并于大數(shù)據(jù)專業(yè)課程體系相結(jié)合，將理論知識、實驗教學和數(shù)據(jù)偵查項目實踐融合，由淺入深，循序漸進，逐步提升學生的專業(yè)技能和項目實踐能力。課程資源系統(tǒng)提供多門大數(shù)據(jù)專業(yè)課程，從大數(shù)據(jù)理論、常用編程語言，逐步向數(shù)據(jù)偵查實戰(zhàn)常用的環(huán)境、框架搭建、經(jīng)典算法、算法應用過渡。包含理論課、算法課、實驗課。序號課程名稱1《Python編程》2《hadoop開發(fā)技術》3《pythonweb開發(fā)技術》4《集群管理與云平臺》5《網(wǎng)絡爬蟲與數(shù)據(jù)收集》6《數(shù)據(jù)存儲與管理》7《數(shù)據(jù)分析理論與方法》8《數(shù)據(jù)標注》9《數(shù)據(jù)挖掘?qū)崙?zhàn)》10《大數(shù)據(jù)智能理論與方法》11《人工智能應用基礎》12《機器學習典型算法》13《機器學習算法實戰(zhàn)》14《深度學習主流框架》15《深度學習算法基礎》16《自然語言處理入門》17《自然語言處理實戰(zhàn)》18《自然語言處理Bert模型》19《自然語言處理行業(yè)應用》20《知識圖譜》21《知識圖譜實踐與應用》案例實戰(zhàn)基于中科天璣多年JG、安全行業(yè)積淀，真實案例脫敏，配套實驗手冊，為高校教學、科研提供案例支撐。同時，對應項目案例，形成案例實踐課程，從項目背景出發(fā)，詳細講解其中涉及到的算法理論及其應用。配套相關實驗，讓學生以場景化的方式進行學習，逐步重構(gòu)該項目案例，并可以融會貫通，將之應用到生產(chǎn)實際中。序號案例名稱1《新冠疫情》2《美國大選》3《對華ZC》4《涉港數(shù)據(jù)分析》5《暫停進口TW鳳梨》6《美國對NH的干預案例》7《突發(fā)事件應對案例：2021年河南洪災》8《EW沖突分析》9《WestExecAdvisors公司》10《HK選舉制度改革前后立法會、區(qū)議會情況分析》11《俾路支JFJ分析》算子庫為了讓學生更好的掌握相關知識，為學生走向數(shù)據(jù)偵查崗位提供工具，平臺集成了中科院計算所自主研發(fā)的數(shù)百種高質(zhì)量大數(shù)據(jù)分析算子庫，并結(jié)合中科天璣對科研、教學的實力，形成面向文本分析、機器學習等領域的特色算子工具箱。并且針對平臺上的算子，編寫了上百個實驗手冊和配套數(shù)據(jù)。同時提供在線編程實驗，學生可以對照實驗手冊，在線練習算子的編寫，實時查看計算結(jié)果。涵蓋數(shù)據(jù)預處理（去重操作、空值補缺等）、特征工程（特征抽取、特征離散等）、分類回歸（如LR、CART、GBDT等）、推薦排序（如SVDFeature、NMF等）、結(jié)構(gòu)化分析（如CRF等）、文本表達（如Word2Vec、LDA等）、圖分析（如PageRank、ICModel等）、深度學習（如CNN、RNN等）等領域，同時算子庫還對主流的開源機器學習算子框架如Sklearn、SparkMllib、Scipy等進行了集成與應用。在數(shù)據(jù)偵查應用領域，提供面向?qū)ο蟮耐ㄓ盟阕幽Ｐ?，包括：社區(qū)發(fā)現(xiàn)、節(jié)點重要度、邊重要度等；提供專門面向文檔類對象定制的算子模型，包括：關鍵詞統(tǒng)計、文檔傾向性、話題發(fā)現(xiàn)等；提供專門面向事件類對象定制的算子模型，包括：事件脈絡、事件時序等。為了提供不同的運行環(huán)境、兼容不同類型的計算框架等多方面因素考慮，工具集中的算子使用了Java、Python、Scala、R等多種主流的大數(shù)據(jù)分析編程語言進行開發(fā)，可以根據(jù)熟悉的開發(fā)語言、編程環(huán)境使用工具集中的算子進行快速分析。教學平臺教學平臺基于各類教學資源，提供在線教學系統(tǒng)、教學資源庫、作業(yè)系統(tǒng)以及考試系統(tǒng)。形成教學練測評的完整閉環(huán)，提高教學效率。教學系統(tǒng)教學平臺圍繞著案例和算子，提供成體系的課程和教學資源，輔助課程教學，簡化分析科研實驗流程，實現(xiàn)高效的師生互動教學模式。系統(tǒng)自帶豐富的教學及行業(yè)應用案例，方便教師進行課程教學演示。同時，教師可以通過平臺進行課程管理、課件上傳、實驗作業(yè)的發(fā)布、審閱；學生可以通過系統(tǒng)加入特定課程，完成課程實驗作業(yè)的提交與科研實驗的搭建等。以課程為中心、以任務來驅(qū)動，提供學生無限發(fā)揮科研創(chuàng)造能力。學生能夠基于教師設定的任務模板進行作業(yè)的編寫、任務報告編寫、任務提交等。資源中心平臺提供資源共建共享功能，支持教師從本地上傳教學素材，包括視頻、課件、實驗等。教師可將實驗任務共享給他人，實現(xiàn)資源的分享。同時學生用戶可以下載教學課件，實現(xiàn)優(yōu)質(zhì)教學資源的共享和教育公平。作業(yè)系統(tǒng)教師可對學生的選課申請進行審核，并對學生的實驗任務進行審閱評分，確保教師第一時間了解到學生的學習情況；學生可在線學習及實驗，并查看自己的課程學習進度、實驗任務以及實驗得分。考試系統(tǒng)智能、專業(yè)、簡單的在線考試系統(tǒng)，適用于各種考試、和作業(yè)練習。支持教師快速組卷，發(fā)布在線考試；學生在線完成考試并提交試卷；教師閱卷后，學生可以查看考試成績和閱卷結(jié)果；智能分析每場在線考試，方便教師全方位掌握學生的學習情況。數(shù)據(jù)偵查應用實驗室數(shù)據(jù)偵查應用實驗室為院校搭建了一個打造多應用場景的平臺和“試驗田”，有助于實現(xiàn)院校與實際業(yè)務之間的優(yōu)勢互補。同時，依托企業(yè)優(yōu)勢資源，將實踐、資源等方面與大數(shù)據(jù)技術深度融合，著力為院校打造成一個智慧、精準、高效、安全的實訓作戰(zhàn)實體。實驗室主要由情報分析實驗室和輿情分析實驗室組成。情報分析實驗室情報分析實驗室包括數(shù)據(jù)管理、任務管理、關聯(lián)分析、時空分析和統(tǒng)計分析。三大分析中，關聯(lián)分析可實現(xiàn)基于圖譜網(wǎng)絡的分析展示與挖掘，時空分析可實現(xiàn)基于時空數(shù)據(jù)的GIS分析，統(tǒng)計分析提供BI統(tǒng)計圖分析。三大分析模式可獨立支撐分析任務，同時關聯(lián)分析中的圖譜數(shù)據(jù)（包括實體、事件、文檔等對象）可以“推送”到時空分析或統(tǒng)計分析，并在時空或統(tǒng)計分析模式下進行進一步分析探索。情報分析實驗室系統(tǒng)架構(gòu)圖如下所示。數(shù)據(jù)管理數(shù)據(jù)管理模塊是圍繞數(shù)據(jù)分析過程中的各個關鍵環(huán)節(jié)的產(chǎn)出物進行的管理功能設計，包括：我的狀態(tài)集、我的結(jié)果集、我的文件集。模塊支持基于結(jié)構(gòu)化數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)的新建圖譜操作。對于“結(jié)構(gòu)化數(shù)據(jù)”支持的接入來源包括：本地excel文件和關系型數(shù)據(jù)庫。對于“非結(jié)構(gòu)化數(shù)據(jù)”支持本地文本上傳（txt、word、pdf）和文件系統(tǒng)接入。自動抽取過程提供中文和英文兩種模式，并且支持進行包括：命名實體識別、詞性標注、命名實體鏈接、時間抽取、情感分類、主題分類。模塊提供對不同來源數(shù)據(jù)的數(shù)據(jù)接入功能，包括文件上傳和數(shù)據(jù)庫接入。支持用戶上傳pdf、doc、CSV、xls等文件格式數(shù)據(jù)，并提供對上傳文件的數(shù)據(jù)透視功能。任務管理任務管理模塊采用類“思維導圖”的任務創(chuàng)建模式，支持四級的任務節(jié)點層級結(jié)構(gòu)添加，支持進行數(shù)據(jù)、人員及分析狀態(tài)的配置，可以選擇任務模板后進行任務創(chuàng)建。創(chuàng)建的任務均可存為任務模板供后續(xù)使用時調(diào)用，模板支持編輯和刪除。提供可復用的任務模板，支持任務模板的創(chuàng)建、編輯和刪除。關聯(lián)分析關聯(lián)分析允許用戶指定任意目標實體，對與之有關聯(lián)的實體/事件/文檔進行擴展追蹤分析，同時提供多種可視化模式展現(xiàn)實體、事件、文檔之間的關聯(lián)關系。關聯(lián)分析提供對實體/事件/文檔的搜索、關系展示畫布、對象擴展探索、畫布控制工具欄、地圖、直方統(tǒng)計圖、時間軸、節(jié)點詳情數(shù)據(jù)透視等功能，同時提供內(nèi)置算子庫便于用戶進行深度分析探索。按照選擇的（或默認的）布局方式，對當前分析中的所有對象進行圖譜化展示，支持多種布局方法，包括矩形、星型、層級、自動等。針對畫布中加載的目標對象（實體）系統(tǒng)提供圖譜擴展關聯(lián)的關系挖掘操作，包括：查看、路徑、刪除等。通過層級擴展，路徑查看等在畫布中完成知識圖譜網(wǎng)絡結(jié)構(gòu)的展示、分析與布局。當選擇多個節(jié)點時可進行數(shù)據(jù)透視（如下圖右側(cè)框選區(qū)域），通過顯示當前數(shù)據(jù)集合各個維度的統(tǒng)計情況，可以直觀查看各維度下的統(tǒng)計排行情況，包括對象類型、實體屬性兩大類統(tǒng)計維度。時空分析支持按照實體、事件等目標對象進行地圖分析，并提供時間軸跟蹤，通過地圖與時間軸的聯(lián)動實現(xiàn)對目標對象的時空數(shù)據(jù)碰撞、特征共現(xiàn)、軌跡分析，以GIS（如二維地圖等）為具體展現(xiàn)形式。將事件、文檔、實體等具有地理位置信息的對象展示地圖上，展示方式包括世界地圖、區(qū)域地圖；同時支持普通行政地圖、衛(wèi)星地圖等兩種地圖模式。提供基于地圖的畫布區(qū)域展示，可展示目標對象（實體、事件）的空間分布。配合工具欄“探索”功能，可對畫布地圖任意區(qū)域進行框選，自定義分析區(qū)域。對當前畫布中對象和所選對象，提供不同的控制按鈕，支持包括選擇、探索、推送、快照、圖層選擇等類型的操作。以時間軸方式展示當前畫布中選中對象在時間上的分布情況。支持進行時間范圍選擇，畫布相應更新。對選中的某一對象展示其詳情。事件詳情包括事件描述、事件屬性、相關實體和相關事件。對當前選中的對象提供一組算子，用于對這些對象進行深入分析，并對分析結(jié)果在地圖上進行可視化展示。提供熱力圖算子實現(xiàn)區(qū)域影響力、區(qū)域爆發(fā)現(xiàn)象分析。提供報道地算子、事件脈絡算子，實現(xiàn)目標對象的空間時序分布、空間數(shù)據(jù)流向分析。統(tǒng)計分析統(tǒng)計分析模塊支持柱狀圖、條形圖、餅圖、折線圖、泡泡圖、河流圖、柱狀圖等形式的統(tǒng)計圖分構(gòu)建與分析展示。能夠接收關聯(lián)分析模塊推送的子圖數(shù)據(jù)，形成各種統(tǒng)計圖形，直觀展示統(tǒng)計可視化效果。提供一組工具按鈕，便于進行圖表畫布操作，主要包括畫布管理及快捷操作兩類。畫布管理提供對分析畫布的選擇、添加、刪除、重命名、清空等操作；快捷操作提供對分析畫布的載入、快照保存、截屏、數(shù)據(jù)升序降序等功能。提供不同的圖表類型的自由選擇，支持對選擇的圖表進行圖表配置項配置、過濾器配置、顏色配置、形狀配置等操作。形狀配置主要用于氣泡圖、河流圖等。輿情分析實驗室輿情分析實驗室實現(xiàn)對網(wǎng)絡新聞、論壇、博客、微博、微信、APP、知乎、twitter、facebook、網(wǎng)民評論等境內(nèi)外全媒體數(shù)據(jù)采集、抽取、挖掘和分析處理，為師生提供熱點輿情聚合、重點輿情發(fā)現(xiàn)、專項輿情監(jiān)控、媒體/賬號目標監(jiān)控、自動輿情預警、智能在線編報、精準輿情檢索等多維輿情信息服務。熱點輿情聚合熱點輿情聚合系統(tǒng)支持融合通道的熱點發(fā)現(xiàn)和聚合，匯聚全網(wǎng)多通道信息，長文本和短文本融合計算并自動聚類；支持分地域、領域進行全網(wǎng)熱點檢測；支持對熱點事件進行有效的溯源、跟蹤分析和趨勢分析。系統(tǒng)支持對熱點事件的整體態(tài)勢進行分析。熱點事件綜合態(tài)勢分析以可視化圖表方式展示熱點輿情的整體情況，包括熱點數(shù)量統(tǒng)計、熱點走勢、地域分布、領域分布、傾向分布、網(wǎng)民參與情況分析等。熱點綜合統(tǒng)計支持圖片和數(shù)據(jù)的導出，相關統(tǒng)計數(shù)據(jù)支持下鉆查看來源數(shù)據(jù)列表。支持基于媒體關注度、網(wǎng)民參與度、參與媒體影響力計算熱點事件影響力。支持多維事件分析，包括趨勢分析、傾向性分布、關鍵詞分析、媒體與網(wǎng)民意見分布、地域分布、來源通道分布、重點參與媒體、重點參與人群、相關分析等。熱點綜合統(tǒng)計能夠分析出熱點事件的發(fā)酵趨勢、參與人群、參與媒體。具有傾向性分析功能，可以分析出事件傾向性（正面、負面和中性）的統(tǒng)計情況。提供熱點事件的關鍵要素，包括人物、地點、機構(gòu)等。支持分媒體端和網(wǎng)民端進行統(tǒng)計?？梢宰远x分析時段，支持天分析和按小時分析。支持統(tǒng)計圖和數(shù)據(jù)表的導出。針對某個統(tǒng)計數(shù)據(jù)，支持下鉆查看來源數(shù)據(jù)列表。重點輿情發(fā)現(xiàn)重點輿情發(fā)現(xiàn)是基于行業(yè)/領域情感知識庫，對平臺全量數(shù)據(jù)自動檢測重點、敏感輿情信息，并進行負面信息的地域分布、領域分布、通道分布、負面走勢分析，全面感知負面輿情態(tài)勢。用戶可以自定義情感知識規(guī)則。專項輿情監(jiān)控專項輿情監(jiān)控模塊，用戶可按需對事件、話題進行定向監(jiān)測，可基于關鍵詞、信源、標簽靈活設置復雜監(jiān)測條件，對專項目標相關的輿情信息進行持續(xù)監(jiān)測和實時分析。系統(tǒng)提供專項的創(chuàng)建、修改、刪除、查詢、信息回溯等功能，支持對專項進行分級、分層管理，支持專項信息匯聚及多維度綜合分析。系統(tǒng)提供功能完備、操作簡單的專題配置功能，用戶根據(jù)關鍵詞自定義專題，可基于關鍵詞、信源、標簽靈活設置復雜監(jiān)測條件。（1）可回溯的監(jiān)測時間選擇：本系統(tǒng)既可以對未來的數(shù)據(jù)進行實時監(jiān)測，同時可以對專題相關的歷史數(shù)據(jù)進行回溯過濾；（2）靈活設置復雜監(jiān)測條件：本系統(tǒng)既可以支持如新聞、博客、微信等單通道監(jiān)測，同時可以針對多通道，以及全通道進行同時監(jiān)測；支持基于地域標簽、領域標簽進行精準配置；（3）完備的關鍵詞組合：本系統(tǒng)不僅可以支持組內(nèi)關鍵詞的“與”“或”“非”組合，同時可以配置多組關鍵詞，并對組間進行“與”“或”“非”的支持。系統(tǒng)基于用戶指定的關鍵詞規(guī)則、領域范圍、地域范圍、行業(yè)范圍，從系統(tǒng)歷史數(shù)據(jù)、實時增量數(shù)據(jù)中，篩選出符合要求的基礎數(shù)據(jù)。本系統(tǒng)可以快速完成1年內(nèi)的歷史信息回溯過濾。針對專項生成的數(shù)據(jù)集，可以根據(jù)sim_hash算法量化不同數(shù)據(jù)在內(nèi)容上的相似度（距離），并根據(jù)界定的相似量評判兩項數(shù)據(jù)是否相似。信息去重可對相似性較高的文章進行歸類，用戶可自主選擇是否對信息進行去重查看，選擇去重后，可在“相似文章”處下鉆查看全部相似文章列表。同時，支持多維專題數(shù)據(jù)分析，包括溯源分析、傳播路徑、關鍵節(jié)點分析、趨勢分析、傾向性分布、關鍵詞分析、媒體與網(wǎng)民意見分布、地域分布、來源通道分布、重點參與媒體、重點參與人群、相關分析等。支持分媒體端和網(wǎng)民端進行統(tǒng)計。支持自定義分析時段，支持天分析和按小時分析。支持統(tǒng)計圖和數(shù)據(jù)表的導出；針對某個統(tǒng)計數(shù)據(jù)，支持下鉆查看來源數(shù)據(jù)列表。支持將自己創(chuàng)建或分享得到的專項或?qū)ｍ椊M共享給其他用戶，方便進行多人協(xié)同管理和專項輿情處置。共享專項的同時，支持設置共享權限，共享權限包括查閱、修改、刪除、二次共享，共享權限具備繼承性，通過共享獲得的專項，進行二次共享時，只允許在初次共享時賦予的權限范圍內(nèi)進行二次設置。媒體、賬號目標監(jiān)控媒體/賬號目標監(jiān)控模塊支持對進入系統(tǒng)的信息媒體和作者進行提取，形成包含媒體、賬號元數(shù)據(jù)的媒體庫、賬號庫?；诿襟w庫、賬號庫實現(xiàn)定向目標監(jiān)測、分析和畫像。系統(tǒng)支持完備的帳號/群組監(jiān)測方案配置，能夠靈活配置帳號/群組監(jiān)測方案。支持對多通道多信源、歷史數(shù)據(jù)等回溯，支持通過關鍵詞組合進一步限制功能范圍。支持對帳號/群組發(fā)布的信息進行多維度的分析，支持對帳號或群組發(fā)布的信息進行分析，包括：提及熱詞、情感分布、提及實體、原發(fā)轉(zhuǎn)發(fā)比、熱門參與話題、發(fā)文趨勢。支持對媒體、賬號以及媒體、賬號組成的群組進行畫像刻畫，包括：熱門版塊、熱門版塊趨勢、原發(fā)轉(zhuǎn)發(fā)比、發(fā)文趨勢、情感指數(shù)、情感指數(shù)趨勢、發(fā)文規(guī)律等。自動輿情預警自動輿情預警模塊針對敏感內(nèi)容、重點目標進行重點監(jiān)控。當發(fā)現(xiàn)敏感內(nèi)容，或者重點目標出現(xiàn)異動或發(fā)布、傳播了相關的敏感信息時，根據(jù)其重要性、內(nèi)容敏感程度、傳播聲量等因素評估其危害風險并報警。本系統(tǒng)支持自定義預警、專項預警、手動預警三大預警模式。自定義預警模式支持用戶自定義預警規(guī)則;專線預警模式支持針對專項輿情中的專項一鍵預警;手動預警支持手動選擇具體內(nèi)容，通過平臺發(fā)出預警。預警方式：支持短信預警、微信預警、郵件預警。預警方案配置項：包括預警名稱、啟用狀態(tài)、預警級別、預警規(guī)則、預警方式、預警間頻、預警時段、周末是否預警、相似文章是否過濾、是否啟動人工審核。預警總覽：多維度統(tǒng)計展示當前用戶的預警信息數(shù)量，包括待審核預警量、今日新增預警量、今日特大預警量、7天累計預警量、30天累計預警量、歷史累計預警量。預警走勢：以折線圖的形式，展示當前用戶指定時間范圍內(nèi)，預警信息量的時間走勢。熱門預警：以熱點云圖的形式，展現(xiàn)當前用戶指定時間范圍內(nèi)，預警量最高的熱門預警TOP10。最新預警：以列表形式，展示最新（按預警時間）的10條預警信息?？闪斜聿榭搭A警信息具體內(nèi)容和狀態(tài)，包括：標題、來源媒體、通道、發(fā)布時間、預警名稱、預警級別、狀態(tài)、相似文章等。智能在線編報智能在線編報模塊提供智能在線編報功能，支持智能報告的模板化，用戶可自定義報告模板，自定義選擇素材，靈活進行素材編輯報告修正。自定義過程以專業(yè)分析師實際制作報告的全流程為參考進行研發(fā)設計，主流程包括：模板選擇、素材選擇、素材編輯、報告編輯。系統(tǒng)支持報告的模板化，一方面軟件內(nèi)置有面向不同應用場景的系統(tǒng)模板，另一方面支持用戶自定義模板。用戶可通過拖拽的方式快速進行模板內(nèi)容板塊的配置，系統(tǒng)提供20余種內(nèi)容維度供選擇。支持多源素材選擇，素材可從專題分析、熱點分析、歷史素材等多來源獲取。支持單文檔、事件等多類型素材，并能按來源、分類型進行管理。支持對素材庫進行編輯、刪除和延期處理?；谶x定的素材和模板，系統(tǒng)可自動生成分析報告，在此過程中用戶可按需對素材和最終報告進行人工編輯?？蓮膶ｎ}、熱點、收藏等多個模塊選擇素材，支持基于通道、時間、屬性、地域、領域等維度進行素材的篩選,支持對已選的素材進行編輯和刪除操作。系統(tǒng)根據(jù)選定的素材數(shù)據(jù)和模板，自動生成專題報告中圖、表、統(tǒng)計文字等報告內(nèi)容。生成后支持人工修正調(diào)整報告內(nèi)容，包括刪除內(nèi)容模塊，調(diào)整內(nèi)容模塊位置，修改文字、圖表數(shù)值等。精準輿情檢索精準輿情檢索模塊提供高效、靈活的綜合信息檢索功能，提供快捷檢索、高級檢索、元搜索、圖片視頻搜索功能。支持多源數(shù)據(jù)統(tǒng)一檢索與綜合展示?？梢灾付ň唧w搜索的數(shù)據(jù)類型,也可以指定全部數(shù)據(jù)類型進行統(tǒng)一檢索。執(zhí)行一次搜索,可檢索來自不同數(shù)據(jù)源的多種數(shù)據(jù)類型,并綜合展示搜索結(jié)果。支持高級檢索和組合邏輯檢索。系統(tǒng)支持用戶進行多條件的高級搜索設置，可按時間范圍、來源通道類型、關鍵詞、媒體/賬號等進行組合檢索；支持指定媒體、關鍵詞匹配范圍,并設定排除關鍵詞,以提高檢索精準度，匹配位置包括：“標題或正文”、“標題”、“正文”。支持元搜索功能。用戶可通過元搜索對主流搜索引擎如百度、搜狗、360、必應進行集成搜索；可根據(jù)需要選擇全部或者不同搜索引擎進行搜索；可根據(jù)實際業(yè)務需要設置返回結(jié)果條數(shù)；對搜索結(jié)果進行排重聚合展示。聚合后用戶可查看某篇文章在各搜索引擎檢索情況及搜索結(jié)果中的相同文章。支持對結(jié)果信息的多維展示和管理。用戶在搜索結(jié)果界面，可分通道、分時間查看搜索結(jié)果總量及詳細文章；可對搜索結(jié)果進行相似文章去重處理；可按相關度、熱度、時間排序；可對結(jié)果信息單條或批量進行預警、收藏、導出處理；可以檢索結(jié)果列表導出保存為Exce1數(shù)據(jù)文件，可自定義導出項，可導出簡要數(shù)據(jù)列表,也可以導出全文數(shù)據(jù)。

硬件環(huán)境針對院校已有的網(wǎng)絡設備，可以進行整合，而且相關設備與模塊也可根據(jù)院校專業(yè)教學和實驗室建設的具體情況進行選擇。計算中心計算中心是整個實驗室建設的核心硬件平臺，需要以一套服務器、交換機等設備形成機房，它一方面支撐軟件平臺、存儲內(nèi)容資源，另一方面也可以實現(xiàn)實驗成果、教學科研成果的長期保存和項目成果積累，充分為科教產(chǎn)成果積累提供存儲空間支撐。如圖所示，用戶通過PC中的web端訪問應用服務器，進入系統(tǒng)教學、實驗，在教學實驗過程中，系統(tǒng)會通過管理集群，自動對計算資源進行分發(fā)調(diào)度，以達到最好的使用效果，分析挖掘的結(jié)果和用戶的行為數(shù)據(jù)，會在應用集群和管理計算集群之間進行交換，并存儲在數(shù)據(jù)庫服務器和計算存儲集群中。同時，集群采用HA、動態(tài)資源調(diào)配等，保障系統(tǒng)穩(wěn)定性、安全性。學習中心采用普通終端PC機，組成數(shù)據(jù)偵查實驗室局域網(wǎng)，支撐進行教學、實訓、科研。預期效益形成海量異構(gòu)數(shù)據(jù)智能分析模式人工智能時代數(shù)據(jù)挖掘核心是算法和模型數(shù)據(jù)挖掘的目標是從數(shù)據(jù)庫中發(fā)現(xiàn)隱含的、有價值、有意義的信息，通過這些信息的解讀，預測未來趨勢及行為，做出前攝的、基于數(shù)據(jù)與知識的決策。數(shù)據(jù)挖掘核心是算法和模型，現(xiàn)階段的數(shù)據(jù)挖掘模型都是針對某些具體的任務和領域，選擇一些已經(jīng)認可的模型。算法和建模的難度很大，對人才技術、業(yè)務能力要求高。本實驗室以開源情報分析和輿情線索發(fā)現(xiàn)為主要抓手，對標國際先進系統(tǒng)，構(gòu)建新一代數(shù)據(jù)偵查應用系統(tǒng)。通過對覆蓋政治、JS、經(jīng)濟、社會等方面的大數(shù)據(jù)關聯(lián)融合，構(gòu)建貼近業(yè)務場景、具有“技術洞見”的特色引擎，形成一套人腦決策和計算機智能共生的大數(shù)據(jù)分析環(huán)境及工具系統(tǒng)，輔助用戶從大數(shù)據(jù)中萃取重大線索，并進一步轉(zhuǎn)化為可操作的決策指揮能力。將大數(shù)據(jù)手段與傳統(tǒng)的偵查能力有效整合在傳統(tǒng)的偵查模式中，偵查人員最為重要的偵查工作就是通過對群眾的走訪，來了解當事人的社會關系，了解在犯罪發(fā)生時可疑的情況。但在數(shù)據(jù)化應用較為廣泛的現(xiàn)在，很多的偵查人員過于依賴利用數(shù)據(jù)系統(tǒng)來調(diào)查這方面的情報，而缺少了對人民群眾的走訪。甚至一部分偵查人員對于現(xiàn)場的訊問也變的極為馬虎，這很有可能讓偵查工作陷入另一個方面的誤差，即一旦以科技手段證實了某個犯罪嫌疑人的犯罪證據(jù)，就在沒有經(jīng)過多方驗證的情況下草草的下了結(jié)論。大數(shù)據(jù)在現(xiàn)代偵查工作中的應用，數(shù)據(jù)信息處理與數(shù)據(jù)信息識別甚至是網(wǎng)絡輿情的監(jiān)控都可以通過專家來幫助偵查人員更快、更準確的掌握犯罪信息，從而給偵查工作帶來質(zhì)的飛躍。另外可以進行如下利用：第一，對危險的頑固類犯罪嫌疑人進行重點監(jiān)控，對可能發(fā)生犯罪的地區(qū)進行重點監(jiān)控，不放過任何可能的疑情與險情，特別是對已經(jīng)存在隱性犯罪線索，要做到細致的分析與評定。第二，以各種方式多渠道的收集情報，不僅要充分發(fā)揮人民群眾的情報作用，還需要以各種數(shù)據(jù)處理體系來對收集到的情報進行分析，對已經(jīng)發(fā)生的犯罪案件進行總結(jié)，了解其中的規(guī)律與治安管理中的漏洞，消除治安管理中存在的隱患。第三，利用大數(shù)據(jù)的處理能力，通過對系統(tǒng)內(nèi)情報的分析掌握，及時科學的分析犯罪分子可能存在的過激行為，及時采取有針對性的措施，進行犯罪的事前預防。配置清單序號名稱模塊說明單位數(shù)量1底層平臺管理后臺提供組織機構(gòu)樹、角色、用戶等管理功能，可對不同用戶進行權限配置。支持對用戶應用數(shù)據(jù)、教學數(shù)據(jù)進行統(tǒng)計分析。個1運維調(diào)度平臺提供平臺各組件的安裝、部署、配置、運維、監(jiān)控、數(shù)據(jù)操作等功能。實現(xiàn)分布式存儲和分布式計算框架及算法，支持對任務流進行配置和調(diào)度。個1數(shù)據(jù)管理提供統(tǒng)基于統(tǒng)一數(shù)據(jù)規(guī)范，對各子系統(tǒng)數(shù)據(jù)進行統(tǒng)一管理，支持文本、pdf等多種文件格式上傳及主流數(shù)據(jù)庫接入，支持數(shù)據(jù)預覽、透視，各子系統(tǒng)之間支持數(shù)據(jù)流轉(zhuǎn)、匯聚。個12教學管理平臺大數(shù)據(jù)教學系統(tǒng)提供在線課程學習平臺，支持教師利用系統(tǒng)內(nèi)置課程或自主創(chuàng)建課程進行教學。支持學生通過觀看視頻和學習資料進行學習，通過使用系統(tǒng)提供的在線實驗，節(jié)約學生搭建練習環(huán)境的時間，可以反復練習理論課學到的知識，通過理論加實踐的方式加深印象，鞏固知識。個1在線考試系統(tǒng)滿足學校在線考試和閱卷的需求，支持單選題、多選題、判斷題、填空題、問答題等多種題型，其中單選題、多選題、判斷題支持自動批改。為了減輕教師監(jiān)考壓力，系統(tǒng)提供智能監(jiān)考功能，學生作答過程中如果出現(xiàn)頻繁切換窗口、最小化等操作，系統(tǒng)會自動向監(jiān)考老師發(fā)出提醒?？荚嚱Y(jié)束后，教師可以自己閱卷，也可以分配閱卷任務，由教研組共同開展閱卷工作?？荚嚱Y(jié)束后會自動統(tǒng)計本次考試的成績情況。個1交互式在線編程系統(tǒng)提供交互式在線編程環(huán)境，可基于特定的業(yè)務場景中的數(shù)據(jù)與算子獨立的使用交互編程組件進行腳本語言代碼的調(diào)試與執(zhí)行。優(yōu)化后的腳本可轉(zhuǎn)換為平臺的算子用于大數(shù)據(jù)分析模型的構(gòu)建。交互式編程環(huán)境能夠支持Python、R等主流腳本語言。個13數(shù)據(jù)偵查應用實驗室情報分析實驗室通過對大數(shù)據(jù)的關聯(lián)融合、動態(tài)開放知識網(wǎng)絡構(gòu)建，實現(xiàn)人機交互的任務協(xié)同、目標搜索、關聯(lián)分析、時空分析、統(tǒng)計分析、智能報告和專題分析，讓教師和學生掌握從大數(shù)據(jù)中萃取關鍵情報的方法，探究大量情報信息之間的關聯(lián)關系。個1輿情分析實驗室平臺實現(xiàn)對網(wǎng)絡新聞、論壇、博客、微博、微信、APP、知乎、twitter、facebook、網(wǎng)民評論等境內(nèi)外全媒體數(shù)據(jù)的7*24小時實時采集、抽取、挖掘和分析處理，為師生提供熱點輿情聚合、重點輿情發(fā)現(xiàn)、專項輿情監(jiān)測、輿情研判分析、自動輿情預警、智能輿情報告、精準輿情檢索等多維輿情信息服務。個14課程包從大數(shù)據(jù)理論、常用編程語言，逐步向數(shù)據(jù)偵查實戰(zhàn)常用的環(huán)境、框架搭建、經(jīng)典算法、算法應用過渡。包含理論課、算法課、實驗課。門215算子庫數(shù)據(jù)預處理算子庫提供常用的數(shù)據(jù)預處理工具方法，包括加權采樣、分層采樣等數(shù)據(jù)采樣方法，行列合并、列刪除、缺失值填充等數(shù)據(jù)清洗方法，CSV轉(zhuǎn)標注點、Txt轉(zhuǎn)CSV、文件合并、LibSVM轉(zhuǎn)標注點等格式轉(zhuǎn)換方法，通過數(shù)據(jù)采樣、清洗、轉(zhuǎn)換幫助用戶快速進行數(shù)據(jù)的預處理與加工。套1統(tǒng)計分析算子庫基于統(tǒng)計學原理與方法構(gòu)建了統(tǒng)計模型與分析工具，提供常用的統(tǒng)計分析方法模型，幫助用戶挖掘數(shù)據(jù)特征內(nèi)在分布規(guī)律，具體包括均值估計、方差估計、方差比估計等參數(shù)估計方法，T校驗、Wilcoxon符號秩校驗、方差分析等數(shù)據(jù)校驗方法，正態(tài)性檢驗、KS-檢驗等正態(tài)分布校驗方法，時序分析、自相關分析等時間序列分析方法，相關性分析、卡法獨立行檢驗等相關分析方法。套1特征工程算子庫提供常用的數(shù)據(jù)特征篩選與處理方法，幫助用戶快速進行數(shù)據(jù)特征的抽取、選擇與構(gòu)建，具體包括特征離散、數(shù)據(jù)分箱、奇異值分解、獨熱編碼、主成分分析、卡方選擇等方法。套1機器學習算子庫提供了數(shù)百種高質(zhì)量的分布式機器學習建模算法工具，涵蓋分類回歸、網(wǎng)絡計算、聚類、深度學習等多個領域，包含線性回歸、邏輯回歸、決策樹、SVM、KNN、KMeans、樸素貝葉斯、隨機森林、Boosti