谷尼網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)技術(shù)白皮書

谷尼網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)谷尼網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng) 技術(shù)白皮書技術(shù)白皮書 ( (簡版簡版) ) 谷尼國際軟件（北京）有限公司谷尼國際軟件（北京）有限公司 二一年八月 目錄 1系統(tǒng)概述系統(tǒng)概述.1 2系統(tǒng)結(jié)構(gòu)系統(tǒng)結(jié)構(gòu).1 3系統(tǒng)特點(diǎn)系統(tǒng)特點(diǎn).2 4功能描述功能描述.3 4.1熱點(diǎn)話題、敏感話題識(shí)別.3 4.2輿情主題跟蹤.3 4.3自動(dòng)摘要.4 4.4輿情趨勢分析.4 4.5突發(fā)事件分析.4 4.6輿情報(bào)警系統(tǒng).5 4.7輿情統(tǒng)計(jì)報(bào)告.5 5 5運(yùn)行環(huán)境運(yùn)行環(huán)境.5 1 系統(tǒng)概述系統(tǒng)概述 網(wǎng)絡(luò)輿情形成迅速，對社會(huì)影響巨大，不僅需要各級黨政干部密切關(guān)注， 也需要社會(huì)各界高度重視。該方案可應(yīng)用在政府的新聞監(jiān)管、輿論監(jiān)督等部門。 網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)是一套利用搜索引擎技術(shù)、文本處理技術(shù)、知識(shí)管理方 法，通過對互聯(lián)網(wǎng)海量信息自動(dòng)獲取、提取、分類、聚類、主題監(jiān)測、專題聚 焦，實(shí)現(xiàn)用戶對網(wǎng)絡(luò)輿情監(jiān)測和熱點(diǎn)事件專題追蹤等需求，形成輿情決策庫、 輿情簡報(bào)等分析結(jié)果，為客戶全面掌握輿情動(dòng)態(tài)，做出正確輿論引導(dǎo)提供分析 依據(jù)。 谷尼網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)是以信息采集技術(shù)為核心，應(yīng)用信息采集技術(shù)、內(nèi) 容管理技術(shù)、知識(shí)管理技術(shù)、信息分類技術(shù)，實(shí)現(xiàn)網(wǎng)絡(luò)輿情監(jiān)測和新聞熱點(diǎn)追 蹤、新聞監(jiān)管等功能需求。為客戶全面掌握群眾思想動(dòng)態(tài)，做出正確輿論引導(dǎo)， 提供分析依據(jù)。系統(tǒng)工作流程如下: 信息采集：互聯(lián)網(wǎng)信息實(shí)時(shí)監(jiān)測、采集、內(nèi)容提取及排重； 信息處理：對抓取的內(nèi)容進(jìn)行自動(dòng)分類聚類、主題檢測、專題聚焦等； 信息服務(wù)：將采集并分析整理后的信息直接為用戶或?yàn)橛脩糨o助編輯提 供信息服務(wù)，如自動(dòng)形成輿情信息簡報(bào)、追蹤已發(fā)現(xiàn)的輿論焦點(diǎn)等。 2 系統(tǒng)結(jié)構(gòu)系統(tǒng)結(jié)構(gòu) 總體來說，網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)軟件的結(jié)構(gòu)如下： 3 系統(tǒng)特點(diǎn)系統(tǒng)特點(diǎn) 該項(xiàng)目與國內(nèi)外互聯(lián)網(wǎng)輿情監(jiān)控系統(tǒng)或類似功能的系統(tǒng)比較，具有自己顯 著的技術(shù)特點(diǎn)，如允許用戶定制輿情監(jiān)控的范圍、方式等，具體如下： 支持網(wǎng)頁編碼自動(dòng)識(shí)別 支持 URL 去重識(shí)別 支持正文自動(dòng)識(shí)別抽取，無須標(biāo)簽配置 支持分頁采集 可設(shè)置采集頻率 支持分布式部署 強(qiáng)大的信息采集功能 智能化的中文信息處理 全面的敏感信息分布式檢索系統(tǒng) 分類、聚類等中文智能處理技術(shù)廣泛采用 實(shí)時(shí)增量備份原則 合理的模塊化結(jié)構(gòu)及方便的分類監(jiān)控 靈活的調(diào)度算法 支持新聞、博客、論壇、貼吧的采集監(jiān)控 基于內(nèi)容相似性去重識(shí)別 支持互聯(lián)網(wǎng)關(guān)鍵詞搜索采集入庫 支持敏感詞過濾提取 支持熱點(diǎn)發(fā)現(xiàn) 支持網(wǎng)頁快照 4 功能描述功能描述 4.14.1 熱點(diǎn)話題、敏感話題識(shí)別熱點(diǎn)話題、敏感話題識(shí)別 網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)可以根據(jù)新聞出處權(quán)威度、發(fā)言時(shí)間密集程度等參數(shù)， 識(shí)別出給定時(shí)間段內(nèi)的熱門話題。利用內(nèi)容主題詞組和回貼數(shù)進(jìn)行綜合語義分 析，識(shí)別敏感話題。 4.24.2 輿情主題跟蹤輿情主題跟蹤 網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)分析新發(fā)表文章、貼子的話題是否與已有主題相同。 是根據(jù)文檔內(nèi)容間的相關(guān)程度進(jìn)行分組歸并。聚類不需要類別及相關(guān)訓(xùn)練 樣本。 聚類可以發(fā)現(xiàn)當(dāng)前輿論焦點(diǎn),或者相關(guān)文檔的查找. 網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)通過對同一個(gè)階段搜索到的大量信息進(jìn)行聚類，我們可 以很方便地發(fā)現(xiàn)當(dāng)前關(guān)于什么類別的文章數(shù)量更多，那些信息之間的關(guān)系更緊 密，這樣我們可以很直觀地了解到當(dāng)前輿論的焦點(diǎn)，以及各個(gè)輿論點(diǎn)之間的聯(lián) 系緊密程度。 4.34.3 自動(dòng)摘要自動(dòng)摘要 網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)對各類主題，各類傾向能夠形成自動(dòng)摘要。 信息自動(dòng)摘要的中心思想是讓用戶在查看搜索結(jié)果時(shí)候，無需點(diǎn)擊進(jìn)入每 一個(gè)搜索結(jié)果去了解具體內(nèi)容，而自動(dòng)在搜索結(jié)果條目下顯示摘要信息。這些 “摘要”幫助用戶迅速了解搜索結(jié)果的主要內(nèi)容，提高了工作效率。 4.44.4 輿情趨勢分析輿情趨勢分析 分析某個(gè)主題在不同的時(shí)間段內(nèi)，人們所關(guān)注的程度。 4.54.5 突發(fā)事件分析突發(fā)事件分析 網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)對突發(fā)事件進(jìn)行跨時(shí)間、跨空間綜合分析，獲知事件發(fā) 生的全貌并預(yù)測事件發(fā)展的趨勢。 4.64.6 輿情報(bào)警系統(tǒng)輿情報(bào)警系統(tǒng) 網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)對突發(fā)事件、涉及內(nèi)容安全的敏感話題及時(shí)發(fā)現(xiàn)并報(bào)警。 4.74.7 輿情統(tǒng)計(jì)報(bào)告輿情統(tǒng)計(jì)報(bào)告 網(wǎng)絡(luò)輿情監(jiān)控系統(tǒng)根據(jù)輿情分析引擎處理后生成報(bào)告，用戶可通過瀏覽器 瀏覽，提供信息檢索功能，根據(jù)指定條件對熱點(diǎn)話題、傾向性進(jìn)行查詢，并瀏 覽信息的具體內(nèi)容，提供決策支持。 5 5 運(yùn)行環(huán)境運(yùn)行環(huán)境 操作系統(tǒng):Microsoft Windows XP/NT/2000/2003/ 數(shù)據(jù)庫為:SQL2005/MYSQL/ORA