日志采集軟件需求說明

日志采集軟件需求說明一、建設(shè)內(nèi)容1、根據(jù)《交通管理信息系統(tǒng)業(yè)務(wù)日志采集軟件接入規(guī)范》，完成日志采集軟件的采購，實(shí)現(xiàn)支隊(duì)級(jí)重要信息系統(tǒng)日志數(shù)據(jù)的采集。2、日志采集軟件系統(tǒng)的運(yùn)維服務(wù)，確保本支隊(duì)重要信息系統(tǒng)日志數(shù)據(jù)采集、上傳通道暢通。二、采購內(nèi)容及要求2.1系統(tǒng)概述交通管理信息安全監(jiān)管系統(tǒng)由系統(tǒng)應(yīng)用軟件、信息系統(tǒng)業(yè)務(wù)日志采集軟件、信息安全傳輸交換系統(tǒng)組成。本次需采購的日志采集軟件需符合部《日志采集軟件接入規(guī)范》。日志采集軟件通過制定統(tǒng)一的信息系統(tǒng)安全防護(hù)技術(shù)規(guī)范、安全防護(hù)水平評(píng)價(jià)指標(biāo)和評(píng)價(jià)方法、信息安全異常監(jiān)管指標(biāo)，研制安全策略審核和日志探測(cè)采集軟件，采集匯聚信息系統(tǒng)應(yīng)用日志、設(shè)備運(yùn)行日志、網(wǎng)絡(luò)和安全產(chǎn)品日志，檢測(cè)、感知、審核信息系統(tǒng)安全狀況。建設(shè)交通管理信息安全監(jiān)管系統(tǒng)，開展信息安全網(wǎng)上巡查、事件處置、安全評(píng)估和分析研判，全面提升信息系統(tǒng)安全防御水平，提前預(yù)警、主動(dòng)發(fā)現(xiàn)、有效防范安全入侵、信息竊取、篡改數(shù)據(jù)等各類信息安全事件，保障信息系統(tǒng)安全、穩(wěn)定運(yùn)行。本項(xiàng)目擬采購信息系統(tǒng)業(yè)務(wù)日志采集軟件，負(fù)責(zé)采集交通管理綜合應(yīng)用平臺(tái)、交通集成指揮平臺(tái)的系統(tǒng)登錄、信息查詢、接口訪問、系統(tǒng)操作等日志數(shù)據(jù)，并實(shí)現(xiàn)與交通管理信息安全監(jiān)管系統(tǒng)的對(duì)接。因此要求具有豐富的總隊(duì)、地市兩級(jí)交通集成指揮平臺(tái)以及交通管理綜合應(yīng)用平臺(tái)的實(shí)施部署、維護(hù)經(jīng)驗(yàn)。2.2技術(shù)參數(shù)要求1、性能指標(biāo)及配置需求：日志采集軟件應(yīng)滿足以下性能指標(biāo)：1）單個(gè)軟件安裝節(jié)點(diǎn)，存量數(shù)據(jù)采集性能不低于15MB/秒；2）單個(gè)軟件安裝節(jié)點(diǎn)，單個(gè)業(yè)務(wù)數(shù)據(jù)庫時(shí)，日志文件解析性能不低于10MB/秒；3）在數(shù)據(jù)采集過程中，保證數(shù)據(jù)不丟失、不錯(cuò)亂。2、通用功能需求1）旁路部署日志采集軟件應(yīng)支持旁路部署。2）數(shù)據(jù)庫日志文件獲取方式目標(biāo)數(shù)據(jù)庫的歸檔日志、在線日志文件獲取可通過Agent、SMB/NFS共享兩種方式，并提供相應(yīng)的配置功能。3）支持多目標(biāo)數(shù)據(jù)庫1套日志采集軟件應(yīng)支持同時(shí)對(duì)多個(gè)目標(biāo)數(shù)據(jù)庫進(jìn)行日志采集，并提供多個(gè)目標(biāo)數(shù)據(jù)庫連接方式。4）支持不同采集環(huán)境（1）可支持Oracle8i以上所有版本目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)采集，可支持RAC模式的Oracle目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)采集，可支持OracleASM/RAW存儲(chǔ)方式目標(biāo)數(shù)據(jù)庫的數(shù)據(jù)采集。（2）支持安裝在不同操作系統(tǒng)環(huán)境下數(shù)據(jù)庫的數(shù)據(jù)采集，包括：windowsXP/2000/2003/2008/7、RedHatLinux4/5/6、CentOS5/6/7、AIX5/6、HP-UX、SUNSolaris、OracleEnterprisLinux等。（3）支持32位和64位操作系統(tǒng)中數(shù)據(jù)庫的數(shù)據(jù)采集。（4）支持?jǐn)?shù)據(jù)庫多種字符集類型，包括GBK、UTF-8等。（5）支持?jǐn)?shù)據(jù)庫無主鍵且無唯一索引表數(shù)據(jù)的采集。5）數(shù)據(jù)庫審計(jì)信息采集在通過數(shù)據(jù)庫日志文件采集數(shù)據(jù)過程中，除采集業(yè)務(wù)日志數(shù)據(jù)外，還應(yīng)依據(jù)數(shù)據(jù)庫操作的事務(wù)信息，采集操作的機(jī)器名、客戶端類型（SQLPlus、PL/SQLDeveloper、JDBC等）、操作時(shí)間等數(shù)據(jù)庫審計(jì)信息。6）日志采集軟件自身運(yùn)行環(huán)境日志采集軟件配置管理采用B/S架構(gòu)，全中文圖形化界面實(shí)現(xiàn)本地配置管理、運(yùn)行監(jiān)控等功能。3、配置管理1）系統(tǒng)訪問授權(quán)信息登記提供安管系統(tǒng)接口訪問授權(quán)信息錄入、修改功能，包括備案編號(hào)、接口訪問授權(quán)碼、本級(jí)安管系統(tǒng)IP地址及訪問端口，為調(diào)用安管系統(tǒng)接口提供認(rèn)證參數(shù)。2）日志采集軟件初始化提供日志采集軟件參數(shù)初始化功能，在“安管系統(tǒng)訪問授權(quán)信息登記”工作基礎(chǔ)上，通過安管系統(tǒng)提供的REST服務(wù)接口，獲取日志采集策略相關(guān)信息。3）目標(biāo)數(shù)據(jù)庫連接配置。根據(jù)從安管系統(tǒng)獲取的日志采集策略中的“交管信息系統(tǒng)類別”信息，為不同的目標(biāo)數(shù)據(jù)庫分別配置數(shù)據(jù)庫連接信息。4）數(shù)據(jù)庫日志文件讀取配置配置數(shù)據(jù)庫日志文件獲取方式，包括Agent或SMB/NFS共享兩種方式。4、日志采集分類需求1）存量數(shù)據(jù)采集實(shí)現(xiàn)對(duì)目標(biāo)數(shù)據(jù)庫中存量業(yè)務(wù)日志數(shù)據(jù)的批量采集，打包生成XML格式的日志解析文件，上傳FTP服務(wù)器或Flume服務(wù)器。2）增量數(shù)據(jù)采集通過Oracle歸檔日志、在線日志采集實(shí)時(shí)采集增量數(shù)據(jù)，打包生成XML格式的日志解析文件，上傳FTP服務(wù)器或Flume服務(wù)器。3）DDL數(shù)據(jù)采集通過Oracle歸檔日志、在線日志采集DDL數(shù)據(jù)，直接上傳本級(jí)安管系統(tǒng)。4）每日核對(duì)數(shù)據(jù)量采集實(shí)現(xiàn)對(duì)目標(biāo)數(shù)據(jù)庫中指定業(yè)務(wù)日志表，根據(jù)時(shí)間戳字段，每天定時(shí)統(tǒng)計(jì)前一天的新增數(shù)據(jù)量，直接上傳本級(jí)安管系統(tǒng)。5）詳細(xì)核對(duì)數(shù)據(jù)采集實(shí)現(xiàn)對(duì)目標(biāo)數(shù)據(jù)庫中指定日期業(yè)務(wù)日志數(shù)據(jù)的批量采集，打包生成XML格式的日志解析文件，上傳FTP服務(wù)器或Flume服務(wù)器。5、任務(wù)進(jìn)程需求1）主進(jìn)程在系統(tǒng)完成初始化及本地參數(shù)配置后，日志采集軟件啟動(dòng)任務(wù)主進(jìn)程，加載日志采集相關(guān)策略和參數(shù)，啟動(dòng)并控制各分任務(wù)進(jìn)程的運(yùn)行。2）存量數(shù)據(jù)采集任務(wù)負(fù)責(zé)存量數(shù)據(jù)的采集，打包生成XML格式的日志解析文件，存放本地待傳輸目錄，交由“日志解析文件傳輸任務(wù)”負(fù)責(zé)文件傳輸。3）增量數(shù)據(jù)采集任務(wù)負(fù)責(zé)增量數(shù)據(jù)的采集，打包生成XML格式的日志解析文件，存放本地待傳輸目錄，交由“日志解析文件傳輸任務(wù)”負(fù)責(zé)文件傳輸。4）每日核對(duì)數(shù)據(jù)量采集任務(wù)負(fù)責(zé)每日核對(duì)數(shù)據(jù)量的采集，采集過程中實(shí)時(shí)寫每日核對(duì)數(shù)據(jù)量信息，交由“http傳輸任務(wù)”負(fù)責(zé)將相關(guān)信息上報(bào)本級(jí)安管系統(tǒng)。5）詳細(xì)核對(duì)數(shù)據(jù)采集任務(wù)負(fù)責(zé)詳細(xì)核對(duì)數(shù)據(jù)的采集，打包生成XML格式的日志解析文件，存放本地待傳輸目錄，交由“日志解析文件傳輸任務(wù)”負(fù)責(zé)文件傳輸。6）日志解析文件傳輸任務(wù)負(fù)責(zé)掃描本地日志解析文件待傳輸目錄，將日志解析文件上傳FTP或Flume指定文件目錄。7）http傳輸任務(wù)負(fù)責(zé)將DDL數(shù)據(jù)、每日核對(duì)數(shù)據(jù)量、采集任務(wù)運(yùn)行狀態(tài)、數(shù)據(jù)分塊信息、采集斷點(diǎn)信息、日志解析文件信息等存放在日志采集軟件自身數(shù)據(jù)庫中的相關(guān)數(shù)據(jù)，通過本級(jí)安管系統(tǒng)提供的接口上報(bào)。8）日志解析文件反饋處理任務(wù)負(fù)責(zé)定期通過本級(jí)安管系統(tǒng)提供的接口，獲取日志解析文件傳輸入庫反饋狀態(tài)。9）采集策略更新任務(wù)負(fù)責(zé)定期通過本級(jí)安管系統(tǒng)提供的接口，獲取日志采集策略數(shù)據(jù)。10）錯(cuò)誤數(shù)據(jù)重采任務(wù)負(fù)責(zé)將要求重傳但本地已傳輸目錄、備份目錄均無文件的日志解析文件相關(guān)數(shù)據(jù)