知網(wǎng)數(shù)字資源保存實(shí)踐.ppt

知網(wǎng)數(shù)字資源保存實(shí)踐,中國(guó)知網(wǎng) 2013/9/10 北京,提綱,知網(wǎng)資源的現(xiàn)狀 知網(wǎng)資源保存中的問題 知網(wǎng)資源保存的技術(shù)方案,知網(wǎng)資源的現(xiàn)狀,學(xué)術(shù)期刊: 4000萬(wàn)篇 博碩士論文： 200萬(wàn)本 會(huì)議論文： 200萬(wàn)篇 報(bào)紙論文： 1200萬(wàn)篇 工具書： 1800萬(wàn)條 統(tǒng)計(jì)年鑒： 200萬(wàn)條 專利： 4100萬(wàn)條 標(biāo)準(zhǔn)： 59萬(wàn)條 外文題錄： 1.2億條 每年新增： 600萬(wàn)條/篇,數(shù)據(jù)規(guī)模,學(xué)術(shù)期刊: 16TB 博碩士論文： 10TB 會(huì)議論文： 1TB 報(bào)紙論文： 1TB 工具書： 0.5TB 年鑒統(tǒng)計(jì)年鑒： 2TB 專利： 6TB 圖片庫(kù): 9TB 其他: 2TB 日志數(shù)據(jù) 32TB 合計(jì)： 79.5TB 年新增數(shù)據(jù)： 10TB,數(shù)據(jù)規(guī)模,TB,知網(wǎng)數(shù)字資源保存的范圍,原始數(shù)據(jù) 出版商 合作單位 網(wǎng)絡(luò)采集,中間格式數(shù)據(jù) 元數(shù)據(jù) 統(tǒng)一格式數(shù)據(jù) 文本,圖像,視屏,規(guī)范數(shù)據(jù) 作者 機(jī)構(gòu) 標(biāo)引 分類,關(guān)聯(lián)數(shù)據(jù) 知識(shí)元 引用 相似 下載數(shù)據(jù),出版產(chǎn)品數(shù)據(jù) 數(shù)據(jù)庫(kù),訪問日志 各數(shù)據(jù)庫(kù)訪問情況 各出版物訪問情況,互聯(lián)網(wǎng)資源 博客、報(bào)紙、媒體、行業(yè)機(jī)構(gòu)、論文、港澳臺(tái)、OA資源、大學(xué)網(wǎng)站、政府類網(wǎng)站,系統(tǒng)數(shù)據(jù) 維持系統(tǒng)服務(wù)的相關(guān)配置數(shù)據(jù)，系統(tǒng)環(huán)境數(shù)據(jù),變化的 系統(tǒng),知網(wǎng)資源保存的特點(diǎn),靜態(tài)的資源 原始數(shù)據(jù) 出版商 合作單位,緩慢變化資源 元數(shù)據(jù)，少量修改，規(guī)范數(shù)據(jù),變化較大的資源 關(guān)聯(lián)數(shù)據(jù) 引文數(shù)據(jù),增長(zhǎng)較快的資源 出版數(shù)據(jù) 日志數(shù)據(jù),知網(wǎng)數(shù)字資源保存中的問題,內(nèi)容編碼的問題 格式使用的問題 軟件兼容的問題 更新服務(wù)的問題 數(shù)據(jù)庫(kù)系統(tǒng)升級(jí)的問題 數(shù)據(jù)校驗(yàn)的問題 版本管理問題 數(shù)據(jù)壓縮的問題 保存硬件的問題,知網(wǎng)數(shù)字資源保存問題(1)： 文本內(nèi)容編碼的問題,原始編碼還是統(tǒng)一編碼？ GB2312 GBK BIG5 UNICODE utf8 utf16 utf32,知網(wǎng)數(shù)字資源保存問題(2)： 圖像音視頻格式,JPG jpeg2000 PNG GIF/TIFF WebP 比jpeg少40% 視頻： H.264，H.264的壓縮比是MPEG-2的2倍以上，是MPEG-4的1.52倍。,知網(wǎng)數(shù)字資源保存問題(3)： 軟件兼容的問題,WORD6 WORD2000 WORD2007 WPS LATEX PDF1.1-PDF1.6 S2，S72，S92.,知網(wǎng)數(shù)字資源保存問題(4)： 數(shù)據(jù)更新,數(shù)據(jù)有加工錯(cuò)誤 作者名字 數(shù)據(jù)有傳輸錯(cuò)誤 格式轉(zhuǎn)換的錯(cuò)誤 文字錯(cuò)誤 新規(guī)范實(shí)施導(dǎo)致 新格式 關(guān)聯(lián)數(shù)據(jù) 引用數(shù)據(jù),知網(wǎng)數(shù)字資源保存問題(5)： 系統(tǒng)保存與升級(jí),知網(wǎng)在運(yùn)行系統(tǒng) KNS6 KNS5.5 KNS5.0 KNS4.0， 部分鏡像用戶 CAJCD，光盤系統(tǒng)用戶 不同系統(tǒng)的數(shù)據(jù)并不相同 KNS6KNS5.5KNS5.0KNS4CAJCD.,知網(wǎng)數(shù)字資源保存問題(6)： 數(shù)據(jù)校驗(yàn)的問題,數(shù)據(jù)損壞 硬件 軟件 可恢復(fù)的損壞 整體可恢復(fù) 部分可恢復(fù) 不可恢復(fù)的損壞 快速發(fā)現(xiàn)數(shù)據(jù)損壞的方法與措施？,知網(wǎng)數(shù)字資源保存問題(7)： 數(shù)據(jù)版本管理問題,數(shù)據(jù)更新的記錄 什么時(shí)間更新的 誰(shuí)更新的 更新了什么 形成更新事務(wù)，可以回退到上一個(gè)版本。,知網(wǎng)數(shù)字資源保存問題(8)： 數(shù)據(jù)壓縮的問題,壓縮節(jié)約空間，但在數(shù)據(jù)損壞的情況下，壓縮的內(nèi)容是否可以恢復(fù)？ 壓縮內(nèi)容的可恢復(fù)性?完整性？ 一個(gè)字節(jié)壞了，導(dǎo)致整個(gè)文件不可恢復(fù)。,知網(wǎng)數(shù)字資源保存策略,云模式 與服務(wù)體系向銜接：具有快速部署與接入能力。 持續(xù)更新與轉(zhuǎn)化能力：兩年轉(zhuǎn)換一次 支持動(dòng)態(tài)的持續(xù)的資源更新 支持大數(shù)據(jù)挖掘應(yīng)用 保存與服務(wù)相協(xié)調(diào),知網(wǎng)資源保存的技術(shù)方案,對(duì)象數(shù)據(jù) 存檔庫(kù),元數(shù)據(jù) 存檔庫(kù),格式 轉(zhuǎn)換系統(tǒng),檢測(cè) 校驗(yàn)系統(tǒng),數(shù)據(jù) 更新系統(tǒng),云存檔 管理系統(tǒng),在線服務(wù) 系統(tǒng)接入,對(duì)象數(shù)據(jù) 存檔庫(kù),知網(wǎng)CNKI存檔服務(wù)器,對(duì)象數(shù)據(jù)基于分布式系統(tǒng)的CNKI 云ArchiveServer. CNKI云存儲(chǔ)系統(tǒng)是一個(gè)基礎(chǔ)服務(wù)平臺(tái)，為其他應(yīng)用產(chǎn)品提供云存儲(chǔ)服務(wù)支撐。既能滿足CNKI海量的、零散的數(shù)據(jù)分布式云存儲(chǔ)服務(wù)平臺(tái)，也是能夠滿足一般用戶云存儲(chǔ)需求的通用分布式文件存儲(chǔ)系統(tǒng)。 系統(tǒng)結(jié)合GFS的主存索引輔存存儲(chǔ)模型以及FASTDFS分組模型來存儲(chǔ)和冗余備份數(shù)據(jù)，采用KBASE數(shù)據(jù)庫(kù)提供索引服務(wù)，實(shí)體數(shù)據(jù)分?jǐn)?shù)據(jù)塊加密存儲(chǔ)，將零散的數(shù)據(jù)有效的打包合并加密，對(duì)外提供統(tǒng)一的文件管理服務(wù)。解決文件零散不便管理以及裸數(shù)據(jù)擴(kuò)散問題。 提供 分布式存儲(chǔ)服務(wù)，數(shù)據(jù)多備份服務(wù)，數(shù)據(jù)校驗(yàn)服務(wù)，數(shù)據(jù)恢復(fù)服務(wù)，數(shù)據(jù)版本管理，數(shù)據(jù)挖掘服務(wù)，自動(dòng)擴(kuò)展，數(shù)據(jù)加密存儲(chǔ)，訪問日志。,node,node,node,name,data node,node,node,name,node,data node,data node,data node,name,data node,dcs,config,monitor,log,msg,msg,msg,dagta node,data node,TCP/ IP,manager,client,user,app,config,file,disk,task,minitor,logs,COM/WCF/CLR/JAR,name interface,value interface,TCP/ IP,apps,系統(tǒng)架構(gòu)圖,系統(tǒng)性能,并發(fā)數(shù)與文件寫入請(qǐng)求數(shù) 單個(gè)節(jié)點(diǎn)每小時(shí)能提供最大10萬(wàn)次（1M）的文件寫入 在次測(cè)試環(huán)境下，四節(jié)點(diǎn)能達(dá)到寫入最大值為35萬(wàn)次，8個(gè)節(jié)點(diǎn)受限于網(wǎng)絡(luò)無(wú)法測(cè)試最大值,系統(tǒng)性能,并發(fā)數(shù)和吞吐量變化 8個(gè)存儲(chǔ)節(jié)點(diǎn)并發(fā)數(shù)達(dá)到160是達(dá)到最大吞吐量120M左右,系統(tǒng)性能,并發(fā)數(shù)與文件請(qǐng)求數(shù)對(duì)比 單節(jié)點(diǎn)能提供每小時(shí)40萬(wàn)次（平均1M）文件下載，雙節(jié)