檔案數(shù)字化方案

檔案室、檔案館館藏檔案掃描、數(shù)字化加工整體解決方案武漢寶和人通數(shù)字科技目 錄第一節(jié)質數(shù)字化加工作業(yè)前期預備… 1一、數(shù)字化工作人員預備… 1二、數(shù)字化工作軟件、硬件預備… 4三、確定數(shù)字化內容、數(shù)量及用戶需求… 5其次節(jié)數(shù)字化加工流程及主要技術方案… 6一、入庫提卷、拆卷… 6二、標引著錄… 7三、檔案掃描… 8四、圖像處理… 11五、全文OCR、生成雙層pdf、板式復原及格式…12六、總質檢… 七、批量掛接… 15八、還卷及數(shù)據(jù)備份提交… 15第三節(jié)質量掌握方案和保證措施… 17一、加工質量保障措施… 17二、多環(huán)節(jié)，多層次的質量檢查體系… 17三、階段性驗收與終驗相結合的嚴格驗收程序是質量掌握的終級保障… 19第四節(jié)安全保密掌握… 21保密協(xié)議… 22第五節(jié)售后效勞… 24工程背景——————————————————隨著全國文化信息資源共享工程與中國數(shù)字圖書館工程的起動，信息化已成為國際潮流，信息資源建設成為當務之急。信息資源建設的重點是電子文獻、各類數(shù)據(jù)庫、網(wǎng)絡資源、電子檔案、電子圖書等型數(shù)字化信息資源的建設。在數(shù)字化信息資源建設中，很大的一個需求是將現(xiàn)有的紙介質印刷品數(shù)字化，使之成為能夠用計算機閱讀、理解、查詢、檢索的電子文件，最終將其應用于數(shù)據(jù)庫存儲，或通過CD-ROM、Internet使用。以傳統(tǒng)紙張為載體的保存方式，占據(jù)了大量的空間，需要特別的環(huán)境，而且不便利查詢，隨著時間的推移，還面臨著腐蝕、老化等問題。而將紙介質文件信息進展電子化處理，保存到光盤上，具有存儲、治理、共享等功能，還可以削減文件庫房占地，節(jié)約保管設備和人員方面開支，又便利統(tǒng)計和進展遠程查詢。因此，將檔案、期刊、文件等資料通過掃描儀，掃描成圖像文件，再通過處理轉換成電子文檔，建立名目和索引，制作成電子文件，已是當務之急。公司簡介——————————————————————————————〔前身是湖北華職業(yè)學院數(shù)字科研中心〕1994１工程”高等學校中英文圖書數(shù)字化國際合作打算〔China-AmericaDigitalAcademicLibrary“CADAL”工程而成立的一家高技術企業(yè)。公司擁有先進〕技術，圖像掃描處理系統(tǒng)、生產(chǎn)流程治理系統(tǒng)，實現(xiàn)工廠化流水作業(yè)，智能化質量掌握與治理的具有國際領先水平的信息數(shù)字化工廠技術?？赏瑫r為圖書館、檔案館、政府、企業(yè)供給信息治理系統(tǒng)和信息資源數(shù)字化加工效勞。經(jīng)過六年的不斷探究和實踐，公司建立了一套完善的效勞于各領域的業(yè)務體系，檔案館：檔案綜合治理系統(tǒng)，檔案、古籍、期刊、論文、文獻資料數(shù)字化加工，檔案著錄、OCR，ＭＡＲＣ數(shù)據(jù)制作、檔案館設備及耗材供給等。政府機關：數(shù)字檔案治理系統(tǒng)，歷史陳舊檔案數(shù)字化加工。醫(yī)療、保險金融領域:病歷、保單等數(shù)字化加工，數(shù)據(jù)錄入效勞，全文ＯＣＲ等。第一節(jié)數(shù)字化加工作業(yè)前期預備一．數(shù)字化工作人員預備1.甲方人員職務：現(xiàn)場交接治理人員人數(shù)要求：一名專業(yè)要求：為學校檔案館負責檔案治理工作的技術或治理人員。職責范圍：①.負責與乙方的檔案提卷和還卷等交接工作，協(xié)同甲方人員作好交接清單記錄并簽字。②.負責監(jiān)視乙方標準化加工。③．隨時把握乙方加工進度并進展協(xié)調。④.準時關注并抽查乙方加工質量⑤．代表甲方與乙方進展準時的溝通及問題協(xié)調，確保工程順當完工。2乙方人員．治理人員主要為：生疏現(xiàn)場加工治理，生疏數(shù)字化整體作業(yè)流程，具有較強組織力量和現(xiàn)場治理及溝通力量的乙方負責人。．工程技術人員主要為：生疏計算機軟、硬件技術，了解檔案數(shù)據(jù)庫標準和系統(tǒng)開發(fā)。了解檔案治理等相關專業(yè)學問的乙方技術部技術支持工程師。數(shù)據(jù)采集作業(yè)員主要為：了解檔案數(shù)據(jù)庫數(shù)據(jù)標準和計算機軟件應用等相關學問的乙方數(shù)字化制作部工作人員。職務 職責 員

備注工程負責人 人員安3-1

負責人員，資源的調配工作。負責施工組織設計、治理。工程負責3．負責施工條件的保障及與甲乙雙方人 狀態(tài)的匯報和協(xié)調工管 作。理人員負責與乙方的檔案提卷和還卷等交接工作

不肯定要常駐一切通訊手段1人和定期到現(xiàn)場到對該工程加工進度和加工質量的掌控

排見表數(shù)

負責現(xiàn)場的人員治理和加工治理1負責數(shù)據(jù)的終驗和掛接協(xié)調工作。負責將檔案卷內名目及其它索引信息1進展手工錄入為電子數(shù)據(jù)信息并校對據(jù)采集人員

負責按制定的技術標準將檔案資料掃描污;去黑邊及去雜點等；糾偏：將偏斜的圖像進展訂正處理;

在進展圖像處以要留意每一1頁掃描的質量，人員或變淺；理；數(shù)負責將處理好的圖像進展全文識別、圖像矢量 2.校對、板式復原和格式轉換 1-3

二.字化工作軟、硬件預備1．配備硬件數(shù)量及檔次要視數(shù)據(jù)采集工作狀況及數(shù)據(jù)量大小。甲方供給PC4-6決。場地:甲方供給。辦公用具：甲方供給打印機〔以實際用量為標準〕﹑辦公桌椅﹑檔案資料的裝訂及打印機所用的全部耗材。其他條件：供給電力和飲水。3-2表3-2 軟、硬件配備列表軟、硬件名稱軟、硬件名稱數(shù)量具體配置響應時間供給方1．需支持全文檢索使用功能。工程開頭需綜合檔案治理系統(tǒng)一套2．支持TIFF甲方到位PDF據(jù)的批量掛接功能。能滿足本加數(shù)字化流程治理和加工工程開頭需全套 工工程全部的 乙方軟件、OCR軟件 到位技術要求工程開頭需效勞器一臺甲方到位富士通A3工程開頭需〔A3〕一臺乙方FI-4750C(ADF) 到位工程開頭需一臺虹光-FB6030乙方到位(平板)工程開頭需計算機甲方到位三.確定數(shù)字化內容、數(shù)量及用戶需求在數(shù)據(jù)采集之前，首先要客觀真實統(tǒng)計數(shù)字化內容和數(shù)量，確定用戶使用需求，然后制定對應方案和技術掌握以便準確地進展施工安排。備檔案類型檔案數(shù)量數(shù)字化預備狀況備檔案類型檔案數(shù)量數(shù)字化預備狀況紙張及保存狀況用戶需求注檔案裝訂檔案著錄檔案整理排序很好一般影像化較差很差矢量化檔案裝訂檔案著錄檔案整理排序很好一般影像化較差很差矢量化檔案裝訂檔案著錄檔案整理排序很好一般影像化較差很差矢量化檔案裝訂檔案著錄檔案整理排序很好一般影像化較差很差矢量化約件約面檔案裝訂檔案著錄檔案整理排序很好一般影像化基建檔案較差很差矢量化約件科研檔案約面檔案裝訂檔案著錄檔案整理排序很好一般影像化較差很差矢量化約件招生名冊約面學籍檔案約約件面學生成績約件約面約件黨群檔案約面其它：其它：檔案裝訂很好一般影像化約件檔案著錄檔案整理排序較差很差矢量化約 面填表人 職務其次節(jié)數(shù)字化加工流程及主要技術方案-OCR-校對-版式復原-轉雙層PDF-終驗-掛接。圖一 檔案數(shù)字化加工流程圖一、入庫提卷、拆卷確認的檔案交接清單〔完成清點登記。適應掃描的要求、對需要修復的檔案進展歸并整理〔假設覺察破損嚴峻，無法直接進展掃描的檔案，應先進展技術修復、折皺不平影響掃描質量的原件應先進展相應處理后再進展掃描，覺察破損嚴峻的檔案須馬上報知工程相關負責人〕制作卷內名目，掃描文件抽取〔在施工過程中檔案不損失、不喪失〕裝訂案卷應保證裝訂結實，案卷整齊，卷內材料不松動，脫落，保持與原案卷全都。圖二二、標引著錄按要求將文件所需信息錄入到軟件數(shù)據(jù)庫里，標引著錄依據(jù)國家檔案局有關標準結合用戶檔案著錄的具體要求進展。錄入方式承受手工錄入的方式校對方式校對以軟件校對和打印輸出、比照校對相結合，錯誤率在萬分之二以下。案卷名目和卷內名目依據(jù)檔案的原始數(shù)據(jù)錄入。卷案名目和卷內名目的樣式經(jīng)用戶同意可做相應調整。對檔案名目數(shù)據(jù)修改和補充的數(shù)據(jù)，須填寫更改資料、更改資料放入原案卷內，卷內名目及其他不全的需補充完整。三、檔案掃描掃描方式：依據(jù)檔案幅面的大小選擇相應規(guī)格的掃描儀或專業(yè)掃描儀進展掃描。大幅面檔案可承受加長式掃描或者圖像拼接處理方式處理，同一頁面有兩個以上文件，需分別掃描。掃描顏色模式：以黑白二值掃描為主，附有灰度〔彩色〕照片及原件清楚24例：藍底招生名冊，此種檔案長見為A3假設使用彩色掃描，文字局部明度很低。只有使用灰度掃描，效果相對好一些，如圖三。掃描后的圖像再輔以黑白二值保存，則最大限度的提高了圖像質量，如圖四。圖三灰度掃描效果 圖四保存為黑白值后的效果區(qū)分率：無全文檢索需求的文檔區(qū)分率調整為200DPIocr400dpi，此區(qū)分率下識別成功率最高。24位真彩色掃描區(qū)分率標準為200dpi。4．A320K—40K；灰度或彩色掃描A3100—150K。如遇字間距和行間距過密、原件本身是復印件等字跡不清楚的狀況，可適當增加掃描的區(qū)分率，但要保證圖像清楚的同時，又不影響遠程查詢和掃瞄的速度。清楚度：掃描圖像字跡清楚、顏色恰當，不宜過淺或過深，并且不得消滅字跡筆畫殘缺或字跡筆畫疊合而影響閱讀的狀況，即使原檔案存在銹斑變質、顏色過淺或深淺不全都，也保證掃描圖像可讀，掃描留下的墨跡寬度不得超過厘米，并且指印和黑線不能掩蓋或影響正文內容。件不清”標志。名目以原有檔案名目為準，在實際處理過程中著有未歸類的名目。可依據(jù)狀況修改名目，增加或調整標準名目，對檔案原名目數(shù)據(jù)修改或補充的數(shù)據(jù)，需填寫更改資料，更改資料放入原案卷內，能實現(xiàn)一條名目對應多個圖像和一個圖像對應多條名目的編目。圖像內容：實時在屏幕上監(jiān)控掃描全過程，遇有漏掃、重張，圖像黑邊、偏斜、折角、不清楚等狀況，則進展重掃或補掃。檢查掃描件是否符合要求，掃描圖像必需與原圖頁面一一對應，不得消滅顛倒、缺頁、重頁或錯頁狀況，不能有遺漏、重復，掃錯的現(xiàn)象掃描的頁面內容居中顯示，不行消滅明顯偏左或偏右的現(xiàn)象，正文內容、頁眉、頁腳、反面印章、附件、手寫注釋等信息完整；圖像內容與書本面完全對應，不得消滅書頁內容殘缺或將旁邊頁面信息掃入本頁的現(xiàn)象〔對圖像黑邊、偏斜、折角、不清楚等狀況進展處理，以到達用戶需求〕紙張較差檔案掃描方案：由于進展數(shù)字化的檔案會有局部為歷史檔案，紙張質量比較差，對于這局部紙張質量較差的歷史檔案掃描，我們本著以下原則：保證檔案安全。紙張較差的檔案多為破損檔案，對于破水防滑等有破壞檔案可能性的操作方法。保證掃描質量。歷史檔案之所以進展檔案數(shù)字化，其中最主要的目的之一就是搶救這局部歷史檔案，今后在應用這局部檔案系統(tǒng)，使用掃描件。這樣檔案掃描的質量要盡可能的清楚、干凈，盡可能的恢復歷史原貌，這對掃描質量的要求很高。高效高質的完成任務。掃描登記：認真填寫紙質檔案數(shù)字化轉換過程交接登記表單，登記掃描的頁數(shù)，核對每份文件的實際掃描頁數(shù)與檔案整理時填寫的文件頁數(shù)是否全都，不全都時應注明具體緣由和處理方法。四、圖像處理逐張檢查圖像質量〔包括黑邊、折角、圖像偏斜度、清楚度、失真度等進展檢查，覺察不符合圖像質量要求時，應重進展圖像處理，檔案挨次〔頁號〕是否正確，有無漏掃、重張等狀況〔覺察文件漏掃時，應準時補掃并正確插入圖像。覺察掃描圖像的排列挨次與檔案原件不全都時，應準時進展調整〕1而影響閱讀的現(xiàn)象。假設檔案頁面存在局部傾斜的，以頁面中標題訂正為準。去污：全部掃描留下的黑線、指印、陰影或污點都必需去除干凈〔在放大50%的狀況下〕由于印刷質量或紙張質量等造成的頁面上有零星的污點和反面倒映文字污點比較多，假設在頁面視圖下看不清楚，或該污點嵌在文本行中無法去除，可以不去除，但應盡量保證圖像可讀。提高圖像的清楚度，修正原資料中存在的字間距和行間距過密，文字較深或較淺，字跡不清楚的缺陷，確保文字及圖像信息清楚可辨。合并為一個完整的圖像，以保證檔案數(shù)字化圖像的整體性和數(shù)字化檔案的準確可讀。度。圖像存儲：存儲格式以G-4壓縮TIFFA4100K；其他幅面檔案掃描形成文件在保證影像質量的前提下，盡量縮小文件占用空間。掃描文件存儲命名必需與條目檔案號一一對應。五、全文識別〔OCR〕及生成雙層pdf、版式復原及格式轉換將掃描處理完成后的文檔利用專業(yè)的識別軟件進展全文OCR，如甲方對識別成功率有嚴格要求的，還需另外進展人工校對，校對完畢后將版式復原及轉換PDF依據(jù)用戶對識別率的要求，可選擇性進展人工校對。進展人工校對和不進展校對的優(yōu)缺點比照：PDFOCRPDF字和利用原文所包含的文字進展檢索的目的。但是不進展人工校對和版式復原，識別的準確率取決于原始資源的狀況及保存現(xiàn)狀。優(yōu)點：效率高、本錢低、能利用原文檢索掃瞄速度快。缺點：識別準確率取決于原件的質量，所以準確率不穩(wěn)定。適應范圍：①、原件版面干凈及保存完好的資源〔95%以上〕②、原文中只含部份核心檢索內容的資源〔如學籍檔案，檢索的重點只是圍繞學生的身份信息〕OCR了人工校對和版式復原的工序。可實現(xiàn)無障礙的全文檢索。缺點：效率極低、本錢極高、由于進展了版式復原，所以原真率不到98%，而且存儲空間很大而致掃瞄速度降低。適應范圍：①、所載信息貴重且使用頻率很高的資源。②、數(shù)字化工程資金預算充裕且工程實施時間寬松的資源。③、有很好的硬件環(huán)境支持的數(shù)字化工程。六、總質檢插圖、照片的處理以及文本和圖像頁的匹配等質量進展全面檢驗，對于質量達不到要求的進展重掃、補掃等操作。對文本域錄入與文本錄入域的標引、文件的頁號和頁數(shù)進展比照，對掃描前圖像頁的標引與掃描后的圖像頁的編號與頁數(shù)進展比照，覺察不合格的登記清單重處理。對圖像質量的檢查，確保圖像版面清楚，干凈，大小全都，方向全都。4．主要質檢標準：．加工后的電子影像在總數(shù)量、完整性、清楚度上與源文件保持全都。．案卷著錄、按文件的屬性著錄數(shù)據(jù)庫字段，檢查“文件路徑”字段與文件實際存儲位置全都，過失率掌握在千分之五以內。．電子影像檔案件信息定義數(shù)據(jù)過失率掌握在百分之二以內。．電子影像檔案卷內頁碼過失率掌握在千分之一以內。．每頁電子影像左右端正度掌握在三度以內。．電子影像漏掃，壓邊率掌握在千分之一以內。．電子檔案與條目數(shù)據(jù)的掛接全都，過失率小于千分之一以內。七、批量掛接掃描處理后的圖像成品，按年度、機構上傳至檔案專用效勞器，利用檔案治理軟件中的對應掛接功能將掃描圖像信息與錄入到檔案治理軟件系統(tǒng)中的名目進展對應掛接，確保名目與原文的一一對應。掛接到檔案治理系統(tǒng)中區(qū)，進展再次的成品驗收。八、還卷及數(shù)據(jù)備份提交1．原始檔案復原工作嚴格依據(jù)國家檔案局規(guī)定的相關標準和實際狀況進展有序的復原，將復原的檔案資料逐卷細心檢查，確實沒有落頁、掉頁、折頁等問題后再歸還檔案治理人員，經(jīng)雙方認真核實無誤后，在還卷交接單上簽字確認。在數(shù)據(jù)化加工過程中的各項工作記錄，在數(shù)據(jù)轉移完成后、提交給用戶方。為了有效地保護數(shù)據(jù)，因此建立數(shù)據(jù)備份制度，在數(shù)字化加工工程工作完畢，并經(jīng)用戶在終驗報告上簽字確認后，將通過驗收后的數(shù)據(jù)利用用戶軟件DVD光盤中，刻錄完成后再制作一個光盤備份，或用移動硬盤等存儲介質，將全部成品數(shù)據(jù)備份，提交給用戶?？啼浌獗P要求：、光盤制作兩份，制作成檔案數(shù)據(jù)格式為多頁TIFF、同一份文件不跨越二片DVD〔同一份文件頁數(shù)需在同一DVD〕、電子檔案存在于符合標準的單片包裝光盤、光盤標示光盤編號，單片包裝盒上注明光盤內主要信息、在光盤刻錄完成后，與硬盤系統(tǒng)中電子檔案進展一次比對，確保檔案資料無遺漏及正確性。、制作光盤人員對于全部光盤序號進展標記，并提交相應表格。第三節(jié)質量掌握方案和保證措施工程加工總體質量目標：保證合格、爭創(chuàng)優(yōu)良！一、加工質量保障措施嚴格遵照執(zhí)行我方簽定的《不分包、轉包三峽大學檔案數(shù)字化工程承嚴格依據(jù)我方制定的人員和設備投入打算進場加工，確保人員設備供給，為工程進度和質量供給保障。在該工程加工過程中，我方全部現(xiàn)場加工人員均受我公司《數(shù)字化作業(yè)人員質量考核制度》的約束，并擔當相應獎罰結果。二、多環(huán)節(jié)，多層次的質量檢查體系。完整性和即時性；數(shù)據(jù)內容齊全，屬性數(shù)據(jù)輸入準確；與數(shù)據(jù)校對的檔案交接。紙質檔案實體完整，還案準時無誤。對數(shù)據(jù)遷移的質量檢查，主要內容：遷移后的數(shù)據(jù)的完整性準確性；對數(shù)據(jù)進展組合查詢并且結果正確；對數(shù)據(jù)進展匯總統(tǒng)計并輸出標準表格，試運行無死機現(xiàn)象。在完成以上每個環(huán)節(jié)后，檢查人員將其數(shù)據(jù)再次進展一遍全面的復查，尤其對檢查記錄單上更正后的錯誤進展認真的檢查，確保掃描得來的數(shù)據(jù)與源文件內容完全全都。實施工程負責人對成品數(shù)據(jù)進展百分之十的抽查，在抽查時將該查數(shù)據(jù)的年度、保管期限、全宗號、卷號、卷內挨次號等名目信息是否準確無誤，再對獵取圖像數(shù)據(jù)的亮度、歪斜、是否錯頁等方面進展抽查，如有不合格的數(shù)據(jù)準時進展統(tǒng)計和修正，確保最終數(shù)據(jù)的準確無誤。三、階段性驗收與終驗相結合的嚴格驗收程序是質量掌握的終極保障。階段驗收報告工程名稱工程名稱工程編號報告人時間工程負責人所處階段段工程狀態(tài)參數(shù)監(jiān)控狀況工程狀態(tài)打算狀況實際狀況偏差掃描訂正措施工程進度工程工作量〔人時〕工程規(guī)模工程外工作量狀況描述〔非工程工作〕其他工作中遇到問題及困難：需要用戶支持與協(xié)作：用戶意見：用戶簽字：簽字日期：終驗報告工程名稱工程名稱工程編號報告人時間工程負責人第〔〕階段本階段工程完成狀況本階段工程完成狀況驗收工程完成狀況備注檔案整理〔卷〕檔案掃描〔A4頁，A3頁，其他頁〕圖像處理〔卷頁〕索引名名目入〔條〕全部報表輸出〔卷〕資料裝訂〔卷，件〕內部驗收〔頁〕名目與圖像文件的連接數(shù)據(jù)是否上傳到效勞器數(shù)據(jù)備份年月階段的成品驗收，乙方所供給的數(shù)據(jù)根本滿足甲方的要求，甲方同意通過驗收，進入下一個工作階段。用戶簽字：日期：工程經(jīng)理簽字：日期：第四節(jié)安全保密掌握一、為了確保采集數(shù)據(jù)不外泄，在開頭進展數(shù)字化加工后，我公司將不允許加工人員攜帶任何存儲介質進出加工現(xiàn)場。二、為避開采集數(shù)據(jù)在硬盤上的物理磁道上被復原外泄，我公司將使用乙方供給的電腦用于數(shù)據(jù)采集作業(yè)。三、電腦上全部的可以讀寫存儲介質的接口，自進場之日起即貼上封條，直到工程完工。四、為避開數(shù)據(jù)采集過程中數(shù)據(jù)通過網(wǎng)絡外泄，我公司在加工期間將關閉外網(wǎng)，只使用局域網(wǎng)完成數(shù)字化作業(yè)。五、為了建立并嚴格落實安全保密制度，保證檔案資料的安全保密性，做到確定不外泄任何信息。保密協(xié)議將同加工合同同時簽定并成為合同不行分割的一局部。見附件。附件：保密協(xié)議保密協(xié)議甲方：地址：乙方：武漢寶和人通數(shù)字科技地址：武漢市武昌區(qū)街道口阜華大廈B1702鑒于甲方托付乙方擔當其檔案資料的數(shù)字化加工效勞，乙方可能接觸到甲方某些非公開的，涉密的文件、檔案和資料，為了維護