檔案數字化加工方案

1、檔案室、檔案館館藏檔案掃描、數字化加工整體解決方案 目 錄第一節(jié)質數字化加工作業(yè)前期準備1一、數字化工作人員準備1二、數字化工作軟件、硬件準備4三、確定數字化內容、數量及用戶需求5第二節(jié)數字化加工流程及主要技術方案6一、入庫提卷、拆卷6二、標引著錄7三、檔案掃描8四、圖像處理11五、全文OCR、生成雙層pdf、板式還原及格式12六、總質檢14七、批量掛接15八、還卷及數據備份提交15第三節(jié)質量控制方案和保證措施17一、加工質量保障措施17二、多環(huán)節(jié)，多層次的質量檢查體系17三、階段性驗收與終驗相結合的嚴格驗收程序是質量控制的終級保障19第四節(jié)安全保密控制21保密協(xié)議22第五節(jié) 售后服務24項目

2、背景隨著全國文化信息資源共享工程與中國數字圖書館工程的起動，信息化已成為國際潮流，信息資源建設成為當務之急。信息資源建設的重點是電子文獻、各類數據庫、網絡資源、電子檔案、電子圖書等新型數字化信息資源的建設。在數字化信息資源建設中，很大的一個需求是將現有的紙介質印刷品數字化，使之成為能夠用計算機閱讀、理解、查詢、檢索的電子文件，最終將其應用于數據庫存儲，或通過CD-ROM、Internet網進行出版，或上傳數字檔案館供用戶使用。以傳統(tǒng)紙張為載體的保存方式，占據了大量的空間，需要特殊的環(huán)境，而且不方便查詢，隨著時間的推移，還面臨著腐蝕、老化等問題。而將紙介質文件信息進行電子化處理，保存到光盤上，具

3、有存儲、管理、共享等功能，還可以減少文件庫房占地，節(jié)省保管設備和人員方面開支，又方便統(tǒng)計和進行遠程查詢。因此，將檔案、期刊、文件等資料通過掃描儀，掃描成圖像文件，再通過處理轉換成電子文檔，建立目錄和索引，制作成電子文件，已是當務之急。第一節(jié) 數字化加工作業(yè)前期準備一數字化工作人員準備1 .甲方人員職務：現場交接管理人員人數要求：一名專業(yè)要求：為學校檔案館負責檔案管理工作的技術或管理人員。職責范圍：.負責與乙方的檔案提卷和還卷等交接工作，協(xié)同甲方人員作好交接清單記錄并簽字。.負責監(jiān)督乙方規(guī)范化加工。隨時把握乙方加工進度并進行協(xié)調。.及時關注并抽查乙方加工質量代表甲方與乙方進行及時的溝通及問題協(xié)調

4、，確保項目順利完工。2 乙方人員2.1管理人員主要為：熟悉現場加工管理，熟悉數字化整體作業(yè)流程，具有較強組織能力和現場管理及溝通能力的乙方負責人。2.2工程技術人員主要為：熟悉計算機軟、硬件技術，了解檔案數據庫標準和系統(tǒng)開發(fā)。了解檔案管理等相關專業(yè)知識的乙方技術部技術支持工程師。2.3 數據采集作業(yè)員主要為：了解檔案數據庫數據標準和計算機軟件應用等相關知識的乙方數字化制作部工作人員。職務職責人員備注管理人員項目負責人1 負責人員，資源的調配工作。2 負責施工組織設計、管理。3 負責施工條件的保障及與甲乙雙方關于項目進展狀態(tài)的匯報和協(xié)調工作。1人項目負責人不一定要常駐現場，但要通過一切通訊手段和

5、定期到現場的督導，切實做到對該項目加工進度和加工質量的掌控現場主管1.負責與乙方的檔案提卷和還卷等交接工作2.負責現場的人員管理和加工管理3.負責數據的終驗和掛接4.配合項目負責人做好與乙方的溝通協(xié)調工作。1人數據采集人員著錄人員負責將檔案卷內目錄及其它索引信息進行手工錄入為電子數據信息并校對1人掃描人員負責按制定的技術規(guī)范將檔案資料掃描1人圖像處理人員1.去污：將掃描獲取的圖像進行圖像去污;去黑邊及去雜點等；2.糾偏：將偏斜的圖像進行糾正處理;3.文字處理：將不清楚的文字進行加深或變淺；4.拼接：將頁面較大的圖像進行拼接處理；1人在進行圖像處理的時候，肯定是逐頁處理，所以要留意每一頁掃描的質

6、量，發(fā)現掃描質量問題立即發(fā)還上一工序重掃并作好記錄。圖像矢量化人員1.負責將處理好的圖像進行全文識別、2.校對、板式還原和格式轉換3.對已經產生的成品數據進行初驗后移交給現場主管終驗并掛接。1-3人矢量化人員最終定員需結合矢量化的圖形數量和采集難度。人員安排見表3-1二. 數字化工作軟、硬件準備1配備硬件數量及檔次要視數據采集工作情況及數據量大小。2甲方提供PC機4-6臺給乙方作為采集作業(yè)使用，其他硬件設備由乙方自行解決。3場地:甲方提供。4辦公用具：甲方提供打印機（以實際用量為標準）辦公桌椅檔案資料的裝訂及打印機所用的全部耗材。5.其他條件：提供電力和飲水。軟硬件準備詳見表3-2表3-2 軟

7、、硬件配備列表軟、硬件名稱數量詳細配置響應時間提供方綜合檔案管理系統(tǒng)一套1 需支持全文檢索使用功能。2 支持TIFF和PDF格式數據的批量掛接功能。項目開始需到位甲方數字化流程管理和加工軟件、OCR軟件全套能滿足本加工項目所有的技術要求項目開始需到位乙方服務器一臺項目開始需到位甲方掃描儀（A3幅面）一臺富士通 A3幅面FI-4750C(ADF)項目開始需到位乙方掃描儀（A4幅面）一臺A4幅面虹光-FB6030(平板)項目開始需到位乙方計算機4-6套PC機項目開始需到位甲方三. 確定數字化內容、數量及用戶需求在數據采集之前，首先要客觀真實統(tǒng)計數字化內容和數量，確定用戶使用需求，然后制定對應方案和

8、技術控制以便準確地進行施工安排。表3-3 三峽大學檔案館檔案數字化用戶需求調研表檔案類型檔案數量數字化準備情況紙張及保存情況用戶需求備注招生名冊約 件約 面學籍檔案約 件約 面學生成績約 件約 面黨群檔案約 件約 面基建檔案約 件約 面科研檔案約 件約 面其它：約 件約 面窗體底端填表人 職務 第二節(jié) 數字化加工流程及主要技術方案檔案數字化加工主要流程包括：提卷-拆卷-檔案著錄-掃描-圖像處理-OCR-校對-版式還原-轉雙層PDF-終驗-掛接。 圖一 檔案數字化加工流程圖一、 入庫提卷、拆卷1. 從檔案室移交檔案，嚴格執(zhí)行原始檔案的交接手續(xù)，使用雙方項目負責人確認的檔案交接清單（完成清點登記）

9、。2. 檔案整理：編寫頁碼、核對紙質檔案頁碼、對可拆釘的文件做拆釘處理以適應掃描的要求、對需要修復的檔案進行歸并整理（如果發(fā)現破損嚴重，無法直接進行掃描的檔案，應先進行技術修復、折皺不平影響掃描質量的原件應先進行相應處理后再進行掃描，發(fā)現破損嚴重的檔案須立即報知項目相關負責人）制作卷內目錄，掃描文件抽取3按照掃描處理量明確交接周期和檔案交接量（雙方項目負責人簽字，以保在施工過程中檔案不損失、不丟失。）4裝訂案卷應保證裝訂牢固，案卷整齊，卷內材料不松動，脫落，保持與原案卷一致。圖二二、 標引著錄按要求將文件所需信息錄入到軟件數據庫里，標引著錄按照國家檔案局有關標準結合用戶檔案著錄的具體要求進行。

10、1. 錄入方式采用手工錄入的方式2. 校對方式校對以軟件校對和打印輸出、對比校對相結合，錯誤率在萬分之二以下。案卷目錄和卷內目錄按照檔案的原始數據錄入。卷案目錄和卷內目錄的樣式經用戶同意可做相應調整。對檔案目錄數據修改和補充的數據，須填寫更改資料、更改資料放入原案卷內，卷內目錄及其他不全的需補充完整。三、 檔案掃描1. 掃描方式：根據檔案幅面的大小選擇相應規(guī)格的掃描儀或專業(yè)掃描儀進行掃描。大幅面檔案可采用加長式掃描或者圖像拼接處理方式處理，同一頁面有兩個以上文件，需分別掃描。2.掃描色彩模式：以黑白二值掃描為主，附有灰度（彩色）照片及原件分明度很低的檔案，可視情況采取灰度和24位真彩色掃描。然

11、后以黑白二值保存。例：藍底招生名冊，此種檔案長見為A3幅面、紙張很薄，底色與文字的分明度很低。實物檔案查看時都顯吃力，此種檔案如果用黑白二值掃描，則會出現大幅暗面，文字顯現不清；如果使用彩色掃描，文字部分明度很低。只有使用灰度掃描，效果相對好一些，如圖三。掃描后的圖像再輔以黑白二值保存，則最大限度的提高了圖像質量，如圖四。 圖三 灰度掃描效果 圖四 保存為黑白值后的效果3.分辨率：無全文檢索需求的文檔分辨率調整為200DPI最為合適。需要全文檢索而做ocr識別的文檔，黑白二值掃描分辨率最佳為400dpi，此分辨率下識別成功率最高。24位真彩色掃描分辨率標準為200dpi。4圖像文件的大?。汉诎?/p>

12、二值掃描A3頁面：20K40K；灰度或彩色掃描A3頁面：100150K。5如遇字間距和行間距過密、原件本身是復印件等字跡不清楚的情況，可適當增加掃描的分辨率，但要保證圖像清晰的同時，又不影響遠程查詢和瀏覽的速度。6清晰度：掃描圖像字跡清晰、顏色恰當，不宜過淺或過深，并且不得出現字跡筆畫殘缺或字跡筆畫疊合而影響閱讀的情況，即使原檔案存在銹斑變質、顏色過淺或深淺不一致，也保證掃描圖像可讀，掃描留下的墨跡寬度不得超過0.5厘米，并且指印和黑線不能覆蓋或影響正文內容。7根據檔案實體情況，在檔案電子文件中相對應目錄設置“復制件”、“原件不清”標志。目錄以原有檔案目錄為準，在實際處理過程中著有未歸類的新目

13、錄?？筛鶕闆r修改目錄，增加或調整標準目錄，對檔案原目錄數據修改或補充的數據，需填寫更改資料，更改資料放入原案卷內，能實現一條目錄對應多個圖像和一個圖像對應多條目錄的編目。8圖像內容：8.1實時在屏幕上監(jiān)控掃描全過程，遇有漏掃、重張，圖像黑邊、偏斜、折角、不清晰等情況，則進行重掃或補掃。8.2檢查掃描件是否合乎要求，掃描圖像必須與原圖頁面一一對應，不得出現顛倒、缺頁、重頁或錯頁情況，不能有遺漏、重復，掃錯的現象8.3掃描的頁面內容居中顯示，不可出現明顯偏左或偏右的現象，正文內容、頁眉、頁腳、反面印章、附件、手寫注釋等信息完整；圖像內容與書本面完全對應，不得出現書頁內容殘缺或將旁邊頁面信息掃入本

14、頁的現象。（對圖像黑邊、偏斜、折角、不清晰等情況進行處理，以達到用戶需求）8.4紙張較差檔案掃描方案：由于進行數字化的檔案會有部分為歷史檔案，紙張質量比較差，對于這部分紙張質量較差的歷史檔案掃描，我們本著以下原則：8.4.1保證檔案安全。紙張較差的檔案多為破損檔案，對于破損檔案更應該在生產流程中加以特殊對待，不能造成二次破壞。保證檔案的安全是第一要務。因此，在處理紙張較差的檔案時，不允許使用蘸水防滑等有破壞檔案可能性的操作方法。8.4.2保證掃描質量。歷史檔案之所以進行檔案數字化，其中最主要的目的之一就是搶救這部分歷史檔案，今后在應用這部分檔案時，盡量避免人為翻閱歷史檔案而給檔案造成二次傷害，

15、而應使用電子系統(tǒng)，使用掃描件。這樣檔案掃描的質量要盡可能的清晰、干凈，盡可能的恢復歷史原貌，這對掃描質量的要求很高。8.4.3高效高質的完成任務。9. 掃描登記：認真填寫紙質檔案數字化轉換過程交接登記表單，登記掃描的頁數，核對每份文件的實際掃描頁數與檔案整理時填寫的文件頁數是否一致，不一致時應注明具體原因和處理方法。四、 圖像處理1. 逐張檢查圖像質量（包括黑邊、折角、圖像偏斜度、清晰度、失真度等進行檢查，發(fā)現不符合圖像質量要求時，應重新進行圖像處理），檔案順序（頁號）是否正確，有無漏掃、重張等情況（發(fā)現文件漏掃時，應及時補掃并正確插入圖像。發(fā)現掃描圖像的排列順序與檔案原件不一致時，應及時進行

16、調整。）2. 糾偏：圖像整體傾斜不得超過1度，不得出現圖像的一部分傾斜或扭曲而影響閱讀的現象。如果檔案頁面存在部分傾斜的，以頁面中標題糾正為準。3去污：所有掃描留下的黑線、指印、陰影或污點都必須清除干凈（在放大50%的情況下）由于印刷質量或紙張質量等造成的頁面上有零星的污點和反面倒映文字污點比較多，如果在頁面視圖下看不清楚，或該污點嵌在文本行中無法清除，可以不清除，但應盡量保證圖像可讀。4全文頁面及局部文字的加深和變淺的處理：原始檔案的清晰度較低時，可提高圖像的清晰度，修正原資料中存在的字間距和行間距過密，文字較深或較淺，字跡不清楚的缺陷，確保文字及圖像信息清晰可辨。5圖像拼接：對大幅面檔案進

17、行分區(qū)掃描形式的多幅圖像，應進行拼接處理，合并為一個完整的圖像，以保證檔案數字化圖像的整體性和數字化檔案的準確可讀。6照片頁處理：必要時采用專業(yè)的圖像處理軟件進行處理，確保照片的清晰度。7圖像存儲：存儲格式以G-4壓縮TIFF格式保存。A4幅面檔案保存文件不得大于100K；其他幅面檔案掃描形成文件在保證影像質量的前提下，盡量縮小文件占用空間。掃描文件存儲命名必須與條目檔案號一一對應。五、 全文識別（OCR）及生成雙層pdf、版式還原及格式轉換將掃描處理完成后的文檔利用專業(yè)的識別軟件進行全文OCR，如甲方對識別成功率有嚴格要求的，還需另外進行人工校對，校對結束后將版式還原及轉換成雙層PDF文件格

18、式。根據用戶對識別率的要求，可選擇性進行人工校對。進行人工校對和不進行校對的優(yōu)缺點對比：1不進行人工校對：其原理是在單層PDF的基礎上利用計算機軟件進行全文OCR識別后生成雙層PDF文件。從而激活了圖片中所反映的文字，而達到提取文字和利用原文所包含的文字進行檢索的目的。但是不進行人工校對和版式還原，識別的準確率取決于原始資源的情況及保存現狀。優(yōu)點：效率高、成本低、能利用原文檢索瀏覽速度快。缺點：識別準確率取決于原件的質量，所以準確率不穩(wěn)定。適應范圍：、原件版面干凈及保存完好的資源。（準確率可達95%以上）、原文中只含部份核心檢索內容的資源。（如學籍檔案，檢索的重點只是圍繞學生的身份信息）2進行

19、人工校對：其原理是在OCR的基礎上，為了確保識別的準確率而增加了人工校對和版式還原的工序。可實現無障礙的全文檢索。優(yōu)點：全文檢索無差錯，準確率可達99%，且文本層和圖像層一一對應。缺點：效率極低、成本極高、因為進行了版式還原，所以原真率不到98%，而且存儲空間很大而致瀏覽速度降低。適應范圍：、所載信息珍貴且使用頻率很高的資源。、數字化項目資金預算充裕且項目實施時間寬松的資源。、有很好的硬件環(huán)境支持的數字化項目。六、 總質檢1. 對掃描處理完成后的圖像頁進行檢驗，對檔案拆分、掃描、修正、去污、插圖、照片的處理以及文本和圖像頁的匹配等質量進行全面檢驗，對于質量達不到要求的進行重掃、補掃等操作。2.

20、 對文本域錄入與文本錄入域的標引、文件的頁號和頁數進行對比，對掃描前圖像頁的標引與掃描后的圖像頁的編號與頁數進行對比，發(fā)現不合格的登記清單重新處理。3. 對圖像質量的檢查，確保圖像版面清晰，干凈，大小一致，方向一致。4主要質檢標準：4.1加工后的電子影像在總數量、完整性、清晰度上與源文件保持一致。4.2案卷著錄、按文件的屬性著錄數據庫字段，檢查“文件路徑”字段與文件實際存儲位置一致，差錯率控制在千分之五以內。4.3電子影像檔案件信息定義數據差錯率控制在百分之二以內。4.4電子影像檔案卷內頁碼差錯率控制在千分之一以內。4.5每頁電子影像左右端正度控制在三度以內。4.6電子影像漏掃，壓邊率控制在千

21、分之一以內。4.7電子檔案與條目數據的掛接一致，差錯率小于千分之一以內。七、 批量掛接1掃描處理后的圖像成品，按年度、機構上傳至檔案專用服務器，利用檔案管理軟件中的對應掛接功能將掃描圖像信息與錄入到檔案管理軟件系統(tǒng)中的目錄進行對應掛接，確保目錄與原文的一一對應。2掛接到檔案管理系統(tǒng)中區(qū)，進行再次的成品驗收。八、 還卷及數據備份提交1原始檔案還原工作嚴格按照國家檔案局規(guī)定的相關標準和實際情況進行有序的還原，將還原的檔案資料逐卷精心檢查，確實沒有落頁、掉頁、折頁等問題后再歸還檔案管理人員，經雙方仔細核實無誤后，在還卷交接單上簽字確認。2在數據化加工過程中的各項工作記錄，在數據轉移完成后、提交給用戶

22、方。3為了有效地保護數據，因此建立數據備份制度，在數字化加工項目工作結束，并經用戶在終驗報告上簽字確認后，將通過驗收后的數據利用用戶軟件的光盤制作功能刻錄成光盤，刻錄到DVD光盤中，刻錄完成后再制作一個光盤備份，或用移動硬盤等存儲介質，將所有成品數據備份，提交給用戶。4刻錄光盤要求：4.1、光盤制作兩份，制作成檔案數據格式為多頁TIFF的光盤單盤調閱。4.2、同一份文件不跨越二片DVD片號（同一份文件頁數需在同一DVD內）4.3、電子檔案存在于符合標準的單片包裝光盤4.4、光盤標示光盤編號，單片包裝盒上注明光盤內主要信息4.5、在光盤刻錄完成后，與硬盤系統(tǒng)中電子檔案進行一次比對，確保檔案資料無

23、遺漏及正確性。4.6、制作光盤人員對于所有光盤序號進行標記，并提交相應表格。第三節(jié) 質量控制方案和保證措施項目加工總體質量目標：保證合格、爭創(chuàng)優(yōu)良！一、 加工質量保障措施1 嚴格遵照執(zhí)行我方簽定的不分包、轉包三峽大學檔案數字化項目承諾書，避免項目轉包、分包引起的管理混亂和質量風險。2 嚴格按照我方制定的人員和設備投入計劃進場加工，確保人員設備供應，為項目進度和質量提供保障。3 在該項目加工過程中，我方所有現場加工人員均受我公司數字化作業(yè)人員質量考核制度的約束，并承擔相應獎罰結果。二、 多環(huán)節(jié)，多層次的質量檢查體系。1. 對檔案簽收和屬性數據錄入的質量檢查，主要內容：檔案簽收的準確性，完整性和即

24、時性；數據內容齊全，屬性數據輸入準確；與數據校對的檔案交接。2. 對數據校對處理的質量檢查，主要內容：校對后的數據內容齊全，正確；紙質檔案實體完整，還案及時無誤。3. 對數據遷移的質量檢查，主要內容：遷移后的數據的完整性準確性；對數據進行組合查詢并且結果正確；對數據進行匯總統(tǒng)計并輸出標準表格，試運行無死機現象。4. 在完成以上每個環(huán)節(jié)后，檢查人員將其數據再次進行一遍全面的復查，尤其對檢查記錄單上更正后的錯誤進行仔細的檢查，確保掃描得來的數據與源文件內容完全一致。5. 實施項目負責人對成品數據進行百分之十的抽查，在抽查時將該查數據的年度、保管期限、全宗號、卷號、卷內順序號等目錄信息是否準確無誤，

25、再對獲取圖像數據的亮度、歪斜、是否錯頁等方面進行抽查，如有不合格的數據及時進行統(tǒng)計和修正，確保最終數據的準確無誤。三、 階段性驗收與終驗相結合的嚴格驗收程序是質量控制的終極保障。階段驗收報告項目名稱項目編號報告人時間項目負責人所處階段項目狀態(tài)參數監(jiān)控情況項目狀態(tài)計劃情況實際情況偏差掃描糾正措施項目進度項目工作量（人 時）項目規(guī)模項目外工作量情況描述（非項目工作）其他工作中遇到問題及困難：需要用戶支持與配合：用戶意見： 用戶簽字：簽字日期：終驗報告項目名稱項目編號報告人時間項目負責人第（ ）階段本階段項目完成情況驗收項目完成情況備注檔案整理（ 卷）檔案掃描（A4 頁， A3 頁，其他 頁）圖像處

26、理（ 卷 頁）索引目錄錄入（ 條）全文OCR所有報表輸出（ 卷）資料裝訂（ 卷， 件）內部驗收（ 頁）目錄與圖像文件的銜接數據是否上傳到服務器數據備份本階段驗收結論：雙方于 年 月 日，進行了檔案數字化工作的第 階段的成品驗收，乙方所提供的數據基本滿足甲方的要求，甲方同意通過驗收，進入下一個工作階段。用戶簽字： 日期： 項目經理簽字： 日期：第四節(jié) 安全保密控制一、 為了確保采集數據不外泄，在開始進行數字化加工后，我公司將不允許加工人員攜帶任何存儲介質進出加工現場。二、 為避免采集數據在硬盤上的物理磁道上被還原外泄，我公司將使用乙方提供的電腦用于數據采集作業(yè)。三、 電腦上所有的可以讀寫存儲介質

27、的接口，自進場之日起即貼上封條，直到工程完工。四、 為避免數據采集過程中數據通過網絡外泄，我公司在加工期間將關閉外網，只使用局域網完成數字化作業(yè)。五、 為了建立并嚴格落實安全保密制度，保證檔案資料的安全保密性，做到絕對不外泄任何信息。保密協(xié)議將同加工合同同時簽定并成為合同不可分割的一部分。見附件。附件：保密協(xié)議保密協(xié)議甲方：地址：乙方：數字科技有限公司地址：鑒于甲方委托乙方承擔其檔案資料的數字化加工服務，乙方可能接觸到甲方某些非公開的，涉密的文件、檔案和資料，為了維護甲方資料的安全，保守國家秘密，乙方同意在整理檔案中涉及大量的重要的檔案材料承擔保密義務，并遵守如下保密規(guī)定：1， 乙方同意上訴須保密的文件和資料承擔保密義務，數字化期間保證上訴文件和資料秘密安全，不得以