DA／T31-2005紙質(zhì)檔案數(shù)字化技術(shù)規(guī)范

1、紙質(zhì)檔案數(shù)字化技術(shù)規(guī)范DA/T31-20051范圍本標(biāo)準(zhǔn)規(guī)定了紙質(zhì)檔案數(shù)字化的主要技術(shù)要求。本標(biāo)準(zhǔn)適用于用掃描儀對(duì)各種紙質(zhì)檔案的數(shù)字化加工處理。2規(guī)范性引用文件下列文件中的條款通過(guò)本標(biāo)準(zhǔn)的引用而成為本標(biāo)準(zhǔn)的條款。凡是注日期的引用文件，其隨后所有的修改單(不包括勘誤的內(nèi)容)或修訂版均不適用于本標(biāo)準(zhǔn)，然而，鼓勵(lì)根據(jù)本標(biāo)準(zhǔn)達(dá)成協(xié)議的各方研究是否可使用這些文件的最新版本。凡是不注日期的引用文件，其最新版本適用于本標(biāo)準(zhǔn)。GBT 17235.1 連續(xù)色調(diào)靜態(tài)圖像的數(shù)字壓縮編碼GBT 17235.2 連續(xù)色調(diào)靜態(tài)圖像的數(shù)字壓縮編碼GBT 18894?2002 電子文件歸檔與管理規(guī)范ITU(CCITT)G3

2、二值圖像壓縮算法ITU(CCITT)G4 二值圖像壓縮算法DAT18?1999 檔案著錄規(guī)則檔案管理軟件功能要求暫行規(guī)定國(guó)家檔案局檔發(fā)20016號(hào)3 術(shù)語(yǔ)和定義下列術(shù)語(yǔ)和定義適用于本標(biāo)準(zhǔn)。3.1數(shù)字化 Digitization用計(jì)算機(jī)技術(shù)將模擬圖像轉(zhuǎn)換為數(shù)字圖像的處理過(guò)程。3.2紙質(zhì)檔案數(shù)字 化Digitization of Paper?Based Records對(duì)普通(黑色字跡清晰)的油印、鉛印、膠印等印刷件或復(fù)印件紙質(zhì)檔案進(jìn)行數(shù)字化及應(yīng)用的過(guò)程。33數(shù)字圖像 Digital Image表示景物圖像的整數(shù)陣列。一個(gè)二維或更高維的采樣并量化的函數(shù)，由相同維數(shù)的連續(xù)圖像產(chǎn)生。在矩陣(或其他)網(wǎng)絡(luò)

3、上采樣一連續(xù)函數(shù)，并在采樣點(diǎn)上將值最小化后的陣列。34黑白二值圖像 Binary Image只有黑白兩級(jí)灰度的數(shù)字圖像。它對(duì)應(yīng)于黑和白的兩種狀態(tài)文字稿、線條圖、指紋圖等。35連續(xù)色調(diào)靜態(tài)圖像 Continuous?tone Still Image以多于兩級(jí)灰度的不同濃淡層次或以不同顏色通道組合成的靜態(tài)數(shù)字圖像。36失真度 Distortion Measure對(duì)檔案原件進(jìn)行數(shù)字化轉(zhuǎn)換后，在同等測(cè)試環(huán)境下，數(shù)字圖像與檔案原件色彩、幾何、壓縮算法等差值。37可懂度 intelligibility表示數(shù)字圖像向人或機(jī)器提供信息的能力。38清除圖像冗余或?qū)D像近似的任一種過(guò)程，其目的是對(duì)圖像以更緊湊的形

4、式表現(xiàn)。3. 9 分辨率Resolution指單位長(zhǎng)度內(nèi)圖像包含的點(diǎn)數(shù)或像素?cái)?shù)。3.10TIFF Tagged Tmage File Format標(biāo)記圖像文件格式。一種基于標(biāo)記的無(wú)損（不丟失信息）壓縮格式，用于在應(yīng)用程序之間和計(jì)算機(jī)平臺(tái)之間交換文件。因?yàn)樗鎯?chǔ)圖像細(xì)微層次的信息非常多，圖像的質(zhì)量也得以提高，故而非常有利于原件為黑白檔案的復(fù)制儲(chǔ)存。3.11 JPEG Joint photographic Experts Group聯(lián)合照片專家組。一種丟失少量信息的壓縮格式，尤其適用于屏幕和打印顯示，支持所有主要計(jì)算機(jī)平臺(tái)和Web瀏覽器。JPEG格式文件小，影像質(zhì)量多數(shù)情況下均可接受?？紤]儲(chǔ)存空間

5、及傳輸效率，原件為彩色的檔案可遷此格式復(fù)制儲(chǔ)存。4 數(shù)字化基本流程紙質(zhì)檔案數(shù)字化的基本流程主要包括案卷整理、目錄建庫(kù)、批量掃描、數(shù)據(jù)處理、信息存儲(chǔ)、檢索利用等工序。41 案卷整理對(duì)需要掃描的案卷進(jìn)行適當(dāng)整理，做出標(biāo)識(shí)。42 目錄建庫(kù)為數(shù)字化的檔案檢索而建立必要的目錄數(shù)據(jù)庫(kù)。43 批量掃描按照檔案數(shù)字化具體任務(wù)的整體安排按計(jì)劃分批次進(jìn)行掃描。44 數(shù)據(jù)處理441 對(duì)掃描圖像進(jìn)行校對(duì)，確保圖像完整無(wú)誤，并視需要對(duì)有問(wèn)題的掃描圖像進(jìn)行糾偏、去污、拼接等技術(shù)處理。442 對(duì)裸數(shù)據(jù)進(jìn)行驗(yàn)收前的相應(yīng)處理，包括文件的格式轉(zhuǎn)換、邏輯分盤處理、添加說(shuō)明性文件，以及數(shù)據(jù)的掛接、檢驗(yàn)、上載、質(zhì)量檢查和備份。45 信

6、息存儲(chǔ)根據(jù)不同的掃描圖像選擇適當(dāng)數(shù)據(jù)格式、編碼方式和存儲(chǔ)介質(zhì)對(duì)信息進(jìn)行保存。46 檢索利用按用戶需求提供檢索利用。5 案卷整理在批量掃描之前，按下述步驟對(duì)案卷進(jìn)行整理，確保檔案數(shù)字化質(zhì)量。51 分件511 把同一案卷中的掃描件和非掃描件分開(kāi)。512 在掃描件中將大圖、照片插入指示頁(yè)，便于掃描工序批量掃描，實(shí)際圖像放在圖像處理時(shí)進(jìn)行重掃，替換指示頁(yè)。513 填寫(xiě)數(shù)據(jù)加工過(guò)程處理單(見(jiàn)附錄A)，對(duì)需要特殊處理的頁(yè)，標(biāo)識(shí)清楚。52 分頁(yè)對(duì)批量掃描前的檔案進(jìn)行頁(yè)號(hào)、件號(hào)的標(biāo)注。如在標(biāo)注中與原檔案中的件數(shù)、頁(yè)號(hào)不一致，應(yīng)以此為準(zhǔn)。53 拆卷去除檔案中原來(lái)的裝訂物，以便后續(xù)掃描工作的進(jìn)行。54 裝卷按檔案

7、保管要求恢復(fù)原裝訂。6 建目錄庫(kù)61 目錄著錄根據(jù)DAT18確定檔案著錄項(xiàng)，并進(jìn)行著錄。62 數(shù)據(jù)格式選擇所選定的數(shù)據(jù)格式通用，應(yīng)能直接或間接與DBF文件格式或通過(guò)XML文檔進(jìn)行數(shù)據(jù)交換。63 目錄輸入將著錄好的目錄輸入計(jì)算機(jī)內(nèi)，建立機(jī)讀目錄數(shù)據(jù)庫(kù)。7 批量掃描71 掃描方式紙質(zhì)檔案掃描可采用黑白二值圖像和連續(xù)色調(diào)圖像兩種方式。711 頁(yè)面為單色文字的紙質(zhì)檔案，宜采用黑白二值圖像掃描；頁(yè)面為多色文字圖像的檔案文件，可采用連續(xù)色調(diào)圖像掃描。712 字跡清晰、不帶圖片的檔案材料，采用黑白二值圖像掃描；清晰度較差或帶有圖片的檔案材料，可采用連續(xù)色調(diào)圖像掃描。72 分辨率選擇721 單色頁(yè)面檔案文件，

8、掃描分辨率一般建議選擇100200dpi。722 彩色頁(yè)面檔案文件，掃描分辨率可選擇100dpi以上參數(shù)值進(jìn)行。723 大幅面檔案文件，如工程圖紙、報(bào)紙等尺寸超過(guò)A3的，可選用大幅面圖像掃描儀(如A0)、大幅面數(shù)碼平臺(tái)、縮微照像后膠片數(shù)字轉(zhuǎn)換，也可以采用小幅面掃描后的圖像拼接。掃描分辨率應(yīng)選擇1OOdpi以上。724 需要時(shí)可根據(jù)原件的清晰度適當(dāng)調(diào)整掃描分辨率。如原件質(zhì)量較差且尺寸較小，可適當(dāng)提高分辨率；反之也可相應(yīng)減少分辨率，增減的多少以掃描后圖像按原尺寸顯示后是否清晰為準(zhǔn)。73 特殊頁(yè)面的掃描731 粘貼頁(yè)與表格對(duì)于粘貼折頁(yè)，可用大幅面掃描儀掃描，或先分部掃描后拼接；對(duì)部分字體很小、字跡密

9、集的情況，可適當(dāng)提高掃描分辨率，選擇灰度掃描或彩色掃描，采用局部深化技術(shù)解決；對(duì)字跡與表格顏色深度不同的，采用局部淡化技術(shù)解決732 一般文本流程圖采用適當(dāng)?shù)姆直媛蕭呙杓熬植可罨夹g(shù)，確保文本流程圖清晰。同時(shí)采用不同設(shè)備滿足文本流程圖的掃描工作。733 插圖采用高分辨率灰度或彩色掃描技術(shù)將插圖與文字一起掃描，保證原來(lái)的頁(yè)面布局和插圖清晰。73. 4照片對(duì)于頁(yè)面中有黑白或彩色照片的文件，采用JPEG格式掃描，確保照片清晰度，同時(shí)可避免圖像存儲(chǔ)空間過(guò)大。74 文件命名方式741 建立文件夾掃描時(shí)文件夾的建立應(yīng)按檔案實(shí)體分級(jí)建立，其中的每一份文件也需要單獨(dú)建立文件夾。742文件夾命名方法，以檔案實(shí)體

10、中的檔號(hào)命名，一般為3位數(shù)，不足3位數(shù)的左邊補(bǔ)“0”。8 數(shù)據(jù)處理81圖像處理811糾偏 對(duì)掃描過(guò)程中出現(xiàn)的偏斜圖像進(jìn)行整體糾正，保證數(shù)字圖像的偏斜角度小于1度。(圖像偏斜不超過(guò)頁(yè)面內(nèi)半個(gè)文字)。812去污 去除數(shù)字圖像中影響可懂度的雜質(zhì)。檔案數(shù)字化圖像的去污，應(yīng)遵循在不影響可懂度的前提下展現(xiàn)原貌的原則。8121局部去污，如去除黑邊、污點(diǎn)。8122整體去污，可一次性去除頁(yè)面上的污漬。813拼接 為保證檔案數(shù)字化圖像的整體性，對(duì)幅面分離的數(shù)字圖像進(jìn)行拼接。814校對(duì)8141一次校對(duì)，檢查掃描完的圖像質(zhì)量情況，對(duì)不合格的圖像進(jìn)行標(biāo)記退回重新掃描。8142糾錯(cuò)處理，根據(jù)一次校對(duì)中提出的諸如污漬、黑邊

11、、偏斜、圖像質(zhì)量等問(wèn)題，結(jié)合數(shù)據(jù)加工過(guò)程處理單(見(jiàn)附錄A)情況，對(duì)每份圖像進(jìn)行相應(yīng)的處理。8143二次校對(duì)，對(duì)一次校對(duì)及數(shù)據(jù)處理后的數(shù)字圖像再次進(jìn)行檢查，并標(biāo)記圖像處理過(guò)程中不清晰的頁(yè)面。不合格的退回重新處理。82數(shù)據(jù)質(zhì)量檢查821文字錄入質(zhì)量 對(duì)錄入域清單上所標(biāo)明的各著錄項(xiàng)的文字錄入進(jìn)行正確率控制，保證錯(cuò)誤率低于3。822圖像質(zhì)量 對(duì)紙質(zhì)文件掃描后形成的圖像文件進(jìn)行清晰度、污漬、黑邊、偏斜等問(wèn)題的控制，以達(dá)到要求的圖像質(zhì)量。保證掃描后的數(shù)字圖像清晰，便于清楚閱讀，適應(yīng)各種紙張和手寫(xiě)、印刷字的情況。83數(shù)據(jù)掛接 檔案條目數(shù)據(jù)與圖像文件的對(duì)應(yīng)準(zhǔn)確程度的控制。在生成裸數(shù)據(jù)光盤之前，根據(jù)資料整理信息

12、、掃描前的標(biāo)引信息及卷內(nèi)文件頁(yè)號(hào)信息核查圖像文件總數(shù)是否與實(shí)際文件數(shù)相等，如不相等則不能生成裸數(shù)據(jù)光盤，可打印出清單，回退給圖像處理人員補(bǔ)掃。84數(shù)據(jù)檢驗(yàn)841將裸數(shù)據(jù)進(jìn)行驗(yàn)收前的相應(yīng)處理，包括文件的格式轉(zhuǎn)換、邏輯分盤處理、添加說(shuō)明性文件。842對(duì)數(shù)據(jù)進(jìn)行檢驗(yàn)，給出合格或不合格結(jié)論。843將數(shù)字加工后的數(shù)據(jù)轉(zhuǎn)換為裸數(shù)據(jù)光盤格式，拷貝到活動(dòng)硬盤上。844系統(tǒng)應(yīng)自動(dòng)記錄檢驗(yàn)進(jìn)度。85數(shù)據(jù)上載檔案數(shù)字化各工序的數(shù)據(jù)通過(guò)網(wǎng)絡(luò)及時(shí)上載到數(shù)據(jù)服務(wù)器端匯總，其中數(shù)字圖像自動(dòng)搜索對(duì)應(yīng)的目錄數(shù)據(jù)，加入對(duì)應(yīng)的電子地址數(shù)字圖像文件名，建立起一一對(duì)應(yīng)的關(guān)系。86數(shù)據(jù)備份定期對(duì)服務(wù)器的各類數(shù)據(jù)進(jìn)行備份，防止數(shù)據(jù)丟失。9

13、信息存儲(chǔ) 以JPEG數(shù)字壓縮編碼或TIFF國(guó)際通用標(biāo)準(zhǔn)格式。采用國(guó)際標(biāo)準(zhǔn)的傳真文檔壓縮格式壓縮后，分別按頁(yè)編號(hào)后分頁(yè)存儲(chǔ)。數(shù)字圖像的存儲(chǔ)管理應(yīng)保持原紙質(zhì)檔案的保管模式對(duì)應(yīng)存儲(chǔ)。91壓縮存儲(chǔ)格式 檔案數(shù)字圖像格式采用TIFF和JPEG數(shù)字壓縮編碼。911黑白二值圖像 黑白二值掃描圖像文件采用TIFF（CCITTG3）格式二值圖像壓縮算法，壓縮率就緒（Cr)為15：1。也可采用TIFF（CCIFFG4）格式二值圖像壓縮算法，壓縮率(Cr)為3 O：1。912連續(xù)色調(diào)靜態(tài)圖像 連續(xù)色調(diào)靜態(tài)圖像采用JPEG數(shù)字壓縮編碼，平均壓縮率(cr)為15：1。92編碼方式 應(yīng)盡是采用實(shí)時(shí)操作性強(qiáng)的編碼方式。失真度編碼，用較少的比特率獲得較好的圖像質(zhì)量；無(wú)失真編碼，以低壓縮保持信息的不失真。一般情況下宜采用國(guó)際通用編解碼算法。93存儲(chǔ)方式與載體可選用在線和離線、不同載體進(jìn)行存儲(chǔ)。10檢索利用101檢