四川省档案资料数字化标准本标准根据国家档案局《电子文件归档与管理规范》、《纸质档案数字化技术规范》制定,适用于四川省各级档案馆(室)的数字化工作,其它单位可参照执行。
第一章纸质档案数字化标准1 基本术语解释1.1 数字化指用计算机技术将模拟图像转换为数字图像的处理过程。
1.2 纸质档案数字化对普通(黑色字迹清晰)的油印、铅印、胶印等印刷件或复印件纸质档案进行数字化及应用的过程。
1.3 数字图像表示景物图像的整数阵列。
一个二维或更高维的采样并量化的函数,由相同维数的连续图像产生。
在矩阵(或其他)网络上采样一连续函数,并在采样点上将值最小化后的阵列。
1.4 连续色调静态图像以多于两级灰度的不同浓淡层次或以不同颜色通道组合成的静态数字图像。
1.5 失真度对档案原件进行数字化转换后,在同等测试环境下,数字图像与档案原件色彩、几何、压缩算法等差值。
1.6 可懂度表示数字图像向人或机器提供信息的能力。
1.7 图像压缩清除图像冗余或对图像近似的任一种过程,其目的是对图像以更紧凑的形式表示。
1.8 分辨率指单位长度内图像包含的点数或像素数。
1.9 TIFF 标记图像文件格式。
一种基于标记的无损(不丢失信息)压缩格式,用于在应用程序之间和计算机平台之间交换文件。
因为它存储的图像细微层次的信息非常多,图像的质量也得以提高,故而非常有利于原件为黑白档案的复制储存。
1.10 JPEG 联合照片专家组。
一种丢失少量信息的压缩格式,尤其适用于屏幕和打印显示,支持所有主要的计算机平台和Web浏览器。
JPEG格式文件小,影像质量多数情况下均可接受。
考虑储存空间及传输效率,原件为彩色的档案可选此格式复制储存。
1.11 灰度值指进行灰度扫描时把图像由纯黑到纯白整个色彩区域进行划分的级数,编辑图像时一般都使用到8位,即256级灰度。
1.12 黑白二值图像是与彩色及灰度相对应的一种模式,黑白图在表示图像时只区分黑白二值,他把其它色彩根据其特性转换为黑白两种,因此形成只有两种颜色的图像。
1.13 LZW压缩 LZW压缩是一种比较复杂的压缩算法,其压缩效率也比较高。
它的基本原理为:LZW把每一个第一次出现的字符串用一个数值来编码,在还原程序中再将这个数值还成原来的字符串。
例如:用数值0x100代替字符串“abccddeee”,每当出现该字符串时,都用0x100代替,这样就起到了压缩的作用。
LZW是无损压缩,因此它不会对图像质量造成损失。
2 数字化基本流程纸质档案数字化的基本流程主要包括案卷整理、目录建库、批量扫描、数据处理、信息存储、检索利用等工序。
2.1 案卷整理对需要扫描的案卷进行适当整理,做出标识。
2.2 目录建库为数字化的档案检索而建立必要的目录数据库。
2.3 批量扫描按照档案数字化具体任务的整体安排按计划分批次进行扫描。
2.4 数据处理2.4.1 对扫描图像进行校对,确保图像完整无误,并视需要对有问题的扫描图像进行纠偏、去污、拼接等技术处理。
2.4.2 对裸数据进行验收前的相应处理,包括文件的格式转换、逻辑分盘处理、添加说明性文件,以及数据的挂接、检验、上载、质量检查和备份。
2.5 信息存储根据不同的扫描图像选择适当数据格式、编码方式和存储介质对信息进行保存。
2.6 检索利用按用户需求提供检索利用。
3 案卷整理在批量扫描之前,按下述步骤对案卷进行整理,确保档案数字化质量。
3.1 分件3.1.1 把同一案卷中的扫描和非扫描分开。
3.1.2 在扫描件中将大图、照片插入指示页,便于扫描工序批量扫描,实际图像放在图像处理时进行重扫,替换指示页。
3.1.3 填写《数据加工过程处理单》(见附录A),对需要特殊处理的页,标识清楚。
3.2 分页对批量扫描前的档案进行页号、件号的标注。
如在标注中与原档案中的件数、页号不一致,应以此为准。
3.3 拆卷去除档案中原来的装订物,以便后续扫描工作的进行。
3.4 装卷按档案保管要求恢复原装订。
4 建目录库4.1 目录著录根据DA/T18确定档案著录项,并进行著录。
4.2 数据格式选择所选定的数据格式通用,应能直接或间接与DBF文件格式或通过XML 文档进行数据交换。
4.3 目录输入将著录好的目录输入计算机内,建立机读目录数据库。
5 批量扫描5.1 扫描方式纸质档案扫描可采用黑白二值图像和连续色调图像两种方式。
5.1.1 页面为单色文字的纸质档案,宜采用黑白二值图像扫描;页面为多色文字图像的档案文件,可采用连续色调图像扫描。
5.1.2 字迹清晰、不带图片的档案材料,采用黑白二值图像扫描;清晰度较差或带有图片的档案材料,可采用连续色调图像扫描。
5.2 分辨率选择5.2.1 单色页面档案文件,扫描分辨率—般建议选择100-200dpi。
5.2.2 彩色页面档案文件,扫描分辨率可选择100dpi以上参数值进行。
5.2.3 大幅面档案文件,如工程图纸、报纸等尺寸超过A3的,可选用大幅面图像扫描仪(如AO)、大幅面数码平台、缩微照相后胶片数字转换,也可以采用小幅面扫描后的图像拼接。
扫描分辨率应选择100dpi以上。
5.2.4 需要时可根据原件的清晰度适当调整扫描分辨率。
如原件质量较差且尺寸较小,可适当提高分辨率;反之也可相应减少分辨率,增减的多少以扫描后图像按原尺寸显示后是否清晰为准。
5.3 特殊页面的扫描5.3.1 粘贴页与表格对于粘贴折页,可用大幅面扫描仪扫描,或先分部扫描后拼接;对部分字体很小、字迹密集的情况,可适当提高扫描分辨率,选择灰度扫描或彩色扫描,采用局部深化技术解决;对字迹与表格颜色深度不同的,采用局部淡化技术解决。
5.3.2 一般文本流程图采用适当的分辨率扫描及局部深化技术,确保文本流程图清晰。
同时采用不同设备满足文本流程图的扫描工作。
5.3.3 插图采用高分辨率灰度或彩色扫描技术将插图与文字一起扫描,保证原来的页面布局和插图清晰。
5.3.4 照片对于页面中有黑白或彩色照片的文件,采用JPEG格式扫描,确保照片清晰度,同时可避免图像存储空间过大。
5.4 文件命名方式5.4.1 建立文件夹扫描时文件夹的建立应按档案实体分级建立,其中的每—份文件也需要单独建立文件夹。
5.4.2 文件夹命名方法,以档案实体中的档号命名,一般为3位数,不足3位数的左边补“0”。
6 数据处理6.1 图像处理6.1.1 纠偏对扫描过程中出现的偏斜图像进行整体纠正,保证数字图像的偏斜角度小于1度。
{图像偏斜不超过页面内半个文字)。
6.1.2 去污去除数字图像中影响可懂度的杂质。
档案数字化图像的去污,应遵循在不影响可懂度的前提下展现原貌的原则。
6.1.2.1 局部去污,如去除黑边、污点。
6.1.2.2 整体去污,可—次性去除页面上的污渍。
6.1.3 拼接为保证档案数字化图像的整体性,对幅面分离的数字图像进行拼接。
6.1.4 校对6.1.4.1 一次校对,检查扫描完的图像质量情况,对不合格的图像进行标记,退回重新扫描。
6.1.4,2 纠错处理,根据—次校对中提出的削口污渍、黑边、偏斜、图像质量等问题,结合(数据加工过程处理单)(见附录A)情况,对每份图像进行相应的处理。
6.1.4.3 二次校对,对—次校对及数据处理后的数字图像再次进行检查,并标记图像处理过程中不清晰的页面。
不合格的退回重新处理。
6.2数据质量检查6.2.1 文字录入质量对录入域清单上所标明的各著录项的文字录入进行正确率控制;保证错误率低于3‰。
6.2.2 图像质量对纸质文件扫描后形成的图像文件进行清晰度、污渍、黑边、偏斜等问题的控制,以达到要求的图像质量。
保证扫描后的数字图像清晰,便于清楚阅读,适应各种纸张和手写、印刷字的情况。
6.3 数据挂接档案条目数据与图像文件的对应准确程度的控制。
在生成裸数据光盘之前,根据资料整理信息、扫描前的标引信息及卷内文件页号信息核查图像文件总数是否与实际文件数相等,如不相等则不能生成裸数据光盘,可打印出清单,回退给图像处理人员补扫。
6.4 数据检验6.4.1 将裸数据进行验收前的相应处理,包括文件的格式转换、逻辑分盘处理、添加说明性文件。
6.4.2 对数据进行检验,给出合格或不合格结论。
6.4.3 将数字加工后的数据转换为裸数据光盘格式,拷贝到活动硬盘上。
6.4.4 系统应自动记录检验进度。
6.5 数据上载档案数字化各工序的数据通过网络及时上载到数据服务器端汇总,其中数字图像自动搜索对应的目录数据,加入对应的电子地址数字图像文件名,建立起——对应的关系。
6.6 数据备份定期对服务器的各类数据进行备份,防止数据丢失。
7 信息存储以JPEG数字压缩编码或TIFF国际通用标准格式。
采用国际标准的传真文档压缩格式压缩后,分别按页编号后分页存储。
数字图像的存储管理应保持原纸制档案的保管模式对应存储。
7.1 压缩存储格式档案数字图像格式采用TIFF和JPEG数字压缩编码。
7.1.1 黑白二值图像.黑白二值扫描图像文件采用TIFFCCCITTG3)格式二值图像压缩算法,压缩串(Cr)为15:1。
也可以采用TIFF(CCITTG4)格式二值图像压缩算法,压缩率(Cr)为30:1。
7.1.2 连续色调静态图像连续色调静态图像采用JPEG数字压缩编码,平均压缩率(Cr)为15:1。
7.2 编码方式应尽量采用实时操作性强的编码方式。
失真度编码,用较少的比特率获得较好的图像质量;无失真编码,以低压缩保持信息的不失真。
—般情况下宜采用国际通用编解码算法。
7.3 存储方式与载体可选用在线和离线、不同载体进行存储。
8 检索利用8.1 检索利用方式档案数字图像检索利用可采用单机、局域网和互联网三种方式。
局域网中传输利用,应保证数据在内部局域网10Base-T带宽下,平均1秒内显示响应完成。
互联网中传输利用,互联网56Kbit/s带宽下,平均5秒内显示响应完成。
为此要求—般每页档案数字图像的存储容量为50K以内。
8.2 检索软件配置检索软件应符合国家档案局制定的《档案管理软件功能要求暂行规定》的各项要求。
检索软件应具备目录检索与档案数字图像方便调阅的基本功能。
附录A(资料性附录)数据加工过程处理单第二章照片数字化标准1 基本术语解释1.1 光学分辨率指扫描仪光电转换器件的物理精度。
例如一台扫描仪的光学分辨率为1200dpi,也就是说每一英寸可以扫描出1200个象素点。
1.2 差值分辨率也称为最大分辨率,指扫描仪最高可以达到的线数。
差值分辨率是由光学分辨率差值运算得来的,因此它并不能代表扫描仪的本质精度。
2 技术标准2.1 前提条件:所有要进行数字化的档案必须先进行著录,编制好页号。
2.2 扫描方式:照片按彩色和灰度两种方式扫描。
2.3 分辨率:所使用扫描仪的光学分辨率必须大于或等于300dpi。
2.4 扫描办法:对于所扫的照片,以常见5寸照片大小(12.5cmX8.5cm)为参照,统一采用300dpi;对于其它太大或太小的照片,扫描线数可作相应的调整;对于一些涉及重要历史事件和人物的照片,其扫描精度可在以上基础上适当增加。