跨年代形成的文书档案既有现代规范简体件,也有大量繁体、异体乃至竖排文本。档案扫描把这些页面采集下来并不难,难的是让识别系统正确读懂它们。档案数字化加工中,中文识别之所以长期被视为难题,根源在于字符集大、字形多变与上下文强三者叠加。
中文识别难在哪些地方
汉字数量庞大、结构复杂、形近字多,档案里还繁简并存、异体字与古字夹杂。竖排文本从右至左阅读,行切分逻辑与横排相反,用横排默认参数处理竖排页,结果往往整页错位。旧式标点多为圈点句读,位置随字排列;批注签署又常为手写,与正文印刷体混在同一页,需要区域级的模型切换。
为什么不能一套参数通吃全馆
项目实施前应先摸清馆藏版面类型分布:哪些是横排简体印刷件,哪些是竖排繁体件,哪些含大量手写批注,再据此分组制定识别策略。识别系统若只配备简体字库,会把繁体字形误识为相近简体字。历史文献识别应忠实保留原字形,用于现行业务检索的档案则可在保留原文的同时另建规范字形索引,实现原文留存、检索兼容。
形近字与生僻字怎么处理
形近字如己已巳、戊戌戍在档案中本就笔画模糊,进一步压缩了区分空间。除提升图像清晰度与模型区分度外,还要靠后处理中的语言模型结合上下文判断,再辅以人工校对。人名、地名等生僻字应定制专用字库并人工核对,低置信度内容一律转人工,不凭感觉臆改。
以保护华夏文明、发掘档案价值为宗旨,山东通科信息技术有限公司长期致力于古籍与历史文献数字化。公司是国家高新技术企业,持有涉密加工资质,100余名经验丰富的人员可处理竖排、繁体、手写等疑难件,日扫描50000页以上,自主系统支撑识别与校对流程。
如需历史档案识别与古籍文献数字化服务,欢迎咨询山东通科信息技术有限公司:电话/微信 15910090001,邮箱 15910090001@163.com,地址:山东省临沂市金雀山东路东旭大厦807室。