汉王科技打造古汉语大模型，推动古籍数字化建设

用户需求

目前国家图书馆古籍、文献数字化工作遇到两个比较大 的痛点。 一是古籍文献与现代文献相比在印刷排版、行文风 格、用语规范等方面均有很大不同，而且众多古籍文献中没 有句读信息，缺乏明确的断句、语法结构等，不仅古籍文献 的阅读与理解难度增加，也使得数字化工作难度面临更大的 挑战。特别是众多古籍在历史变迁中存在多次的手抄、翻译、 批注等，造成了文本的差异，进一步增加了数字化理解的难 度。二是我国古籍文献的数字标引、著录等工作的标准规范 严格，古籍标引、著录等领域的新手标注员上手难度大、培 训成本较高，往往需要进行多次长时间培训才能够上岗工 作。

解决方案

针对国家图书馆目前古籍文献数字化工作遇到的两大 痛点，汉王科技股份有限公司围绕其构建了辅助理解古籍文 献和辅助著录与标引两个大模型解决方案。 一是基于汉王古汉语大模型的古文理解能力，汉王科技为国家图书馆开展辅 助理解数字化解决方案，开发了句读、翻译和实体抽取等三 个辅助理解工具，帮助国家图书馆及相关人员更快理解古籍 语义内容。开发古籍文献句读模型，将句读语料微调给古汉 语大模型，激发大模型句读能力，应用层面上接收古籍原文 后，输出添加断句、标点等信息后的文本。开发翻译模型， 将古汉语-现代汉语双语语料微调给古汉语大模型，激发大 模型的翻译能力，应用层面上接收古汉语文本，输出现代汉 语形式的文本。开发实体抽取模型，将古籍实体标注数据微 调给古汉语大模型，激发大模型的实体抽取能力，应用层面 上接收古汉语文本，输出抽取的人名、地名、机构名等实体， 并标记实体在原文中的位置信息。二是依托古汉语大模型的 抽取和生成能力，开发了辅助著录与标引数字化解决方案， 开发档案自动著录、自动题名和自动分件等数字化应用服 务，辅助著录与标引，减轻标注人员的上手难度，提升效率。 档案著录过程包括数据包分件、档案著录项填充以及档案题 名撰写，并以此开发大模型辅助著录应用，实现自动分件和 自动著录，然后由人工进行校验。

项目成果

项目取得一项成果。辅助理解古籍文献解决方案利用一 个大模型方案解决了过去三个专业模型的辅助应用，并且在 模型召回率、精度和F1分数三大模型指标上有15%-55%的明 显提升。以句读应用为例，其召回率、精度和 F1 分数都在 80%以上，超过经过培训的标注员平均水平；在实际古籍文献理解标注应用时人员成本下降30%,效率提升50%。在古籍文献翻译业务应用效果上，辅助理解古籍文献大模型方案 同样表现出色，在人工和机器评测双项测试中较 ChatGPT 领 先，最高达55%。同样在实体抽取应用上，辅助理解古籍文 献大模型在三项关键指标上也优于ChatGPT, 最高达28%。