编者按：在甲骨学研究中，甲骨“校重”整理是一项费事费力但又极其重要的基础性研究工作。微软亚洲研究院与首都师范大学甲骨文研究中心莫伯峰教授团队合作开发的甲骨文校重助手Diviner，第一次将自监督AI模型引入到甲骨文“校重”工作中，并取得数百项新成果，为甲骨文整理领域开创了人工智能与人类专家协作（AI+HI）的全新研究范式。
入选《世界记忆名录》的甲骨文，是迄今为止中国发现的年代最早的成熟文字系统，对中国历史乃至世界文化的发展研究具有非凡意义。有人曾说“东周之前无信史”，因为《春秋》一书记录了2000多年前的东周历史，而之前的商文明曾被认为是传说，直至甲骨文被发现，才有力地证明了殷商王朝的存在，把中国信史向上推进了约1000年。
从甲骨文首次被发现至今，出土的甲骨实物约有十五万片。因为收藏、流转的缘故，大部分的甲骨都留下了多张拓本图像，被称为“重片”。甲骨重片数量繁多，效果互有参差，对其整理成为了一项重要的基础性研究工作，称作“校重”。然而，人工校重只能一一对照，费时费力，是甲骨文研究的一大痛点。正如《甲骨文合集补编》“前言”中所述：“这种对重、选片的工作，其烦琐、费工是局外人难以想象的。 ”
近期，微软亚洲研究院主管研究员武智融与首都师范大学甲骨文研究中心莫伯峰教授团队合作，提出了基于自监督学习的甲骨文校重助手Diviner，大幅提升了甲骨文校重工作的效率。系统穷尽比对了18万幅拓本，辅助甲骨学家在上百个甲骨文数据库中发现了大量甲骨重片，不仅复现了专家过去所发现的数万组重片，而且经过初步整理，已发现了三百多组未被前人发现的校重新成果。这项研究为甲骨文整理领域开创了人工智能与人类专家协作（AI+HI）的全新研究范式。本项目全面成果的甲骨学解读已发布于中国社科院先秦史研究室网站 https://www.xianqin.org/blog/archives/17264.html (opens in new tab)。
小知识：为什么同一片甲骨的不同拓本有时会差异巨大？
两个原因导致。一是早期制作拓本时，只拓下了有字的部分，而后来制作拓本，则将所有部分全部拓下，这就会导致早期拓本显得更小。二是早期甲骨比较完整，但随着时间推移甲骨出现了破损，后来所做的拓本就不再完整。也正是因为这些原因，使得甲骨校重工作变得愈发困难。
小知识：只有不同时期的拓本间会出现重片现象吗？
并非如此。在早期的甲骨著录书中就已经出现，同一片甲骨的拓本被同一本书反复收录的情况。所以校重工作并不都是在不同著录书之间进行，在同一本书内部也是需要的。
AI在甲骨文“校重”中令人惊喜的新发现
“校重”是甲骨学领域的一个老题目，此前已经有很多甲骨学家为这项工作倾注了大量心血。比如甲骨文领域最重要的两部著录书《合集》《合补》，在编著过程中花费大量功夫做的工作就是校重。理论上来说，完成一张甲骨拓本的校重工作，应该将它与其余的所有甲骨拓本逐一比照，才能确保没有遗漏。尽管可以利用文字信息和分类方法缩小对比范围，但对于甲骨学家而言，这仍然是一项十分艰巨的工作，且难以保证全面性和准确性。
对比和处理海量数据，并从中挖掘有用信息正是AI的专长。大规模的校重，穷尽性的比对，都难不倒校重助手Diviner。接下来就让我们一起看看Diviner的效果。你也可以测试一下自己能否发现其中的异同？
这些校重结果对甲骨文研究有什么作用？
作为三千年前古人留下的一份礼物，每一片甲骨都弥足珍贵。但目前甲骨的研究主要依靠拓本图像，而非甲骨实物，所以拓本就是甲骨研究的根本出发点。很多时候一个字形、一条卜辞的清楚认知，就来自更全、更清的拓本材料。所以甲骨学家从不放过哪怕只有一个字的拓本。
本次校重助手Diviner就提供了一批更全、更清晰的甲骨图像，更有不少堪称惊喜的新发现：
- “重而不同“的新图像。左侧是时间较早，没有拓全的甲骨拓本。右侧是时间较晚的拓本，甲骨残破只余下一部分，尽管拓全了但很不完整。通过将两个拓本重叠，获得了一张最完整的甲骨图像，特别是右上部分的一段甲骨文字的完整展现，为甲骨文研究直接提供了一条新材料。
- “有里有面”的新图像。有些甲骨正反两面皆有文字，但有时只有一面留下了拓本。比如马保春先生曾发现这两版反面拓本可以缀合在一起。但其中一片的正面图像一直没有找到。Diviner校重发现了下面一片甲骨的正反完整拓本，正面缀合复原的图像也终于得以呈现。
- 从“重片”到“缀合”。左侧图像是过去由张宇卫先生缀合在一起的两片甲骨。通过 Diviner 的校重发现，下部拓本原来还有一片更完整的重片。如此，两片甲骨的缀合就扩展成了三片甲骨的缀合。
- 从模糊到清晰。由于有些甲骨拓本质量不高，上面文字难以辨认，给甲骨学家带来很多困扰。比如这几组重片，模糊拓本上的文字让人难以辨认，直到这次发现了清晰的重片，才把过去的很多疑惑解决了。
小知识：什么是甲骨缀合？
甲骨缀合是甲骨文研究中另一项重要的整理研究工作。由于材质坚硬容易破碎，原本完整的甲骨很多都碎裂为多个碎片，只有将它们恢复原样才具有更大的研究价值，这种复原工作就是甲骨缀合。
小知识：甲骨文考释有多难？
甲骨文中已知不重复的单字数量约为四千五百个，在过去的120多年中，甲骨学家前赴后继也只破译了一千个左右，大部分甲骨文字仍待破译。中国文字博物馆曾在2017年推出了一项甲骨文考释竞赛，单字破解悬赏10万元。竞赛推出以来，只有来自复旦大学出土文献与古文字研究中心研究员蒋玉斌和清华大学出土文献研究与保护中心教授王子杨成功拿到过这笔奖金。与西方表音体系的古文字相比，甲骨文字的破解难度无疑要大得多。
Diviner在甲骨校重工作中的出色表现和展现出的巨大潜力得到了很多甲骨学家的认可。复旦大学出土文献与古文字研究中心研究员蒋玉斌认为：“甲骨校重与指出互见，是甲骨学重要的基础性工作。同一甲骨片，可能经过多次著录，各版本有早有晚，清晰度、完整度存在差别，需要加以关联、比对、研判。过去，这种工作完全靠学者凭经验、记忆零星举列，虽颇有得，但总体上耗时费力，也仍有大量未能指出的重出、互见现象。莫伯峰教授团队与微软亚洲研究院合作开发的人工智能甲骨文校重助手Diviner，实现了大范围的校重，效率高，成果多，令人振奋。我坚信，在甲骨校重与指出互见方面，校重助手Diviner已经远胜人力，今后此项工作的大规模开展，或将完全由校重助手Diviner这样的工具取代。近年，有多支学术团队致力于甲骨文等古文字研究与人工智能的融合创新，先进的技术手段将为古老文字的研究插上腾飞的翅膀。但人工智能助力古文字研究的着力点在哪里，是首先要解决的问题。校重助手Diviner很好地契合了甲骨文研究的需要与人工智能的专长，功效显著，成果突出，我认为是人工智能辅助甲骨文研究的成功典范。”
自监督学习首次在甲骨文中应用，AI模型泛化性显著
校重助手Diviner能有如此出众的效果，技术上是如何实现的？有哪些创新之处？
近两年，不依赖人工标注数据的自监督学习是AI研究的热门方向，但很多前沿技术仍停留在研究阶段。Diviner不仅第一次将自监督AI模型引入到甲骨文“校重”工作，也是自监督AI模型在真实场景中的一次成功应用。
“尽管自监督研究热度很高，但是很多问题最终还是要通过人工数据标注来解决。我们一直希望使用完全无标注的数据进行自监督学习，甚至是人工根本上无法标注的数据。”微软亚洲研究院主管研究员武智融说，“甲骨校重需要两两比对十八万张数据库中的所有拓片，这为基于完全无标注数据的自监督学习模型应用提供了一个绝佳的落地场景。”
计算两张拓片的视觉相似度，通常的方法会从全局特征出发。然而，在甲骨文的研究中，即使是重片，外观上也可能有很大差异，这是由于拓印范围、拓印方式、磨损等多方面原因造成的。考虑到一块完整的甲骨可能会碎裂成多片，校重时经常需要从大骨片中找出小骨片。因此，基于全局外观表示的传统方法并不能很好地发挥作用。面对这一挑战，研究员想到了甲骨拓片的特性，因其是从同一块甲骨而来，重片之间存在着精确的点与点的对应关系。基于这一特性，校重助手Diviner从局部寻找匹配关系，再拓展到全局。
- 局部匹配。Diviner使用的局部描述符（local descriptor）是经过自监督训练的深度神经网络。模型应用了对比学习的自监督技术，使用图像增强，让特征在训练时不受甲骨拓片上清晰度、对比度、噪音、旋转等因素的影响。在甲骨图像上训练的局部描述符能够检测和匹配局部块之间的关键点，并进行点对点匹配。
- 全局优化。基于密集的点与点的匹配结果，通过使用鲁棒的优化算法RANSAC估计全局的几何仿射变换。仿射变换允许模型在内容重复的情况下拼合或拼接已有图像。这种局部到全局的方法对检测大量的甲骨碎片至关重要。
Diviner模型一个特点是具有强大的泛化能力，这归功于其自监督学习的匹配算法。模型通过图像增强技术模拟同一块甲骨在不同时期制作成拓片或者因年深日久造成的图像变化，例如磨损、模糊等。在大规模无标注数据上获取的密集的自我监督，远远比稀疏的基于整体的人工监督更有效。
Diviner模型另一个特点在于能够精确的预测出重片之间点对点的对应关系，并将重片拼合或拼接在一起。这种可以被专家快速解读的结果大大方便了人类与人工智能的协同合作。对于甲骨文这样的冷门绝学，人机合作尤为重要。在校重结果中，专家可以看到局部匹配细节和重叠图，极大地帮助并加速了他们验证的过程。
“过去的甲骨校重工作中，对拓面差异较大的不同拓本之间的认同存在现实困难。甲骨文校重助手Diviner，既不受文字信息的限制，也不受图像数量的限制，直接运用图像比对就可以完成精准的图像校重，并取得了显著的成果。可以预期，随着Diviner模型功能的不断完善，甲骨学界一定会取得更大、更多的科研成果。”清华大学出土文献研究与保护中心教授王子杨如此评价校重助手Diviner。
小知识：甲骨文图像的著录方式有哪些？
甲骨文有三种主要的著录方式。一是拓本，这是甲骨最主要的著录方式，应用了中国传统的墨拓技术；二是照片，早期利用照片进行甲骨著录的情况较少，近年来已经成为甲骨著录的主要方式；三是摹本，采用目视手绘的方式临摹甲骨文字，主要是著录那些没有条件做拓本，也没有条件拍照的甲骨。此外，甲骨3D成像技术近年来也开始进行实验。Diviner模型现在主要针对拓本进行校重，今后将尝试扩展到更广阔的范围。
“AI+HI”为古文化研究打开新大门
“甲骨学是一个系统性的科学，一方面它是一种语言文字研究资料，另一方面它是一种历史研究资料，其研究涉及方方面面，研究者需要了解文字在古代的形、音、义等等，因此我们解决一个问题也要从不同维度探讨。此次与微软亚洲研究院的合作只是甲骨文和人工智能交叉研究的一个小序幕，推开了甲骨学研究的一扇新大门，为后续的研究起到了示范作用。未来，人工智能与古文字研究的结合将具有更广阔的前景。”莫伯峰教授表示。
“我们很高兴看到人工智能模型Diviner能够为甲骨学专家节省用于甲骨文数据整理的时间，让他们更专注于其他方面的研究。甲骨文是兼具象形图像属性和文字属性的神秘语言，多模态的人工智能在甲骨文研究上有着广阔天地。未来，我们希望能够与甲骨文专家一起探索更多有趣的课题。”武智融表示。
计算机图形图像领域知名学者、微软亚洲研究院常务副院长郭百宁表示，“甲骨文作为世界文化的瑰宝，其研究已经发展成为国际性的学术课题。多年来，微软亚洲研究院一直致力于将最前沿的计算机技术应用于文化遗产保护与传承等具有社会意义的研究中，并取得了诸多成果。我们希望可以与更多研究机构、研究学者共同合作，为推进世界文化、历史的保护和传承贡献一份力量。”
*文章中用到的拓本来自四本甲骨著录书：①《甲骨文合集》②《甲骨文合集补编》③《上海博物馆所藏甲骨文字》④《殷虚书契续编》