必应的性别化翻译解决了翻译中的偏见问题
我们很高兴地宣布,从今天起,当从英语翻译到西班牙语、法语或意大利语时,可以使用阳性和阴性的替代翻译。你可以在以下两种情况下试用这项新功能 必应搜索 和 必应翻译 纵向的。
在过去的几年里,机器翻译(MT)领域因转换模型的出现而发生了革命性的变化,导致了质量的巨大改善。然而,为捕捉从现实世界中收集的数据的统计属性而优化的模型,无意中学习甚至放大了在该数据中发现的社会偏见。
我们的最新版本是朝着减少这些偏见之一迈出的一步,特别是MT系统中普遍存在的性别偏见。Bing Translator总是为一个输入句子产生一个单一的翻译,即使译文可能有其他的性别变化,包括女性和男性的变体。根据 微软负责任的人工智能原则我们希望确保我们提供正确的替代翻译,并对所有性别的人更具包容性。作为这个旅程的一部分,我们的第一步是提供阴性和阳性的翻译变体。
性别在不同语言中的表达方式不同。例如,在英语中,律师这个词可以指代男性或女性个体,但在西班牙语中。 辩护律师 指的是一位女律师,而 律师 将指的是一个男性。在缺乏源句中像 "律师 "这样的名词的性别信息的情况下,MT模型可能诉诸于为目标语言中的名词选择一个任意的性别。通常,这些任意的性别分配与陈规定型观念相一致,使有害的社会偏见长期存在(Stanovsky等人,2019;Ciora等人,2021),并导致翻译不完全准确。
在下面的例子中,你注意到在将性别中立的句子从英语翻译成西班牙语时,翻译后的文本遵循了性别角色的定型,即律师被翻译成男性。
由于源句中没有暗示律师性别的上下文,以男性或女性律师为假设产生的翻译都是有效的。现在,Bing Translator产生的译文有女性和男性两种形式。
系统设计
我们旨在设计我们的系统,以满足以下提供性别替代方案的关键标准。
- 阴性和阳性的变体应该有最小的差异,除非是传达性别所需的差异。
- 我们希望涵盖可能有多种性别选择的广泛的句子。
- 我们希望确保译文能保留原始源句的含义。
检测性别的模糊性
为了准确检测源文本中的性别模糊性,我们利用核心推理模型来分析包含有生命名词的输入。例如,如果一个给定的输入文本包含一个性别中立的职业词,我们只想在它的性别不能被句子中的其他信息所确定的情况下为它提供性别化的替代品。比如说。在将英语句子 "The lawyer met her driver at the hotel lobby. "翻译成法语时,我们可以确定该律师是女性,而司机的性别不明。
生成替代性翻译
当源句的性别含糊不清时,我们检查我们的翻译系统的输出,以决定是否可能有另一种性别解释。如果是的话,我们就着手确定修改译文的最佳方式。我们首先通过改写原始译文来构建一组候选目标译文。我们应用基于依赖关系的语言约束,以确保所提出的备选译文的一致性,并剪除错误的候选译文。
然而,在许多情况下,即使应用了我们的约束条件,我们也会为性别化的替代翻译留下多个候选改写。为了确定最佳方案,我们用我们的翻译模型对每个候选方案进行评分。通过利用这样一个事实,即一个好的性别改写也将是源句的准确翻译,我们能够确保我们最终输出的高准确性。
在Azure机器学习中利用管理的在线端点
必应中的性别替代功能的主机是 管理的在线端点 在Azure机器学习中。受管理的在线端点提供了一个统一的接口,可以在微软管理的计算上以交钥匙的方式调用和管理模型部署。它们使我们能够利用可扩展和可靠的端点,而不必担心基础设施的管理。这种推理环境还能以低延迟处理大量的请求。通过使用Azure机器学习中的管理推理功能,我们用最新的框架和技术创建和部署性别debias服务的能力得到了极大的提高。通过利用这些功能,我们已经能够保持较低的COGS(销售成本),并确保直接的安全和隐私合规。
你可以如何做出贡献?
为了促进MT中减少性别偏见的进展,我们发布了一个测试语料库,其中包含了从英语到西班牙语、法语和意大利语的性别明确的翻译例子。每个英语源句都有多个翻译,涵盖了每一种可能的性别变化。
我们的测试集具有挑战性,形态丰富,语言多样。这个语料库在我们的开发过程中发挥了重要作用。它是在一位具有丰富翻译经验的双语语言学家的帮助下开发的。我们还发布了一篇技术论文,详细讨论了测试语料库以及评估的方法和工具。
前进的道路
通过这项工作,我们的目标是在源性别模糊的情况下提高MT输出的质量,并促进更好和更有包容性的自然语言处理(NLP)工具的普遍发展。我们最初的版本侧重于从英语到西班牙语、法语和意大利语的翻译。展望未来,我们计划扩大到新的语言对,以及涵盖更多的场景和偏见类型。
信用。
Ranjita Naik, Spencer Rarrick, Sundar Poudel, Varun Mathur, Jeshwanth Kumar Chandrala, Charan Mohan, Lee Schwartz, Steven Nguyen, Amit Bhagwat, Vishal Chowdhary.