微软机器阅读理解超越人类水平，CoQA数据集得分刷新记录

今日，微软博客发文公布他们在 CoQA 数据集上取得的最新成绩。在此次挑战赛中，微软亚洲研究院 NLP 组与 SDRG（微软雷德蒙德语音对话研究组）组成的团队成为首个模型表现超越人类的参赛团队。

图源：https://stanfordnlp.github.io/coqa/

在斯坦福大学举办的 CoQA（Conversational Question Answering）挑战赛中，由微软亚洲研究院（MSRA）NLP 组和微软雷德蒙德语音对话研究组组成的团队排名第一。

此挑战赛衡量了机器理解文本、在对话中回答一系列相互联系的问题的能力。

CoQA 是一个大型对话问答数据集，由来自不同领域一系列文章中的对话问题组成。在此之前，MSRA NLP 团队利用斯坦福问答数据集（SQuAD）在单轮问答中达到了人类水平，树立了一个新的里程碑。与 SQuAD 相比，CoQA 中的问题对话性质更为明显，答案形式自由，以确保对话中的答案更加自然。

CoQA 中的问题非常简短，以模仿人类对话。除此之外，第一个问题之后的每一个问题都基于对话历史，这加大了机器解析那些短问题的难度。

例如，假设你问系统，「微软的创始人是谁？」，那么在问下一个问题（「他的生日是什么时候？」）的时候，你需要让机器知道，这两个问题中的对象是同一个人。

图注：来自 CoQA 数据集的一段对话，来自论文《CoQA: A Conversational Question Answering Challenge》

为了更好地测试已有模型的泛化能力，CoQA 数据集从 7 个不同领域收集数据：童话故事、文学作品、初中高中英语测试、新闻、Wikipedia、Reddit 和科学。前五个领域的数据用作训练、开发和测试集，后面两个只用作测试集。

CoQA 使用 F1 得分来评估模型表现。F1 得分衡量了预测与真实答案之间的单词重合度。领域内 F1 得分是在与训练集为同一领域的测试集上测试得到的，领域外 F1 得分是在不同领域的测试集上得到的。整体 F1 是在所有测试集上的最终得分。

据介绍，微软研究团队的方法使用了特殊的策略，也就是多个相关任务学习到的信息被用于改进最终的任务。在此多阶段、多任务精调方法中，研究人员首先在多任务环境下从相关任务中学习 MRC 关联背景信息，然后在目标任务上精调模型。在两个阶段，都使用语言建模作为辅助任务，帮助降低对话问答模型的过拟合。

实验证明了这种方法的有效性，在 CoQA 挑战赛上的结果也进一步证明了该方法的强大之处。

图注：多阶段、多任务精调模型图示

据 CoQA 榜单显示，微软研究团队提交的集成系统分布取得了 89.9 的领域内得分、88.0 的领域外得分、89.4 的整体 F1 得分，而在此数据集上人类的表现分别为 89.4/87.4/88.8。

这一成就标志着搜索引擎（如必应）和智能助手（如 Cortana）在与人互动和以更自然的方式（类似人与人之间的交流）提供信息方面取得了重大进展。然而，一般的机器阅读理解和问答仍是自然语言处理中没能解决的难题。为了进一步提高机器理解和生成自然语言的能力，该团队将继续努力开发更强大的预训练模型。

原文链接：https://www.microsoft.com/en-us/research/blog/machine-reading-systems-are-becoming-more-conversational/

本文为机器之心编译，转载请联系本公众号获得授权。

✄------------------------------------------------

加入机器之心（全职记者 / 实习生）：hr@jiqizhixin.com

投稿或寻求报道：content@jiqizhixin.com

广告 & 商务合作：bd@jiqizhixin.com