提升AI在常识推理方面的最新技术水平

对于任何事物的最新技术水平来说，10%都是相当大的提升。这是Salesforce对用于语言模型深度学习的常识推理的研究结果。

在他的论文中解释你自己！利用语言模型进行常识推理，明天在计算语言学协会(ACL)2019年会上，Salesforce的研究人员透露了两个重要贡献：关于常识解释的数据集CoSE还有CAGE，一个自动解读常识的模型。ZDNe借此机会与两位负责这项工作的Salesforce Research科学家Nazneen Rajani和Bryan McCann进行了问答。

创建常识推理数据集

提醒一下，Salesforce的研究侧重于问答，作为通过爱因斯坦促进数据访问的一种方式。我们之前已经看到过其他Salesforce研究人员如何调查知识地图的使用。

拉贾尼和麦肯在他们的工作中使用了不同的方法，但他们也建立在以前的一些贡献上。对于一些世界领先的研究人员来说，常识推理是一个悬而未决的问题。例如，建造凯奇的关键因素之一是开放GPT。将OpenAI source最近在elon musk中打开的这种语言模型配音为“太危险”而不能在野外发布可能过于谨慎。

然而，它是语言模型的最新技术。正如Rajani和McCann指出的，这些自然语言处理网络仅限于文本，作为生活在现实世界中的糟糕替代品。因此，研究人员通过让模型阅读一系列不可思议的文本来训练模型，包括所有维基百科、成千上万本书和其他方法，他们也可以通过查询谷歌来获得结果。

这些模型使用一种叫做常识问答(CQA)的多项选择测试进行测试，该测试包含需要常识推理来回答的问题。在典型的深度学习方式中，模型在CQA的一些例子上进行训练，然后在不同的问题集上进行测试。与人类相比，众所周知，这些博览群书的神经网络在这项任务中表现非常糟糕。

拉贾尼和麦肯创建了一个基于CQA的数据集，但是他们除了回答问题之外还包括解释。这就是他们如何创建CoSE的，这是常识解释的数据集。正如Rajani所说，CoSE v1.0有8500个例子，v1.11有10962个例子，包括训练集和验证集。对于深度学习标准来说，这并不是很多数据。

拉贾尼和麦肯承认这一点，增加数据集是他们未来的目标之一。麦肯表示，他们希望将这种数据集收集过程扩展到该领域的其他基准，包括自由形式的文本、结构化信息和来自图像或视频的视觉信号，以便他们能够在许多不同领域训练和解释模型。

解释是用机械土耳其人的包装制作的。请Turkers提供问题的答案，解释答案，并突出显示引导他们解释问题的部分。值得注意的是，最近利用Mechanical Turk对知识图表进行质量处理的研究表明，众包是解决这类任务的可行方案。

Rajani提到，有一些例子需要重新注释，即使它们对解释的质量有最初的限制，因为它们已经有麻烦了。设计任务和收集数据大约需要三周时间。CoSE可以被其他研究人员使用和进一步增强，并且可以在GitHub上获得。