AI研究者开源模型解释工具包AllenNLP解读

艾伦人工智能研究所和加州欧文的研究人员发布了AllenNLP解释器，用于解释自然语言处理(NLP)模型的结果。可扩展工具包包括几个解释和可视化组件的内置方法，以及一个使用AllenNLP解释器解释最新NLP模型(包括BERT和RoBERTa)结果的示例。

在arXiv发表的一篇论文中，研究团队更详细地描述了该工具包。AllenNLP解释器使用两种基于梯度的解释方法：重要性图，用于确定输入句子中的每个单词或“标记”对模型预测的贡献程度；与攻击作斗争，试图删除或改变输入中的单词，同时仍然保持模型中相同的预测。这些技术可以用于各种NLP任务和模型架构。这些实现使用一组通用的API和可视化组件，它们为将来开发其他技术和模型支持提供了一个框架。

随着公司越来越多地使用人工智能来自动提供问题的答案，用户想知道为什么人工智能会给出给定的答案。例如，如果在信用卡交易中检测到欺诈，交易是否特别暗示欺诈？

模型如何产生答案的解释对于模型开发人员理解系统在面对新数据时如何一般化的能力也很重要。AllenNLP解释公司的研究员Sameer Singh经常引用这个模型来区分狼和狗，但实际上只是学会了探测雪。

对于一些机器学习算法，解释很简单：比如决策树只是一系列if/then规则。然而，深度学习模型的输出可能更难解释。

Singer之前的工作包括LIME，它使用线性近似来解释更复杂模型的预测。AllenNLP解释器使用基于梯度的方法，可以衡量输入特征对输出的影响。由于计算该梯度是深度学习训练的关键组成部分，因此这些方法可以应用于任何深度学习模型。

虽然这些技术是通用的，但是AllenNLP解释器是为NLP设计的。自然语言处理系统的输入是一个文本串，通常是一个句子或整个文档，然后文本被解析成它的组成词或标签。AllenNLP解释包括一个显著性图表，显示每个标记对模型预测的贡献；一个用例可能是解释一个句子中的哪些单词导致他们的情绪被分为积极的或消极的。

该工具包还包括两个对策，展示了更改输入中的标签如何影响输出。首先，HotFlip，用其他单词替换斜率最高的输入单词，直到模型输出发生变化。另一种攻击是输入缩减，在不改变输出的情况下，反复删除斜率最小的单词。这导致输入文本“通常没有意义，但会导致高置信度预测”。