新的研究为机器学习中机器的内部思维提供了线索

杜克大学计算机科学教授辛西娅鲁丁说，但这就是问题所在。“我们可以输入医学图像，然后在另一端观察结果(‘这是恶性病变的照片’，但很难知道两者之间发生了什么。”

这就是所谓的“黑箱”问题。即使是制造机器的人也很难理解机器的概念——网络的隐藏层。

“深度学习模型的问题在于，它们非常复杂，我们实际上不知道它们在学习什么。“杜克大学鲁丁实验室的一名学生。”他们可以经常使用我们不想让他们得到的信息。他们的推理过程可能完全错了。"

杜克大学毕业生鲁丁、陈和贝针对这一问题提出了解决方案。通过修改这些预测背后的推理过程，研究人员可以更好地排除网络故障，或者知道它们是否值得信任。

大多数方法试图通过寻找指向图像的关键特征或像素来揭示导致计算机视觉系统正确答案的原因：“这种胸部X线生长被归类为恶性，因为这些领域对于这种模型的肺癌分类非常重要。”这种方法不揭示网络的原因，只揭示其位置。

公爵尝试了另一种方法。他们的方法不是试图事后考虑网络决策，而是训练网络通过表达对概念的理解来展示其工作。他们的方法通过揭示网络需要思考多少不同的概念来帮助破译它所看到的。鲁丁说：“它想出了如何在网络层表示不同的概念。”

例如，给定一个图书馆的图像，这种方法可以根据不同层的神经网络对“书籍”的心理表达来确定它们是否识别场景的程度和程度。

研究人员发现，只需对神经网络进行少量调整，就能像原始网络一样准确地识别图像中的物体和场景，同时在网络的推理过程中获得实质性的可解释性。鲁丁说：“这项技术的应用非常简单。”

这种方法控制信息在网络中流动的方式。它包括用一个新的部分替换神经网络的一个标准部分。新的部分仅约束网络中的单个神经元响应人类理解的特定概念而触发。这些概念可以是日常物品的类别，如“书”或“自行车”。但也可以是一般特征，如“金属”、“木头”、“冷”或“暖”。通过一次只让一个神经元控制一个概念的信息，很容易理解网络的“思维模式”。