研究人员表示医疗人工智能系统可能容易受到对抗性攻击

一个来自哈佛大学和麻省理工学院的医学研究小组在“科学”杂志上发表了一篇政策论坛文章，指出未来的医学人工智能系统可能容易受到对抗性攻击。 他们指出，先前的研究表明，几乎所有人工智能系统在某种程度上都容易受到这种攻击。

机器学习领域的对抗性攻击是通过恶意输入来愚弄建立这样一个系统的模型的一种尝试。 在实践中，这意味着向AI系统提供某种信息，迫使它返回不正确的结果。 研究人员建议，这种攻击可以针对像那些通过分析扫描程序发现癌症的检测系统。 他们甚至展示了对抗性攻击是如何通过向系统提供某种噪声模式来工作的，这种模式会引发混乱，导致不正确的结果。

但这不是研究人员真正担心的那种对抗性攻击。 他们最关心的是已经开发和正在使用的人工智能系统，这些系统涉及处理索赔和账单-医院甚至医生可以使用这种系统改变表格信息，以获得更多的保险公司或医疗补助金进行测试，例如，通过更改代码，使简单的X光看起来像MRI测试。 在正确的时间给人工智能系统提供正确的信息可以使它做到这一点。 还有一种可能性，一家医院可以教它的人工智能系统找到最好的方法来欺骗保险公司或政府，这使得几乎不可能被发现。

研究人员建议，需要一种新的决策方法-在这种方法中，来自各个领域，包括法律、计算机科学和医学的人，在这个问题流行之前解决这个问题。 这些团体也许可以找到防止这种情况发生的方法，或者至少在这种情况下发现它。