哈佛大学麻省理工学院的研究人员警告人工智能对抗攻击

《纽约时报》杂志2010年3月21日报道称，黑客的可访问性和潜在的安全漏洞极大地影响了成功的AI系统的开发，但医疗保健监管机构(如保险提供商和计费公司)可能面临更紧迫的威胁。

哈佛医学院和麻省理工学院的研究员塞缪尔芬莱森(Samuel Finlayson)也是这篇论文的作者，他告诉《科学》，尽管神经网络通过分析大量数据来训练自己完成某些任务，但它只需进行几次数字运算就可以改变技术的核心功能。就像研究人员训练人工智能系统来检测乳腺癌一样，黑客可以操纵代码来不标记恶性肿瘤。

研究人员一次又一次地证明，AI可能会带来意想不到的负面后果——例如，无人驾驶汽车将停车标志解读为投降标志，AI驱动的眼镜被欺骗，让它们认为是名人。但在临床上，芬莱森和他的同事们表示，他们担心强大的医疗利益相关者可以通过数据操纵取得什么成就。

Finlayson告诉《纽约时报》:“医疗信息固有的模糊性，加上经常竞争的财务激励机制，使得高风险决策依赖非常微妙的信息。”

他说，由于医疗行业的大量货币兑换，保险和计费公司已经改变了其计算机系统中的计费代码和其他数据，以“制定系统账单”。随着人工智能在这些环境中变得越来越受欢迎，利益相关者更有可能操纵扫描以获得更好的费用，或者改变图像以加快监管批准。

宾夕法尼亚大学助理教授Hamsa Bastani研究了《纽约时报》。他说：“有些行为是无意的，但不是全部。”“总会有意想不到的后果，尤其是在医疗保健领域。”