微软开放人工智能系统工具对抗源代码

最近，微软开放了Counterfit，这是一个AI安全风险评估工具，旨在帮助开发者测试AI和机器学习系统的安全性。据该公司称，Counterfit使组织能够进行评估，以确保其业务中使用的算法是可靠和值得信赖的。

目前，人工智能技术越来越多地应用于医疗保健、金融和国防等受监管行业。然而，组织在采用风险缓解策略方面落后了。微软的一项调查发现，一些公司用户表示，他们没有足够的资源来确保其人工智能系统的稳定性和安全性。微软认为，Counterfit源于公司需要评估AI系统是否存在漏洞，目的是积极保护AI服务。该工具最初是专门为目标AI模型编写的攻击脚本的集合，后来发展成为一个自动化产品，用于多个系统的大规模基准测试。

在底层，Counterfit是一个命令行实用程序，它提供了一层对抗框架和预加载算法，可用于规避和窃取模型。Counterfit旨在为安全社区提供对已发布攻击的访问，同时提供一个接口，通过该接口可以构建、管理和发起模型攻击。

使用Counterfit对AI系统进行渗透测试时，安全团队可以选择默认设置、设置随机参数或自定义每个参数，以覆盖广泛的漏洞。拥有多种型号的组织可以使用Counterfit的内置自动化功能进行扫描，并可以选择多次扫描来创建运营基准。

Counterfit还提供日志记录来记录对目标模型的攻击。正如微软指出的，遥测技术可能会促进工程团队提高对系统故障模式的理解。

在内部，微软将Counterfit作为其AI红队运营的一部分，并在AI开发阶段将漏洞投入生产。该公司还表示，已经与包括航空航天巨头空客在内的许多客户测试了Counterfit，该公司正在开发一个基于Azure AI服务的AI平台。

"人工智能在工业中的应用越来越多."空客高级网络安全研究员马蒂尔达罗德(Matilda Rhode)在一份声明中表示：“确保这项技术的安全性至关重要，尤其是要了解特征空间攻击在问题空间中可以实现的位置。”

基本上，公司希望人们相信人工智能没有被操纵和安全。Gartner在1月份发布的“管理AI风险的五个优先事项”框架中的一个建议是，组织“针对攻击性攻击采取特定的AI安全措施，以确保抵抗力和弹性。”这家研究公司估计，到2024年，实施专门人工智能风险管理控制的组织避免负面人工智能结果的频率将是不消除负面人工智能结果的组织的两倍。“根据Gartner的报告，到2022年，30%的AI网络攻击将使用训练数据来毒害基于机器学习的系统、模型盗窃或对抗性样本攻击。