微软开放人工智能系统工具对抗源代码
最近,微软开放了Counterfit,这是一个AI安全风险评估工具,旨在帮助开发者测试AI和机器学习系统的安全性。据该公司称,Counterfit使组织能够进行评估,以确保其业务中使用的算法是可靠和值得信赖的。
目前,人工智能技术越来越多地应用于医疗保健、金融和国防等受监管行业。然而,组织在采用风险缓解策略方面落后了。微软的一项调查发现,一些公司用户表示,他们没有足够的资源来确保其人工智能系统的稳定性和安全性。微软认为,Counterfit源于公司需要评估AI系统是否存在漏洞,目的是积极保护AI服务。该工具最初是专门为目标AI模型编写的攻击脚本的集合,后来发展成为一个自动化产品,用于多个系统的大规模基准测试。
在底层,Counterfit是一个命令行实用程序,它提供了一层对抗框架和预加载算法,可用于规避和窃取模型。Counterfit旨在为安全社区提供对已发布攻击的访问,同时提供一个接口,通过该接口可以构建、管理和发起模型攻击。
使用Counterfit对AI系统进行渗透测试时,安全团队可以选择默认设置、设置随机参数或自定义每个参数,以覆盖广泛的漏洞。拥有多种型号的组织可以使用Counterfit的内置自动化功能进行扫描,并可以选择多次扫描来创建运营基准。
Counterfit还提供日志记录来记录对目标模型的攻击。正如微软指出的,遥测技术可能会促进工程团队提高对系统故障模式的理解。
在内部,微软将Counterfit作为其AI红队运营的一部分,并在AI开发阶段将漏洞投入生产。该公司还表示,已经与包括航空航天巨头空客在内的许多客户测试了Counterfit,该公司正在开发一个基于Azure AI服务的AI平台。
"人工智能在工业中的应用越来越多."空客高级网络安全研究员马蒂尔达罗德(Matilda Rhode)在一份声明中表示:“确保这项技术的安全性至关重要,尤其是要了解特征空间攻击在问题空间中可以实现的位置。”
基本上,公司希望人们相信人工智能没有被操纵和安全。Gartner在1月份发布的“管理AI风险的五个优先事项”框架中的一个建议是,组织“针对攻击性攻击采取特定的AI安全措施,以确保抵抗力和弹性。”这家研究公司估计,到2024年,实施专门人工智能风险管理控制的组织避免负面人工智能结果的频率将是不消除负面人工智能结果的组织的两倍。“根据Gartner的报告,到2022年,30%的AI网络攻击将使用训练数据来毒害基于机器学习的系统、模型盗窃或对抗性样本攻击。
免责声明:本文为转载,非本网原创内容,不代表本网观点。其原创性以及文中陈述文字和内容未经本站证实,对本文以及其中全部或者部分内容、文字的真实性、完整性、及时性本站不作任何保证或承诺,请读者仅作参考,并请自行核实相关内容。
最新文章
- DNF搬砖最佳宠物搭配指南
- DNF白金徽章变现攻略:如何巧妙出售白金徽章
- 寒潮蓝色预警:近两日最低气温 0℃线南压至江南南部至贵州南部和云南北部一带
- DNA 纳米机器人:可改造人造细胞,推动合成生物学发展
- 新型巨型里德伯原子成为精准量子温度计
- 《生化危机9》重大爆料:里昂确定回归主角,吉尔缺席引热议
- 广东:到 2027 年 绿色低碳循环经济体系基本建成
- 2024 财年美国对外军售额创历史新高:背后的战略与影响
- 离子阱量子计算在近年实现双码纠错
- 这次与肯德基的全新联动,星铁再次硬控玩家热情?
- 新年多城土地市场回温:杭州单价地王纪录 3 个月内两度被打破,民企恢复拿地
- 扎克·克雷格执导新版《生化危机》电影,发行权引多家大公司激烈争夺
- 广东:积极推进煤炭消费控制,全力构建以新能源为主体的新型电力系统
- 广东:到 2027 年,全力构建绿色低碳循环经济体系
- 长三角铁路春运再创佳绩:昨日发送旅客 310.2 万人次
- 海通策略:2025 年政策见效下市场望步入基本面驱动新阶段,结构上科技制造确定性更强
- 《最终幻想14》水晶世界青魔法师职业任务全攻略
- 上海:推出乡村振兴领域优秀博士后创新计划,打造高潜力创新人才‘储备库’
- 春节机票价格跳水至百元,航司退差价政策各异引关注
- 浙江:到 2030 年,LNG 年接收能力达 4250 万吨
- 上海:启动乡村振兴博士后创新计划,打造高潜力人才‘蓄水池’
- 币界网晚讯速递:SHIB币价攀升至0.00002044美元,日内涨幅达2.10%
- 不知火舞《街霸6》惊艳换衣秀,细节之处尽显匠心,玩家为之痴狂
- 中国汽车:奋力争夺超豪华市场入场券