8月8日 消息:周一,微软透露了公司内部从2018 年就成立团队来负责找出如何攻击AI平台,从而揭示AI弱点。
在成立的五年里,微软的AI红队已经从一个实质上是实验性的项目发展成为一个完整的跨学科团队,由机器学习专家、网络安全研究人员,甚至社会工程师组成。该团队致力于使用传统的数字安全术语在微软内部和整个科技行业内传播其发现,这样这些想法就会更容易理解,而不需要许多人和组织还没有的专门的AI知识。但事实上,该团队已经得出结论,AI安全与传统的数字防御有重要的概念差异,这需要AI红队在其工作方式上有所不同。
“当我们开始的时候,问题是,‘你到底要做什么不同的事情?为什么我们需要一个AI红队?’”微软AI红队的创始人Ram Shankar Siva Kumar说。“但如果你把AI红队看作只是传统的红队,如果你只考虑安全性的心态,那可能是不够的。我们现在必须认识到负责任的AI方面,也就是AI系统失败的责任——所以生成攻击性内容、生成没有根据的内容。这是AI红队的圣杯。不仅要看安全性的失败,还要看负责任的AI失败。”
Shankar Siva Kumar说,花了一些时间才能突出这种区别,并说明AI红队的使命确实会有这种双重重点。早期的很多工作都与发布更传统的安全工具有关,比如 2020 年与非营利研发组织MITRE和其他研究人员合作推出的对抗性机器学习威胁矩阵。那一年,该团队还发布了开源的AI安全测试自动化工具,称为微软Counterfit。 2021 年,红队发布了一个额外的AI安全风险评估框架。
然而,随着时间的推移,随着解决机器学习缺陷和失败的紧迫性变得更加明显,AI红队也得以发展和扩展。
微软的AI红队不仅仅研究目前正在野外使用的攻击。Shankar Siva Kumar说,该团队专注于预测攻击趋势可能会走向哪里。这通常涉及强调红队使命中较新的AI问责性部分。当该团队在一个应用程序或软件系统中发现一个传统的漏洞时,他们经常与微软内部的其他团队合作来修复它,而不是花时间完全开发和提出自己的修复方案。 “在微软内部还有其他红队和其他Windows基础设施专家或者我们需要的任何东西。”Shankar Siva Kumar说。“对我来说,洞察力是AI红队现在不仅包括安全性失败,还包括负责任的AI失败。”
本文来源于站长之家,如有侵权请联系删除
小伙脑门砸核桃破吉尼斯世界纪录:一分钟砸273颗
平时用铁锤砸核桃都得费好大劲,现在有人用脑门砸核桃破吉尼斯世界纪录。8月7日,印度一名男子纳文库马尔一分钟内头砸核桃273颗,创造...
苹果亲民版Vision Pro细节出炉:内嵌iPhone充当屏幕
快科技8月8日消息,不久前,快科技曾报道了苹果获批的一项新专利,该专利能够将iPhone作为头戴式显示器的屏幕,以相对亲民的成本实...
联想集团计划秋季发布英特尔AI PC
网站可以阻止OpenAI网络爬虫 避免数据用于训练 GPT 模型
花妖歌词
海鲜女孩什么意思
刀郎颠倒歌歌词是什么
微信朋友圈大规模上线置顶功能怎么设置
我喜欢你冷冷态度面对我的小招数是什么歌
我们也是这个play的一部分吗是什么梗
用户名
密码
记住登录状态 忘记密码?
邮箱
确认密码
我已阅读并同意 用户协议