切换到宽版
  • 653阅读
  • 0回复

[智能应用]破解人工智能系统的四种攻击方法! [复制链接]

上一主题 下一主题
离线huozm32831

UID: 329002

精华: 1097
职务: 超级斑竹
级别: 玉清道君
 

发帖
106217
金币
5833
道行
19523
原创
29307
奖券
17275
斑龄
190
道券
10126
获奖
0
座驾
 设备
EOS—7D
 摄影级
专家级认证
在线时间: 20050(小时)
注册时间: 2007-11-29
最后登录: 2024-11-27
只看楼主 倒序阅读 使用道具 楼主  发表于: 2022-02-07
— 本帖被 兵马大元帅 执行锁定操作(2024-04-22) —
没有人喜欢早上起床,但现在人工智能驱动的算法可以设置我们的闹钟、管理我们家中的温度设置以及选择适合我们心情的播放列表,贪睡按钮的使用越来越少。人工智能安全辅助系统使我们的车辆更安全,人工智能算法优化警察巡逻,使我们开车经过和居住的社区也更安全。在我们周围,人工智能无处不在,它为塑造我们环境的工具和设备提供动力,增强和协助我们的日常生活,并推动我们选择吃什么、穿什么、买什么——无论是否经过我们的同意。然而,当我们的智能设备开始决定我们当中谁是可疑的,当一个边缘化社区是不成比例地成为警察巡逻的目标,当一辆自动驾驶汽车撞死一个乱穿马路的人时。

人工智能在日常生活中无处不在,战争也不例外。报道甚至表明,2020 年 11 月对伊朗顶级核科学家的暗杀是由一种自主的、人工智能增强的步枪执行的,该步枪每分钟可发射 600 发子弹。俄罗斯和中国正在迅速发展,并在某些情况下部署支持人工智能的非正规战争能力,而为我们的日常生活提供动力的人工智能系统开始出现同样的裂痕、偏见和不良后果只是时间问题出现在用于发动战争并旨在杀戮的人工智能系统中。

对抗方法

训练投毒

这一发展阶段是对手可以通过一种称为投毒的技术攻击人工智能系统的第一个阶段。中毒的目的是改变 AI 系统在训练中使用的数据,从而使 AI 学习到的数据存在缺陷。此过程会在系统投入运行之前攻击系统的完整性。

制作恶意原始数据以得出有缺陷的分析结果的基本方法与传统的军事欺骗相同。“水银行动”是二战期间盟军入侵诺曼底之前的一项欺骗行动,旨在攻击德国的防御分析模型。为了完成这次攻击,盟军创建了一支由乔治·巴顿中将领导的幽灵军队(中毒数据),以歪曲德国人对他们应该将防御集中在哪里(模型输出)的分析(模型)。

可以通过多种方式确保我们的系统正确学习。详细的数据管理可以帮助减轻风险,但会消耗宝贵的时间和资源。相反,可扩展的解决方案包括数据治理策略,以提高用于 AI 系统的数据的完整性和代表性。在 AI 生命周期的所有阶段,适当放置技术控制和训练有素的人员将进一步降低中毒攻击的风险。

规避攻击

下一种攻击类型—一规避,依赖于类似的基本攻击原理,但在 AI 系统运行时部署它们。规避攻击不是毒化 AI 正在学习的内容,而是针对 AI 学习的应用方式。这听起来可能微不足道。但是,它对攻击者成功所需的资源以及防御者需要采取的行动具有重大影响。在投毒攻击中,攻击者需要控制或操纵用于训练模型的数据的能力。在规避攻击中,攻击者至少需要能够在操作期间控制 AI 系统的输入。



规避攻击是研究最广泛的对抗性方法之一,因此防御所有可能的攻击媒介将被证明具有挑战性。然而,强化我们的人工智能系统的步骤可以增加我们对它们按预期运行的整体信心。其中一个步骤是在部署之前实施评估工具。这些工具针对各种已知的对抗性方法测试 AI 系统,为我们提供对其稳健性的定量测量。在操作过程中尽可能保持人员参与也可以减轻规避攻击。

逆向工程

前两类攻击在开发和操作期间针对 AI 系统具有相似的基本原则。这些攻击也与欺骗和伪装等传统军事概念有着天然的相似之处。然而,人工智能系统面临的风险并不那么简单,在开发和运营之外还存在潜在的漏洞。人工智能系统在维护或存储时存在哪些漏洞?如果对手通过网络入侵或在战场上捕获下一代支持人工智能的无人机来访问人工智能系统,会有什么风险?

有了这些信息,对手就可以开发出自己的人工智能系统版本。除了使其他对抗性攻击更容易开发之外,直接了解人工智能如何做出决策还使对手能够预测我们的反应或完全避免它们。这种对我们人工智能增强决策过程的洞察力将对我们在整个冲突过程中的运营安全构成重大威胁。

保护我们的系统免受逆向工程可能很困难,特别是因为任务要求可能要求系统允许许多查询或加权输出,而不是简单的二元决策。这凸显了需要一系列量身定制的政策来管理与对抗性方法相关的风险。这些可能包括对支持人工智能的系统的严格问责,特别是那些部署在边缘的系统,如无人机或智能护目镜。此外,我们可以通过只允许授权用户查看系统输出来施加访问限制。

推理攻击

最后一类攻击,称为推理攻击,与逆向工程有关。对手不是试图恢复 AI 系统学到的东西,而是试图提取 AI 系统在其学习过程中使用的数据。这是一个微妙但有意义的区别,对在敏感或分类数据上训练的模型具有重要意义。

为了进行推理攻击,与逆向工程一样,对手需要能够将输入发送到模型并观察输出。通过一组输入和输出,对手可以训练一个对抗性 AI,该 AI 预测是否使用给定的数据点来训练我们的友好模型。



与逆向工程非常相似,管理与推理攻击相关的风险将主要通过策略决策来处理。除了访问策略决策之外,在 AI 系统的训练中何时使用敏感或机密数据、使用什么类型的数据以及使用多少数据等问题,也将面临艰难的决策。这些决策需要平衡性能与风险,以开发仍能满足任务要求的人工智能系统。

对大国竞争的启示

当然,这显然不是对所有对抗方法的详尽解释。然而,这个框架应该提供一个充分的概述,领导者可以借此探索将人工智能系统整合到我们的队伍中的积极和消极的全部影响。美国和我们的对手都在追求这项技术,以在未来的战略竞争中获得不对称优势,双方都无法赢得这样的优势。

数据不对称

当我们考虑技术和不对称优势时,从第一原则开始并考虑对“原材料”的相对获取是有用的。在人工智能系统中,原材料是数据——大量的数据。美国是否可以获得与我们的对手相同质量和数量的数据?鉴于美国国家安全中围绕隐私和数据安全的法律因素和社会规范——它们本身就是关键话题——答案显然不是“是”。这表明美国在人工智能系统的开发和部署方面将处于固有劣势。

开发能力

人工智能只是一种工具

人工智能是一种工具。像任何其他工具一样,它具有固有的优势和劣势。通过对这些优势和劣势进行深思熟虑和现实的评估,美国可以在人工智能的风险和回报之间找到最佳平衡。虽然人工智能可能无法提供美国在战略竞争中寻求的最大不对称优势,但我们也不能将技术让给在该领域大量投资的对手.。相反,美国可以而且应该支持人工智能的道德使用,促进对强大人工智能的研究,并为人工智能系统开发防御性最佳实践。在了解人工智能系统的脆弱性和局限性的基础上实施这些行动和其他行动,将引导美国更有效地将人工智能纳入大国竞争时代的战略。
山庄提示: 道行不够,道券不够?---☆点此充值☆