基于梯度扰动探索对抗攻击与对抗样本
发布时间:2019-04-27 19:12:06 所属栏目:策划 来源:绿盟科技
导读:概述 近两年研究人员通过对AI模型的安全性分析发现,机器学习模型和神经网络模型都容易受到恶意用户的对抗攻击,攻击者可以通过生成对抗样本的方式攻击AI模型并误导AI模型做出错误的判断,这一安全问题备受关注。 目前已有的机器学习模型和神经网络模型都
上式中第一项ξ 是一个需要经验确定的权重参数,用来平衡攻击的隐蔽性与攻击强度。第一项的最小化意味着需要尽量使样本在模型中的输出不为其对应标签。第二项中的τ 初始化为最大允许的扰动幅度,通常为数据最大变化量的无穷范数的6.25%,每当第二项优化到0时,τ会以0.9x的速度递减。如下图所示逐步更新第二项的意义在于逐渐限制最大允许扰动幅度,从而增强对抗攻击的隐蔽性。 综上所述, C&W算法在继承简单多步迭代攻击的基础之上,改进其目标优化函数,使其逐步收紧对扰动幅度的限制,从而达到减小对抗样本扰动幅度的要求,进而使对抗样本的隐蔽性提升。 4. 基于集成的黑盒攻击算法 在实际的应用场景中,攻击者可能无法获取到AI模型的一些详细信息,例如模型的参数和神经网络的结构,但是攻击者可以利用神经网络模型之间具有迁移特性的特点,采用黑盒攻击算法对目标进行攻击。 (编辑:衡阳站长网) 【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容! |