通用评估神经网络鲁棒性方法—CLEVER

介绍

神经网络鲁棒性评估一直是深度学习领域中一个热门的研究方向,该论文是通用评估神经网络鲁棒性方法的开山之作。作者将神经网络鲁棒性问题转换成局部Lipschitz常数的估计问题,并利用极值理论方法进行评估,进而提出了一种度量神经网络鲁棒性的通用方法-CLEVER,该方法可以对不可知的攻击方式进行评估,并且对于大规模的神经网络计算成本较少。该论文涉及到大量的数学推导,需要沉下心来慢慢琢磨。
通用评估神经网络鲁棒性方法—CLEVER
论文链接:https://arxiv.org/abs/1801.10578v1

数学符号简介

假定f%3A%5Cmathbb%7BR%7D%5E%7Bd%7D%5Crightarrow%5Cmathbb%7BR%7D%5EK表示的是一个神经网络分类器,其中d表示输入空间的维度,K表示的是输出空间的维度。x_0%20%5Cin%20%5Cmathbb%7BR%7D%5Ed表示干净的输入样本,x_a表示对抗样本,%5Cdelta%3Dx_a-x_0表示的是对抗扰动,%5C%7C%5Ccdot%5C%7C_p表示的p范数,其中p%5Cge%201%5CDelta_%7Bp%2C%5Cmathrm%7Bmin%7D%7D表示的是最小的对抗扰动。%5Cbeta_L表示的是对抗扰动的上界,%5Cbeta_U表示的是对抗扰动的下界。L_q%5Ej表示的是Lipschiz常数,L%5Ej_%7Bq%2Cx_0%7D表示的是局部Lipschitz常数。B_p%28x_0%2CR%29表示的以干净样本x_0为中心,半径为R的球体。%5Cmathrm%7BCDF%7D表示的是累积分布函数。

分类器稳健性的保证分析

本文作者对神经网络分类器的鲁棒性给出了严格的数学定理的形式,并且该定理只需要一个很宽泛的假设,即分类器函数是Lipschitz连续的。

定义1(扰动样本和对抗样本):给定一个输入向量x_0%5Cin%20%5Cmathbb%7BR%7D%5Ed,该样本对应的类别为K类,分类函数为f%3A%5Cmathbb%7BR%7D%5Ed%20%5Crightarrow%20%5Cmathbb%7BR%7D%5EK,预测类别为c%28x_0%29%3D%5Cargmax%5Climits_%7B1%5Cle%20i%20%5Cle%20K%7D%20f_i%28x_0%29。假设x_a是一个干净样本x_0的一个扰动样本 ,则存在扰动%5Cdelta%20%5Cin%20%5Cmathbb%7BR%7D%5Ed,有x_a%3Dx_0%2B%5Cdelta,其中%5CDelta_p%20%3D%20%5C%7C%5Cdelta%5C%7C_p。对抗样本则是能够使得分类器预测标签c%28x_a%29出错的扰动样本。无目标攻击特指找到一个对抗样本x_a,且有c%28x_a%29%5Cne%20c%28x_0%29。有目标攻击特指找到一个对抗样本x_a使得分类器预测的标签为c%28x_a%29%3Dt,其中t%5Cne%20c%28x_0%29

定义2(最小对抗扰动):给定一个输入向量x_0和分类器fx_0的最小的%5Cell_p对抗扰动表示为%5CDelta_%7Bp%2C%5Cmathrm%7Bmin%7D%7D

定义3(%5CDelta_%7Bp%2C%5Cmathrm%7Bmin%7D%7D下界):假定%5CDelta_%7Bp%2C%5Cmathrm%7Bmin%7D%7D为样本x_0的最小对抗扰动,则%5CDelta_%7Bp%2C%5Cmathrm%7Bmin%7D%7D下界表示为%5Cbeta_L,其中%5Cbeta_L%5Cle%20%5CDelta_%7Bp%2C%5Cmathrm%7Bmin%7D%7D,如果对于任意样本x_0的扰动样本有%5C%7C%5Cdelta%5C%7C_p%20%5Cle%20%5Cbeta_L,则该扰动样本不是对抗样本。

定义4(%5CDelta_%7Bp%2C%5Cmathrm%7Bmin%7D%7D上界):假定%5CDelta_%7Bp%2C%5Cmathrm%7Bmin%7D%7D为样本x_0的最小对抗扰动,则%5CDelta_%7Bp%2C%5Cmathrm%7Bmin%7D%7D上界表示为%5Cbeta_U,其中%5Cbeta_U%5Cge%20%5CDelta_%7Bp%2C%5Cmathrm%7Bmin%7D%7D,进而存在一个样本x_0的对抗样本有%5C%7C%5Cdelta%5C%7C_p%20%5Cge%20%5Cbeta_U

任何对抗性攻击的最小对抗性扰动的上限%5Cbeta_U很容易找到,但下限%5Cbeta_L不是。 %5Cbeta_L保证神经网络分类器对%5C%7C%5Cdelta%5C%7C_p%5Cle%20%5Cbeta_L的任何扰动都具有鲁棒性。

引理1(Lipschitz连续和梯度范数关系):令S%20%5Csubset%20%5Cmathbb%7BR%7D%5Ed是一个凸有界闭集,并且令h%28x%29%3AS%5Crightarrow%20%5Cmathbb%7BR%7D是一个在包含区域S的开集中连续可微函数。如果h%28x%29是一个有Lipschitz常数L_q的Lipschitz函数,则对于任意x%2Cy%5Cin%20S,以下不等式成立%7Ch%28x%29-h%28y%29%7C%5Cle%20L_q%5C%7Cx-y%5C%7C_p其中L_q%3D%5Cmax%5C%7B%5C%7C%5Cnabla%20h%28x%29%5C%7C_q%3Ax%5Cin%20S%5C%7D%5Cnabla%20h%28x%29%3D%28%5Cfrac%7B%5Cpartial%20h%28x%29%7D%7B%5Cpartial%20x_1%7D%2C%5Ccdots%2C%5Cfrac%7B%5Cpartial%20h%28x%29%7D%7B%5Cpartial%20x_d%7D%29%5E%7B%5Ctop%7Dh%28x%29的梯度,并且有%5Cfrac%7B1%7D%7Bp%7D%2B%5Cfrac%7B1%7D%7Bq%7D%3D11%5Cle%20p%2Cq%5Cle%20%5Cinfty

证明:对于给定任意的xy,令d%3D%5Cfrac%7By-x%7D%7B%5C%7Cy-x%5C%7C_p%7D表示的是x指向y的单位向量,其中有r%3D%5C%7Cy-x%5C%7C_p。定义一个一元函数u%28z%29%3Dh%28x%2Bzd%29,并且有u%280%29%3Dh%28x%29u%28r%29%3Dh%28y%29,可知D%5E%7B%2B%7Dh%28x%2Bzd%3Bd%29D%5E%7B%2B%7Dh%28x%2Bzd%3B-d%29分别表示的是u%28x%29的右导数和左导数,进而则有u%5E%7B%5Cprime%7D%28z%29%3D%5Cleft%5C%7B%5Cbegin%7Barray%7D%7Bll%7DD%5E%7B%2B%7Dh%28x%2Bzd%3Bd%29%5Cle%20L_q%26%20%5Cmathrm%7Bif%7D%5Ctext%7B%20%7DD%5E%7B%2B%7Dh%28x%2Bzd%3Bd%29%3DD%5E%7B%2B%7Dh%28x%2Bzd%3B-d%29%5C%5C%5Cmathrm%7Bundefined%7D%26%5Cmathrm%7Bif%7D%5Ctext%7B%20%7DD%5E%7B%2B%7Dh%28x%2Bzd%3Bd%29%5Cne%20D%5E%7B%2B%7Dh%28x%2Bzd%3B-d%29%5Cend%7Barray%7D%5Cright.对于ReLU网络,至少有有限个点z%5Cin%280%2C1%29使得g%5E%7B%5Cprime%7D%28z%29。这是因为每个不连续的z都是由某些ReLU激活引起的,并且只有有限个组合,令这些点为0%3Dz_0%3Cz_1%3C%5Ccdots%20%3C%20z_%7Bk-1%7D%3Cz_k%3D1,在每个区间上分别使用微积分的基本定理,则对于每个i,存在%5Cbar%7Bz%7D_i%5Cin%28z_i%2Cz_%7Bi-1%7D%29%5Cbegin%7Baligned%7Du%28r%29-u%280%29%26%20%5Cle%20%5Csum%5Climits_%7Bi%3D1%7D%5Ek%20%7Cu%28z_i%29-u%28z_%7Bi-1%7D%29%7C%5C%5C%26%3D%20%5Csum%5Climits_%7Bi%3D1%7D%5Ek%20%7Cu%5E%7B%5Cprime%7D%28%5Cbar%7Bz%7D_i%29%28z_i-z_%7Bi-1%7D%29%7C%5C%5C%20%26%20%5Cle%20%5Csum%5Climits_%7Bi%3D1%7D%5Ek%20L_q%7Cz_i-z_%7Bi-1%7D%7C%5C%5C%20%26%3D%20L_q%5C%7Cx-y%5C%7C%20%5Cend%7Baligned%7D

定理1(无目标攻击下界%5Cbeta_L):令x_0%5Cin%20%5Cmathbb%7BR%7D%5Edf%3A%5Cmathbb%7BR%7D%5Ed%5Crightarrow%20%5Cmathbb%7BR%7D%5EK是一个多分类器,其中f_i是连续可微的,令c%3D%5Cargmax%5Climits_%7B1%5Cle%20i%20%5Cle%20K%7Df_i%28x_0%29表示的是分类器预测样本x_0的类别。对于所有%5Cdelta%20%5Cin%20%5Cmathbb%7BR%7D%5Ed,则有%5C%7C%5Cdelta%5C%7C_p%20%5Cle%20%5Cmin%5Climits_%7Bj%20%5Cne%20c%7D%5Cfrac%7Bf_c%28x_0%29-f_j%28x_0%29%7D%7BL%5Ej_q%7D其中%5Cargmax%5Climits_%7B1%20%5Cle%20i%20%5Cle%20K%7Df_i%28x_0%2B%5Cdelta%29%3Dc,且有%5Cfrac%7B1%7D%7Bp%7D%2B%5Cfrac%7B1%7D%7Bq%7D%3D11%5Cle%20p%2Cq%20%5Cle%20%5CinftyL_q%5Ej是函数f_c%28x%29-f_j%28x%29%5Cell_p范数的Lipschiz常数。换言之,%5Cbeta_L%3D%5Cmin%5Climits_%7Bj%5Cne%20c%7D%5Cfrac%7Bf_c%28x_0%29-f_j%28x_0%29%7D%7BL%5Ej_q%7D是最小的扰动下界。

证明:根据引理1可知,假定g%28x%29%3A%3Df_c%28x%29-f_j%28x%29是一个有Lipschitz常数L%5Ej_q的Lipschitz连续的函数,则有%7Cg%28x%29-g%28y%29%7C%5Cle%20L%5Ej_q%20%5C%7Cx-y%5C%7C_px%3Dx_0%2B%5Cdeltay%3Dx_0,可以得到%7Cg%28x_0%2B%5Cdelta%29-g%28x_0%29%7C%5Cle%20L%5Ej_q%20%5C%7C%5Cdelta%5C%7C_p其中可以将上面公式化简为以下形式g%28x_0%29-L%5Ej_q%5C%7C%5Cdelta%5C%7C_p%20%5Cle%20g%28x_0%2B%5Cdelta%29%5Cle%20g%28x_0%29%2BL%5Ej_q%20%5C%7C%5Cdelta%5C%7C_pg%28x_0%2B%5Cdelta%29%3D0时,此时对抗样本被发现。根据上公式,g%28x_0%2B%5Cdelta%29的下界为g%28x_0%29-L%5Ej_q%5C%7C%5Cdelta%5C%7C_p。如果%5C%7C%5Cdelta%5C%7C_p是足够的小以至于g%28x_0%29-L%5Ej_q%5C%7C%5Cdelta%5C%7C_p%20%5Cge%200,则此时没有对抗样本生成g%28x_0%29-L_q%5Ej%5C%7C%5Cdelta%5C%7C_p%20%5Cge%200%20%5CLongrightarrow%20%5C%7C%5Cdelta%5C%7C_p%20%5Cle%20%5Cfrac%7Bg%28x_0%29%7D%7BL%5Ej_q%7D%5CLongrightarrow%20%5C%7C%5Cdelta%5C%7C_p%20%5Cle%20%5Cfrac%7Bf_c%28x_0%29-f_j%28x_0%29%7D%7BL%5Ej_q%7D为了能够达到%5Cargmax%5Climits_%7B1%20%5Cle%20i%20%5Cle%20K%7Df_i%28x_0%2B%5Cdelta%29%3Dc,取在g%5Cne%20c上,取%5C%7C%5Cdelta%5C%7C_p上界的最小值,则有%5C%7C%5Cdelta%5C%7C_p%20%5Cle%20%5Cmin%5Climits_%7Bj%5Cne%20c%7D%5Cfrac%7Bf_c%28x_0%29-f_j%28x_0%29%7D%7BL%5Ej_q%7D
定理1的一维情况的直观图如下所示,函数g%28x%29%3Df_c%28x%29-f_j%28x%29x_0附近的值位于由两条线通过%28x_0%2Cg%28x_0%29%29形成的双圆锥内,斜率等于%5Cpm%20L_q,其中L_q表示的是函数g%28x%29在点x_0附近的Lipschitz常数。换句话说,g%28x%29x_0附近的函数值,即g%28x_0%2B%5Cdelta%29可以由g%28x_0%29%5Cdelta和Lipschitz常数L_q所限定。当g%28x_0%2B%5Cdelta%29减小到通用评估神经网络鲁棒性方法—CLEVER0时,则此时会发现一个对抗样本,%5Cdelta的最小变化为%5Cfrac%7Bg%28x_0%29%7D%7BL_q%7D
通用评估神经网络鲁棒性方法—CLEVER
注意1:L_q%5Ej是包含交叉项f_c%28x%29-f_j%28x%29函数的Lipschitz常数,进而可以称为交叉Lipschitz常数。

推论1(无目标攻击%5Cbeta的形式化保证):令L_%7Bq%2Cx_0%7D%5Ej是函数f_c%28x%29-f_j%28x%29在点x_0处的局部Lipschtiz常数,x的取值范围为B_p%28x_0%2CR%29%3D%5C%7Bx%5Cin%5Cmathbb%7BR%7D%7C%5C%7Cx-x_0%5C%7C_p%20%5Cle%20R%5C%7D%5Cdelta%20%5Cin%20B_p%280%2CR%29。由定理1可知,可以得到%5C%7C%5Cdelta%5C%7C_p%20%5Cle%20%5Cmin%5Cleft%5C%7B%5Cmin%5Climits_%7Bj%20%5Cne%20c%7D%20%5Cfrac%7Bf_c%28x_0%29-f_j%28x_0%29%7D%7BL%5Ej_%7Bq%2Cx_0%7D%7D%5Cright%5C%7D

推论2(有目标攻击%5Cbeta的形式化保证):令L_%7Bq%2Cx_0%7D%5Ej是函数f_c%28x%29-f_j%28x%29在点x_0处的局部Lipschtiz常数,x的取值范围为B_p%28x_0%2CR%29%3D%5C%7Bx%5Cin%5Cmathbb%7BR%7D%7C%5C%7Cx-x_0%5C%7C_p%20%5Cle%20R%5C%7D%5Cdelta%20%5Cin%20B_p%280%2CR%29。对于给定的目标类别j,则有%5C%7C%5Cdelta%5C%7C_p%20%5Cle%20%5Cmin%5Cleft%5C%7B%5Cfrac%7Bf_c%28x_0%29-f_j%28x_0%29%7D%7BL%5Ej_%7Bq%2Cx_0%7D%7D%2CR%5Cright%5C%7D

进一步可以将定理1扩展成不可微的函数的特例,比如ReLU激活函数。在这种情况下,引理1中使用的Lipchitz常数可以是替换为方向导数的最大范数。

引理2:(ReLU网络%5Cbeta_L的形式保证):令h%28%5Ccdot%29是一个l层ReLU神经网络,第i层的权重为W_i,其中忽视偏差项h%28x%29%3D%5Csigma%28W_l%28%5Csigma%28W_%7Bl-1%7D%5Ccdots%20%5Csigma%28W_1x%29%29%29其中%5Csigma%28u%29%3D%5Cmax%280%2Cu%29。令S%5Csubset%20%5Cmathbb%7BR%7D%5Ed是一个凸闭包集合,如果h%28x%29是Lipschitz连续,则以下等式成立L_q%3D%5Csup%5Climits_%7Bx%5Cin%20S%7D%5C%7B%7C%5Csup%5Climits_%7B%5C%7Cd%5C%7C%3D1%7DD%5E%7B%2B%7D%20h%28x%3Bd%29%7C%5C%7D其中D%5E%7B%2B%7Dh%28x%3Bd%29%3D%5Clim%5Climits_%7Bt%5Crightarrow%200%5E%7B%2B%7D%7D%5Cfrac%7Bh%28x%2Btd%29-h%28x%29%7D%7Bt%7D是单向导数,则此时定理1,推论1,推论2都成立。

基于极值理论的估计L_%7Bq%2Cx_0%7D%5Ej

定理2(Fisher-Tippett-Gnedenko):如果存在一序列实数对%28a_n%2Cb_n%29使得a_n%3E0%5Clim%5Climits_%7Bn%20%5Crightarrow%20%5Cinfty%7DF%5En_Y%28a_n%20y%20%2Bb_n%29%3DG%28y%29,其中G是一个非退化分布函数,则由如下公式成立%5Cmathrm%7BGumbel%5Ctext%7B%20%7D%20class%7D%5Ctext%7B%20%7D%28%5Cmathrm%7BType%7D%5Ctext%7B%20%7D%5Cmathrm%7BI%7D%29%3A%5Ctext%7B%20%7DG%28y%29%3D%5Cexp%5C%7B-%5Cexp%20%5B-%5Cfrac%7By-a_W%7D%7Bb_W%7D%5D%20%5C%7D%2C%5Ctext%7B%20%7Dy%5Cin%20%5Cmathbb%7BR%7D%5Cmathrm%7BFrechet%5Ctext%7B%20%7Dclass%20%5Ctext%7B%20%7D%28Type%20%5Ctext%7B%20%7DII%29%7D%3A%5Ctext%7B%20%7DG%28y%29%3D%5Cleft%5C%7B%5Cbegin%7Barray%7D%7Bll%7D0%2C%26%5Cmathrm%7Bif%7D%5Ctext%7B%20%7Dy%3C%20a_W%2C%5C%5C%20%5Cexp%5Cleft%5C%7B-%28%5Cfrac%7By-a_W%7D%7Bb_W%7D%29%5E%7B-c_W%7D%5Cright%5C%7D%2C%26%5Cmathrm%7Bif%7D%5Ctext%7B%20%7Dy%5Cge%20a_W%2C%5Cend%7Barray%7D%5Cright.%5Cmathrm%7BReverse%5Ctext%7B%20%7DWeibull%5Ctext%7B%20%7Dclass%5Ctext%7B%20%7D%28Type%5Ctext%7B%20%7DIII%29%3A%7D%5Ctext%7B%20%7DG%28y%29%3D%5Cleft%5C%7B%5Cbegin%7Barray%7D%7Bll%7D%5Cexp%5C%7B-%28%5Cfrac%7Ba_W%20-%20y%7D%7Bb_W%7D%29%5E%7Bc_W%7D%5C%7D%2C%26%5Cmathrm%7Bif%7D%5Ctext%7B%20%7Dy%3Ca_W%2C%5C%5C1%2C%26%5Cmathrm%7Bif%7D%5Ctext%7B%20%7Dy%5Cge%20a_W%20%5Cend%7Barray%7D%5Cright.其中a_W%5Cin%20%5Cmathbb%7BR%7Db_W%20%3E0c_W%20%3E0分别是位置,尺寸和形状参数。

定理2意味着样本的最大值遵循以上三个分布族中的一个。如果g%28x%29有一个有界的Lipschitz常数,%5C%7C%5Cnabla%20g%28x%5E%7B%28i%29%7D%29%5C%7C_q是有界的,那么它的极限分布一定有一个有限的右端点。论文作者主要reverse Weibull class感兴趣,因为它的累积概率分布有一个有限的右端点a_W。右端点显示了分布的上极限,或被成为极值。这个极值就是局部交叉Lipschitz常数L%5Ej_%7Bq%2Cx_0%7D,在该论文中,作者主要是要去估计这个常数。首先在分布B_p%28x_0%2CR%29中生成N_sx%5E%7B%28i%29%7D的样本,每一个批次中均匀且独立,共有N_b个批次数据量。然后去计算%5C%7C%5Cnabla%20g%28x%5E%7B%28i%29%7D%29%5C%7C,在集合S中保存保存下每个批次的最大值。接下来,作者对反向威布尔分布参数进行了极大似然估计,并且位置估计%5Chat%7Ba%7D_W被用作去估计L%5Ej_%7Bq%2Cx_0%7D

定理3(单隐层神经网络F_Y%28y%29):考虑一个神经网络f%3A%5Cmathbb%7BR%7D%5Ed%20%5Crightarrow%20%5Cmathbb%7BR%7D%5EK,其中输入为x_0%5Cin%20%5Cmathbb%7BR%7D%5Ed,隐层有U个神经元且激活函数为ReLU激活函数。如果从球B_p%28x_0%2Cp%29中进行均匀采样,则梯度%5C%7C%5Cnabla%20g%28x%29%5C%7C_q的累积分布函数记作F_Y%28y%29,并且该分布函数是分段线性的,共有M%3D%5Csum%5Climits_%7Bi%3D0%7D%5Ed%20C%5Ei_U段。给定cj,则有g%28x%29%3Df_c%28x%29-f_j%28x%29,其中%5Cfrac%7B1%7D%7Bp%7D%2B%5Cfrac%7B1%7D%7Bq%7D%3D11%20%5Cle%20p%2Cq%20%5Cle%20%5Cinfty

证明:单隐层第j_%7Bth%7D个神经元的输出可以表示为f_j%28x%29%3D%5Csum%5Climits_%7Br%3D1%7D%5EU%20V_%7Bjr%7D%5Ccdot%20%5Csigma%5Cleft%28%5Csum%5Climits_%7Bi%3D1%7D%5Ed%20W_%7Bri%7D%5Ccdot%20x_i%2Bb_r%5Cright%29%3D%5Csum%5Climits_%7Br%3D1%7D%5EUV_%7Bjr%7D%5Ccdot%20%5Csigma%28w_rx%2Bb_r%29其中%5Csigma%28z%29%3D%5Cmax%28z%2C0%29是ReLU激活函数,WV分别表示的是第一层和第二层的权重矩阵,w_r表示的矩阵W的第r行,则可以计算g%28x%29%5C%7C%5Cnabla%20g%28x%29%5C%7C_q表示为%5Cbegin%7Baligned%7Dg%28x%29%3Df_c%28x%29-f_j%28x%29%26%3D%5Csum%5Climits_%7Br%3D1%7D%5EU%20V_%7Bcr%7D%5Ccdot%20%5Csigma%28w_r%20x%2Bb_r%29-%5Csum%5Climits_%7Br%3D1%7D%5EU%20V_%7Bjr%7D%5Ccdot%20%5Csigma%28w_r%20x%2Bb_r%29%5C%5C%26%3D%5Csum%5Climits_%7Br%3D1%7D%5EU%28V_%7Bcr%7D-V_%7Bjr%7D%29%5Ccdot%20%5Csigma%28w_r%20x%2Bb_r%29%5Cend%7Baligned%7D并且则有%5C%7C%5Cnabla%20g%28x%29%5C%7C_q%20%3D%20%5Cleft%5C%7C%5Csum%5Climits_%7Br%3D1%7D%5EU%5Cmathbb%7BI%7D%28w_r%20x%2Bb_r%29%28V_%7Bcr%7D-V_%7Bjr%7D%29w%5E%7B%5Ctop%7D_r%5Cright%5C%7C_q其中%5Cmathbb%7BI%7D%28z%29表示的是一个一元指示函数%5Cmathbb%7BI%7D%28z%29%3D%5Cleft%5C%7B%5Cbegin%7Barray%7D%7Bll%7D1%2C%26%5Cmathrm%7Bif%7D%5Ctext%7B%20%7Dz%3E0%5C%5C0%2C%26%5Cmathrm%7Bif%7D%5Ctext%7B%20%7Dz%20%5Cle%200%5Cend%7Barray%7D%5Cright.
通用评估神经网络鲁棒性方法—CLEVER

如上图所示,超平面w_r%20x%20%2Bb_r%3D0%2Cr%5Cin%5C%7B1%2C%5Ccdots%2CU%5C%7Dd维空间%5Cmathbb%7BR%7D%5Ed划分为不同的区域,每个区域满足不同的不等式约束,如w_%7Br_%2B%7Dx%2Bb_%7Br_%2B%7D%3E0w_%7Br_-%7Dx%2Bb_%7Br_-%7D%3C0。给定x,对于任何一个w_rx%2Bb_r,我们可以通过查看w_rx%2Bb_r来判断它属于哪个区域。同一区域内所有点的梯度范数是相同的,即对于任意满足%5Cmathbb%7BI%7D%28w_rx_1%29%3D%5Cmathbb%7BI%7D%28w_rx_2%2Bb_r%29x_1x_2,都可以推断出%5C%7C%5Cnabla%20g%28x_1%29%5C%7C%3D%5C%7C%5Cnabla%20g%28x_2%29%5C%7C。由于在具有 U 个超平面的 d 维空间中最多有 M%3D%5Csum%5Climits_%7Bi%3D0%7D%5Ed%20C_U%5Ei 个区域,因此梯度函数 %5C%7C%5Cnabla%20g%28x%29%5C%7C_q 最多可以取 M 个不同的值。

如果在以x_0为圆心,R为半径的球体B_p%28x_0%2CR%29上均匀采样,并记%5C%7Cg%28x%29%5C%7C_q为随机变量Y,当随机变量Y的分布为离散时,其分布函数至少为%5C%7Cg%28x%29%5C%7C_q。不失一般性,假设YM_0%20%3C%20M不同的取值,令m_%7B%281%29%7D%2Cm_%7B%282%29%7D%2C%5Ccdots%2Cm_%7B%28M_0%29%7D按升序排列,Y的概率分布函数F_Y%28y%29可定义为:中E容量。

给定一个样本x_0,分类器函数为f%28x_0%29,目标类别为j。分类器鲁棒性的有目标攻击的CLEVER分数能通过g%28x_0%29L_%7Bq%2Cx_0%7D%5Ej,同理无目标攻击的CLEVER也可以被计算出来,具体的算法流程图如下所示
通用评估神经网络鲁棒性方法—CLEVER
通用评估神经网络鲁棒性方法—CLEVER

实验结果

如下图所示来自不同数据集和网络结构的图像的交叉Lipschitz常数样本的概率分布函数和拟合的反向威布尔分布。还显示了估计的最大似人估计的参数、p值和K-S检验统计量D。
通用评估神经网络鲁棒性方法—CLEVER
如下图所示,如果p值大于0.05,则不能拒绝零假设,这意味着基础数据样本很好地符合反向威布尔分布。可以发现,所有数字都接近100%,从经验上验证了可以使用反向威布尔分布作为 梯度范数。因此,反向威布尔分布(即极值)的拟合位置参数%5Chat%7Ba%7D_W可以是用于计算CLEVER分数的局部交叉Lipschitz常数的良好估计。
通用评估神经网络鲁棒性方法—CLEVER
下面两个表格分别表示了在L_%5CinftyL_2范数下,CLEVE分数与CW、I-FSGM以及SLOPE这四种评估方法在不同条件设置下的实验结果,对比实验结果可以发现,针对不同的神经网络模型CLEVER分数更好的体现出不同扰动的攻击程度,对于有防御机制的深度学习模型,CLEVER的分数也有显著的提高,说明该模型的鲁棒性能更好。
通用评估神经网络鲁棒性方法—CLEVER

通用评估神经网络鲁棒性方法—CLEVER

版权声明:本文为博主鬼道2022原创文章,版权归属原作者,如果侵权,请联系我们删除!

原文链接:https://blog.csdn.net/qq_38406029/article/details/123174565

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
青葱年少的头像青葱年少普通用户
上一篇 2022年3月11日 上午11:39
下一篇 2022年3月11日 下午12:09

相关推荐