【math系列】《深度学习》中主成分分析(PCA)的一个知识点证明

 在Ian Goodfellow / Yoshua Bengios所著的《深度学习》第33页中:

argmax [ tr(d^{T}X^{T}Xd)]\: \: \: \:\: \: \: \: \: s.t.\: \:\: d^{T}d = 1

 该公式中最优的d是X^{T}X最大特征值对应的特征向量

  argmax [ tr(d^{T}X^{T}Xd)]\: \: \: \:\: \: \: \: \: s.t.\: \:\: d^{T}d = 1  

证明:d是X^{T}X最大特征值对应的特征向量

(我们在这里证明中的矩阵、向量的元素都是为实数,其中{\color{Red} X}为n维方阵,{\color{Red}d }

 \because\:(X^{T}X)^{T}=X^{T}X 

\therefore \:\: X^{T}X是实对称矩阵

那么存在一个正交矩阵Q,使得:

Q^{-1}X^{T}XQ= diag(\lambda _{1},\lambda _{2},\lambda _{3}......\lambda _{n})=\Lambda

令,  \lambda _{1}<\lambda _{2}<\lambda _{3}<......<\lambda _{n}

其中Q=(q _{1},q _{2},q _{3}......q _{n})             q_{i}X^{T}X的单位特征向量(i=1,2,3,......n)

由于q_{i}线性无关,则q _{1},q _{2},q _{3}......q _{n}可线性表示任何n维向量

公式为:a_{1}q_{1}+a _{2}q_{2}+a _{3}q_{3}+......+a _{n}q_{n}=d                       ………………………………………(1)

向量表示为:(q _{1}\: q _{2}\: q _{3}\: ......\: q _{n})(a_{1}\: a _{2}\: a _{3}\: ......\: a _{n})^{T}=d

(a_{1}\: a _{2}\: a _{3}\: ......\: a _{n})^{T}=\alpha 

则公式(1)可以表示为:Q\alpha =d

(Q\alpha) ^{T}X^{T}XQ\alpha=\alpha ^{T}(Q^{T}X^{T}XQ)\alpha=\alpha ^{T}(Q^{-1}X^{T}XQ)\alpha\: =\alpha ^{T}\Lambda \alpha

将二次型\alpha ^{T}\Lambda \alpha展开:

\alpha ^{T}\Lambda \alpha=a_{1}^{2}\lambda _{1}+a_{2}^{2}\lambda _{2}+a_{3}^{2}\lambda _{3}+......+a_{n}^{2}\lambda _{n}\leq \lambda _{n}(a_{1}^{2}+a_{2}^{2}+a_{3}^{2}+......+a_{n}^{2})

又由约束条件:d^{T}d = 1      

可得, d^{T}d = (Q\alpha)^{T}Q\alpha=\alpha^{T}Q^{T}Q\alpha=\alpha^{T}\alpha=1

则,\alpha ^{T}\Lambda \alpha\leq \lambda_{n}(a_{1}^{2}+a_{2}^{2}+a_{3}^{2}+......+a_{n}^{2}) =\lambda_{n}\alpha^{T}\alpha=\lambda_{n}

         \Rightarrow\alpha ^{T}\Lambda \alpha\leq \lambda_{n}

         \Rightarrow\max (\alpha ^{T}\Lambda \alpha)=\lambda_{n}

即取  \alpha{}'=(0\: 0\: 0.......0\: 1 )^{T} 时,\alpha {}'^{T}\Lambda {\alpha}'=\lambda_{n}

d=Q{\alpha }'=q_{n}             (q_{n}X^{T}X最大特征值对应的单位特征向量)

最后得   q_{n}=argmax [ tr(d^{T}X^{T}Xd)]\: \: \: \:\: \: \: \: \: s.t.\: \:\: d^{T}d = 1

证毕

 

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
上一篇 2022年5月25日 上午11:07
下一篇 2022年5月25日 上午11:11

相关推荐

本站注重文章个人版权,不会主动收集付费或者带有商业版权的文章,如果出现侵权情况只可能是作者后期更改了版权声明,如果出现这种情况请主动联系我们,我们看到会在第一时间删除!本站专注于人工智能高质量优质文章收集,方便各位学者快速找到学习资源,本站收集的文章都会附上文章出处,如果不愿意分享到本平台,我们会第一时间删除!