矩阵理论基本知识

1、矩阵范数、算子范数

矩阵无穷范数是非自相容范数，矩阵1-范数、矩阵2-范数是自相容范数
矩阵2-范数：Frobenius范数，是向量2-范数的自然推广。
2. 酉等价保F范数
若矩阵范数是相容范数：则必存在向量范数与之相容。
1. 证明过程：构造
2. 矩阵的特征值一定小于等于该矩阵的相容矩阵范数。
3. 反过来说，如果矩阵的特征值大于了某个矩阵范数，则该矩阵范数一定不相容。
任意向量范数：则必存在矩阵范数与之相容，其中放大效果的最大值称为算子范数。
1. 算子范数再大，不过向量范数的上确界，鸡头始终是鸡
2. 和向量范数相容的矩阵范数，终归是矩阵范数，始终有，所以矩阵范数会大于等于算子范数。
3. 换句话说，和向量范数相容的矩阵范数的下确界是算子范数。
4. 算子范数是自相容矩阵范数。
常见算子范数：
1. 从属于向量1-范数的算子范数称为算子1范数：极大绝对列和范数；
2. 从属于向量2-范数的算子范数称为算子2范数：谱范数=；
3. 从属于向量∞-范数的算子范数称为算子无穷范数：极大绝对行和范数；
4. 证明思路：存在上界，上界可达。
算子范数的性质：是算子范数
2. ；
4. ；
HÖlder 范数：p-范数。可以p取1和无穷。
HÖlder不等式：

2、矩阵分解

已经写过一期了，见：矩阵理论–矩阵分解

补充：

正规矩阵A性质：矩阵理论基本知识

；
A的特征子空间和A^H的特征子空间完全相同。
A的特征子空间正交，即不同特征值的特征向量必正交。
A是单纯矩阵

任意矩阵A：

和的非零特征值完全相同，数值相同、代数重复度相同。
rank(A)=rank(A^H)=rank(A^HA)=rank(AA^H)。证明很重要
1. A^HA的核空间包含A的核空间，即Ax=0，则必有A^HAx=0
2. A的核空间包含A^HA的核空间，即A^HAx=0，则必有x^HA^HAx=<Ax,Ax>=0，即Ax=0
3. N(A^HAx)=N(A)，由秩-零化度定理知：rank(A)=rank(A^HA)
和都是半正定矩阵。
A的特征值和奇异值的关系：
1. 若A为非方阵，则A没有特征值。但A有奇异值。
2. 如果A为方阵，则A的特征值的平方和<=A的奇异值的平方和。（schur不等式）
3. 如果A为正规矩阵，则A的特征值的平方和==A的奇异值的平方和。
4. 正规矩阵酉相似于对角阵（谱分解），任意方阵酉相似于三角阵（shcur分解）。

3、矩阵的估计

1、有关特征值的不等式

舒尔不等式：
Hirsh不等式：
Bendixson不等式：
1. n(n-1)是因为实矩阵的反共轭对称分量是的对角元为0。
2. 除以2是因为实矩阵的复特征根成对出现。
3. 其余证明同Hirsh不等式
Browne不等式：
Hadamard不等式：
1. 施密特正交化：A = BR，R是单位正线上三角

2、盖尔圆盘定理

关于圆盘定理1、圆盘定理2:Gerschgorin定理，以及用python绘制Gerschgorin圆盘动图
有的盖尔圆里面可能没有特征值（盖尔圆盘连通，将导致特征值函数不连续）
n阶矩阵A的n个圆盘均孤立，则A可对角化（充分不必要）。
n阶实矩阵A的n个圆盘均孤立，则A的特征根均为实数。
行严格对角占优矩阵A：
1. 若A的对角元全大于0，则A的所有特征值有正实部；
2. 若A的对角元全大于0，且A是Hermite矩阵，那么A的所有特征值均为正数。

3、Hermite矩阵的变分特征

Courant-Fischer定理：Hermite矩阵的特征值估计——courant-fischer定理
Weyl定理（韦尔定理）：
1. A,B均为Hermite矩阵

4、矩阵分析

矩阵序列极限的运算规则：A^(k)、B^(k)的极限为A、B
1. 线性运算：aA^(k)+bB^(k) →aA+bB (k → +∞)
2. 乘：A^(k)B^(k) →AB (k → +∞)
3. 当A^(k)、A均可逆的时候：(A^(k))^-1 → A^-1 (k → +∞)
用矩阵范数定义矩阵序列极限：
收敛矩阵等价于谱半径r(A)<1
1. 称为收敛矩阵
矩阵级数绝对收敛的充要条件是正项级数收敛
Neumann级数：E+A+A²+A³+…… = (E-A)^-1. r(A)<1时成立
矩阵幂级数f(A)：数项幂级数f(z)收敛半径为r，若r(A)<r则f(A)绝对收敛
矩阵函数：收敛的矩阵幂级数的和S，记作f(A)
收敛半径判断方法：
1. 达朗贝尔判敛法： , R = 1/rho
2. 柯西判敛法：
四阶Jordan块的k次幂,特征值为a：

5、广义逆矩阵

逆，生来就是用于解方程组的。

逆：行列满秩。
单边逆：左逆列满秩；右逆行满秩。
1. 求法：高斯消元。
2. 列满秩矩阵：Ax=b
  1. 行初等变换，可以得到左逆。
  2. 有解的充要条件：（可拓展为AGb=b）
  3. 唯一解：
  4. 需要注意，左逆矩阵不唯一，也是列满秩矩阵A的左逆。
3. 行满秩矩阵：
  1. 列初等变换，可以得到右逆。
  2. 行满秩矩阵一定有解，且解不唯一。自由未知数的个数为n-m
  3. 是A的一个右逆。右逆矩阵不唯一。
  4. 需要注意：通常情况求出来的是两个不同的解，均满足Ax=b。这是因为行满秩矩阵Ax=b的解不唯一。
  5. 行满秩矩阵的A+是A的一个右逆。

广义逆：任何矩阵都存在广义逆矩阵。

AGA=A 等价于 G是A的广义逆矩阵。
单边逆是广义逆的特殊情况。
Ax = b有解的充要条件：rank A = rank (A b)
当A列满秩，且rank A = rank (A b) ，则有唯一解。
当A非列满秩，且有解，则有无穷多解。
Gb = x , 且Ax = b，则称G是A的一个广义逆。
广义逆矩阵不唯一，零矩阵的广义逆矩阵是任意矩阵。
广义逆矩阵通常记作，区别于
广义逆矩阵的秩大于等于 A的秩。取等号，等价于 G具有自反性。
广义逆矩阵是逆矩阵的推广，当A是可逆矩阵的时候，A^–=A^-1

广义逆矩阵有逆矩阵类似的性质：

性质	广义逆矩阵	逆矩阵
定义	对于矩阵A，存在矩阵B，使得ABA=A	对于方阵A，存在矩阵B，使得AB=BA=I
记号
行为	对于任意向量b，满足b=b	对于任意向量b，满足b=b
矩阵乘法	A=A	AAA=A
矩阵的秩	rank()=rank()=rank(A)	rank(AA)=rank(A)=n（满秩）
逆的存在	广义逆存在于可逆和不可逆矩阵中	逆存在于方阵（可逆矩阵）中
唯一性	可以有多个不同的广义逆	逆是唯一的
幂等性	、是幂等矩阵	是幂等矩阵
数乘	aA的广义逆为	aA的逆为
正交投影	若，则	，I是从Cⁿ到R(A)的正交投影

自反广义逆
1. 定义：AGA=A且GAG=G。存在且不唯一。
2. 求法：
  1. 最大秩分解法：A=BD，
  2. 构造法：X、Y是A的广义逆，则Z = XAY是自反广义逆，当然YAX也是自反广义逆。
  3. 公式法：X=(A^HA)^–A^H，Y =A^H(AA^H)^–都是自反广义逆
    1. R(A^H)=R(A^HA), N(A)=N(A^HA)
    2. 存在D，使得A^H=A^HAD
    3. 代入可证明AXA=A
    4. rank(X)<=rank(A^H)=rank(A^HA) = rank(A^HA(A^HA)^–A^HA)=rank(A^HAXA)<=rank(X)
    5. 所以X是自反广义逆
3. A^_是自反广义逆的充要条件是rank(A)=rank(A^–)
  1. 必要性：AGA=A且GAG=G，则rank(A)=rank(AGA)<=rank(G)=rank(GAG)<=rank(A)
  2. 充分性：
    1. R(GA)属于R(G),R(GA)=R(A)=R(G)，则R(G)=R(GA)；
    2. GE=G，则存在X，GAX=G
    3. A=AGA=AGAXA=AXA
    4. 由构造法知G是自反广义逆
4. 几何性质
MP广义逆
1. 定义：AGA=A，GAG=G，(GA)^H=GA, (AG)^H=AG
2. 存在且唯一
3. 计算方法：
  1. 最大值分解法：
  2. 奇异值分解法：（A = UDV^H）
  3. 注意：最大值分解不唯一，然而最大值分解的这种乘积，即A⁺是唯一的。
4. A+的性质：
  1. 自反性：(A+)⁺=A
  2. 唯一性：
  3. 几何性质： (这是自反广义逆具有的性质)
  4. 正交投影性：
  5. 行列子空间相等性：R(A)=R(A^H)的充要条件是
5. 若A是Hermite矩阵：
矩阵方程通解:
1. AXB=D有解的充要条件：AA^–DB^–B=D
2. 通解：X=A^–DB^–+Y-A^–AYBB^–
3. Ax=b有解的充要条件：AA^–b=b
4. 通解：x = A^–b +y-A^-1Ay
相容方程组的最小范数解：
1. 相容方程组：有解方程组
2. AGA=A，(GA)^H=GA
3. Gb=x是最小范数解
不相容方程组的最小二乘解：
1. 不相容方程组：无解方程组
2. AGA=A,(AG)^H=AG
3. Gb=x是最小二乘解之一，最小二乘解的通解：
不相容方程组的最小二乘解有时候不够好，最小二乘解的最小范数解叫最佳逼近解：
1. 最佳逼近解：A⁺b=x
2. 如果方程组是相容方程组，则A⁺b是最小范数解
关于广义逆的运算规则
3. 的充要条件：
4. 的充分条件：A列满秩（A^HA满秩），B行满秩（BB^H满秩）