前言

本文学习过程来源是《矩阵分析与应用-张贤达》一书. 可以通过 z-lib 下载.

这部分将线代和概率两者之间结合起来, 使用矩阵来解决概率方面的问题.

在概率论中, 用符号 代表基本事件, 为事件, 是事件的全部, 称为事件的概率.

在概率空间 . 用 表示随机变量 的空间. 其中 , 称 为 空间.

在 空间中, 有用的是空间 . 这种空间就是具有有限二阶矩 的随机变量的 空间, 简称为 空间. 由此衍生出 理论用于研究向量空间中一阶和二阶统计性质, 解决一维和二维的问题.

一、概率密度函数

描述随机向量的统计函数有累计分布函数, 概率密度函数, 均值函数, 协方差函数.

先解决累计分布函数和概率密度函数.

1. 实随机变量的概率密度函数

现在有一个含有 个随机变量的实值向量

称为 实随机向量, 或者简称随机向量(当维数无关紧要时). 式子中的 表示样本点, 例如它可以是时间 , 角频率 或位置 等.

一个随机向量所有元素的联合累积分布函数常用符号 表示, 联合概率密度函数常用 表示. 令 和 .

一个随机向量由它的2联合累积分布函数或联合概率密度函数完全描述, 一组概率的集合函数

定义为向量 的联合累积分布函数, 简称分布函数, 式中 为实数.

随机向量 的（联合）概率密度函数定义为:

思考: 这个式子看起来非常的奇怪, 怪就怪在有了多个变量之后分母变得奇怪, 第一个等式后的分母中我也不知道为什么会有这些数相乘. 也可以这样想, 各个变量之间相互独立就可以拆开为乘积的形式, 然后能理解了.

联合概率密度函数的 重积分函数

称为随机变量 的边缘概率密度函数.

最后就得到式子

随机向量 的联合分布函数等于其联合概率密度函数的积分.

由此有个定义, 这个定义就是之前思考那个式子想出的东西.

随机变量 称为 (联合) 独立, 若对于 个事件 , 有概率关系

成立. 然后可以得出

或者

定义: 个随机变量的联合分布函数 (或联合概率密度函数) 等于各个随机变量的边缘分布函数 (或边缘概率密度函数) 之积, 则这 个随机变量是联合独立的, 被称为统计独立.

2. 复随机变量的概率密度函数

处理复数就是要额外处理它的虚部, 首先一个复随机变量定义为 , 其中 和 分别为实值随机变量.

那么复随机向量可以表示为

复随机向量的累积分布函数定义为

无非就是对实部和虚部分别处理.

概率密度函数定义为

那么累积分布函数是概率密度函数关于所有实部和虚部的 重积分.

特别地:

二、随机向量的统计描述

分布函数和概率函数常常不可知, 但是随机向量可以很容易在一阶和二阶统计量上使用.

1. 均值向量

随机向量的最重要统计运算为数学期望, 考察 随机向量 . 令随机变量 的均值 , 则随机向量的数学期望称为均值向量, 记作 定义为

式子中的数学期望为

可以看出均值向量的元素是随机向量各个元素的均值.

2. 相关矩阵与协方差矩阵

知乎上面有篇文章对这部分有解释, 链接:https://zhuanlan.zhihu.com/p/447221519.

均值向量是随机向量的一阶矩, 描述随机向量的元素围绕其均值的散布情况. 但是随机向量二阶矩为矩阵, 描述随机向量分布的散布情况.

自相关矩阵定义为样本向量与自身的外积的数学期望, 其实就是自协方差矩阵不减去均值向量. 随机向量的自相关矩阵定义为

式中, 表示随机变量 的自相关函数, 定义为

而 表示随机变量 和 之间的互相关函数, 定义为

可以得出自相关矩阵是共轭对称的, 即为 矩阵.

随机变量 的自协方差矩阵定义为

主对角线上的元素

表示随机变量 的方差 , 其他非对角线元素

表示随机变量 和 之间的协方差. 自协方差矩阵也是 矩阵.

自相关矩阵和自协方差矩阵之间存在下列关系

推广自相关矩阵和自协方差矩阵, 则有随机向量 和 的互相关矩阵

和互协方差矩阵

3. 两个随机向量统计不相关与正交

一句话, 当采样点 取一系列值会产生多个随机信号. 随机信号减去均值得到随机变化部分. 这一部分共性相乘会增强, 非共性相乘会在期望平均运算后抵消. 而互协方差函数就能完成这一步, 所以互协方差函数越大, 产生的两个随机信号的相关程度越强; 反之, 相关程度越弱.

两个随机变量 和 之间的相关系数定义为

是随机变量 和 之间的互协方差, 而 分布是 和 的方差. 由相对系数的定义公式使用 不等式可得

相关系数 给出两个随机变量 和 之间的相似程度. 越靠近 1 则相似度越大, 越靠近 0 则相似度越小.

当 等于 0 时说明两个随机变量 和 统计不相关.

得出定义:

若两个随机变量 和 的互协方差矩阵等于零矩阵, 即 . 则称两个随机变量 和 统计不相关.

若它们的互相关等于零, 即

则将这两个随机变量 和 称为正交.

若两个随机向量 和 的互相关矩阵等于零矩阵, 即 , 则称这两个随机向量正交.

4. 随机向量的线性变换

令 为一复常数矩阵, 则

是复正态随机向量 的线性变换. 线性变换 仍然为正态随机向量, 记作

其均值向量为

自相关矩阵为

自协方差矩阵为

随机向量 与线性变换 的互相关矩阵为

于是

同理可得随机向量 与其线性变换 之间的互协方差矩阵

三、正态随机向量

若随机向量 中各个分量为联合正态分布的随机变量则称 为正态随机向量.

一个均值向量为 和协方差矩阵为 的实正态随机向量记作 , 其概率密度为

其中 表示矩阵 的行列式, 指数项 是 的正定二次型函数, 也可以写作

其中 表示逆矩阵 的 元素, 是随机变量 的均值.

实正态随机向量的特征函数为

式中,

对复正态随机向量, 令 , 其每个元素服从复正态分布, 即 , 则 称为复正态随机向量, 记作 , 其中, . 若 , 并且实随机向量 统计独立, 则复随机正态向量 的概率密度函数为

式子中, , 复正态随机变量的特征函数由下式给出

正态随机向量具有非常重要的几个性质

• 概率密度函数由均值向量和协方差矩阵完全描述.

• 若正态随机向量的各个分量相互统计不相关, 则它们也是统计独立的.

• 均值向量 和协方差矩阵 的正态随机向量 的线性变换 仍然是正态随机向量, 其概率密度函数为

实正态随机向量概率密度函数

复正态随机向量概率密度函数