前言
本文学习过程来源是《矩阵分析与应用-张贤达》一书. 可以通过 z-lib 下载.
这部分将线代和概率两者之间结合起来, 使用矩阵来解决概率方面的问题.
在概率论中, 用符号 代表基本事件,
为事件,
是事件的全部,
称为事件的概率.
在概率空间 . 用
表示随机变量
的空间. 其中
, 称
为
空间.
在 空间中, 有用的是空间
. 这种空间就是具有有限二阶矩
的随机变量的
空间, 简称为
空间. 由此衍生出
理论用于研究向量空间中一阶和二阶统计性质, 解决一维和二维的问题.
一、概率密度函数
描述随机向量的统计函数有累计分布函数, 概率密度函数, 均值函数, 协方差函数.
先解决累计分布函数和概率密度函数.
1. 实随机变量的概率密度函数
现在有一个含有 个随机变量的实值向量
称为 实随机向量, 或者简称随机向量(当维数无关紧要时). 式子中的
表示样本点, 例如它可以是时间
, 角频率
或位置
等.
一个随机向量所有元素的联合累积分布函数常用符号 表示, 联合概率密度函数常用
表示. 令
和
.
一个随机向量由它的2联合累积分布函数或联合概率密度函数完全描述, 一组概率的集合函数
定义为向量 的联合累积分布函数, 简称分布函数, 式中
为实数.
随机向量 的(联合)概率密度函数定义为:
思考: 这个式子看起来非常的奇怪, 怪就怪在有了多个变量之后分母变得奇怪, 第一个等式后的分母中我也不知道为什么会有这些数相乘. 也可以这样想, 各个变量之间相互独立就可以拆开为乘积的形式, 然后能理解了.
联合概率密度函数的 重积分函数
称为随机变量 的边缘概率密度函数.
最后就得到式子
随机向量 的联合分布函数等于其联合概率密度函数的积分.
由此有个定义, 这个定义就是之前思考那个式子想出的东西.
随机变量 称为 (联合) 独立, 若对于
个事件
, 有概率关系
成立. 然后可以得出
或者
定义: 个随机变量的联合分布函数 (或联合概率密度函数) 等于各个随机变量的边缘分布函数 (或边缘概率密度函数) 之积, 则这
个随机变量是联合独立的, 被称为统计独立.
2. 复随机变量的概率密度函数
处理复数就是要额外处理它的虚部, 首先一个复随机变量定义为 , 其中
和
分别为实值随机变量.
那么复随机向量可以表示为
复随机向量的累积分布函数定义为
无非就是对实部和虚部分别处理.
概率密度函数定义为
那么累积分布函数是概率密度函数关于所有实部和虚部的 重积分.
特别地:
二、随机向量的统计描述
分布函数和概率函数常常不可知, 但是随机向量可以很容易在一阶和二阶统计量上使用.
1. 均值向量
随机向量的最重要统计运算为数学期望, 考察 随机向量
. 令随机变量
的均值
, 则随机向量的数学期望称为均值向量, 记作
定义为
式子中的数学期望为
可以看出均值向量的元素是随机向量各个元素的均值.
2. 相关矩阵与协方差矩阵
知乎上面有篇文章对这部分有解释, 链接:https://zhuanlan.zhihu.com/p/447221519.
均值向量是随机向量的一阶矩, 描述随机向量的元素围绕其均值的散布情况. 但是随机向量二阶矩为矩阵, 描述随机向量分布的散布情况.
自相关矩阵定义为样本向量与自身的外积的数学期望, 其实就是自协方差矩阵不减去均值向量. 随机向量的自相关矩阵定义为
式中, 表示随机变量
的自相关函数, 定义为
而 表示随机变量
和
之间的互相关函数, 定义为
可以得出自相关矩阵是共轭对称的, 即为 矩阵.
随机变量 的自协方差矩阵定义为
主对角线上的元素
表示随机变量 的方差
, 其他非对角线元素
表示随机变量 和
之间的协方差. 自协方差矩阵也是
矩阵.
自相关矩阵和自协方差矩阵之间存在下列关系
推广自相关矩阵和自协方差矩阵, 则有随机向量 和
的互相关矩阵
和互协方差矩阵
3. 两个随机向量统计不相关与正交
一句话, 当采样点 取一系列值会产生多个随机信号. 随机信号减去均值得到随机变化部分. 这一部分共性相乘会增强, 非共性相乘会在期望平均运算后抵消. 而互协方差函数就能完成这一步, 所以互协方差函数越大, 产生的两个随机信号的相关程度越强; 反之, 相关程度越弱.
两个随机变量 和
之间的相关系数定义为
是随机变量
和
之间的互协方差, 而
分布是
和
的方差. 由相对系数的定义公式使用
不等式可得
相关系数 给出两个随机变量
和
之间的相似程度.
越靠近 1 则相似度越大, 越靠近 0 则相似度越小.
当 等于 0 时说明两个随机变量
和
统计不相关.
得出定义:
若两个随机变量 和
的互协方差矩阵等于零矩阵, 即
. 则称两个随机变量
和
统计不相关.
若它们的互相关等于零, 即
则将这两个随机变量 和
称为正交.
若两个随机向量 和
的互相关矩阵等于零矩阵, 即
, 则称这两个随机向量正交.
4. 随机向量的线性变换
令 为一复常数矩阵, 则
是复正态随机向量 的线性变换. 线性变换
仍然为正态随机向量, 记作
其均值向量为
自相关矩阵为
自协方差矩阵为
随机向量 与线性变换
的互相关矩阵为
于是
同理可得随机向量 与其线性变换
之间的互协方差矩阵
三、正态随机向量
若随机向量 中各个分量为联合正态分布的随机变量则称
为正态随机向量.
一个均值向量为 和协方差矩阵为
的实正态随机向量记作
, 其概率密度为
其中 表示矩阵
的行列式, 指数项
是
的正定二次型函数, 也可以写作
其中 表示逆矩阵
的
元素,
是随机变量
的均值.
实正态随机向量的特征函数为
式中,
对复正态随机向量, 令 , 其每个元素服从复正态分布, 即
, 则
称为复正态随机向量, 记作
, 其中,
. 若
, 并且实随机向量
统计独立, 则复随机正态向量
的概率密度函数为
式子中, , 复正态随机变量的特征函数由下式给出
正态随机向量具有非常重要的几个性质
-
概率密度函数由均值向量和协方差矩阵完全描述.
-
若正态随机向量的各个分量相互统计不相关, 则它们也是统计独立的.
-
均值向量
和协方差矩阵
的正态随机向量
的线性变换
仍然是正态随机向量, 其概率密度函数为
实正态随机向量概率密度函数
复正态随机向量概率密度函数
文章出处登录后可见!