前言
本文学习过程来源是《矩阵分析与应用-张贤达》一书. 可以通过 z-lib 下载.
这部分将线代和概率两者之间结合起来, 使用矩阵来解决概率方面的问题.
在概率论中, 用符号 代表基本事件, 为事件, 是事件的全部, 称为事件的概率.
在概率空间 . 用 表示随机变量 的空间. 其中 , 称 为 空间.
在 空间中, 有用的是空间 . 这种空间就是具有有限二阶矩 的随机变量的 空间, 简称为 空间. 由此衍生出 理论用于研究向量空间中一阶和二阶统计性质, 解决一维和二维的问题.
一、概率密度函数
描述随机向量的统计函数有累计分布函数, 概率密度函数, 均值函数, 协方差函数.
先解决累计分布函数和概率密度函数.
1. 实随机变量的概率密度函数
现在有一个含有 个随机变量的实值向量
称为 实随机向量, 或者简称随机向量(当维数无关紧要时). 式子中的 表示样本点, 例如它可以是时间 , 角频率 或位置 等.
一个随机向量所有元素的联合累积分布函数常用符号 表示, 联合概率密度函数常用 表示. 令 和 .
一个随机向量由它的2联合累积分布函数或联合概率密度函数完全描述, 一组概率的集合函数
定义为向量 的联合累积分布函数, 简称分布函数, 式中 为实数.
随机向量 的(联合)概率密度函数定义为:
思考: 这个式子看起来非常的奇怪, 怪就怪在有了多个变量之后分母变得奇怪, 第一个等式后的分母中我也不知道为什么会有这些数相乘. 也可以这样想, 各个变量之间相互独立就可以拆开为乘积的形式, 然后能理解了.
联合概率密度函数的 重积分函数
称为随机变量 的边缘概率密度函数.
最后就得到式子
随机向量 的联合分布函数等于其联合概率密度函数的积分.
由此有个定义, 这个定义就是之前思考那个式子想出的东西.
随机变量 称为 (联合) 独立, 若对于 个事件 , 有概率关系
成立. 然后可以得出
或者
定义: 个随机变量的联合分布函数 (或联合概率密度函数) 等于各个随机变量的边缘分布函数 (或边缘概率密度函数) 之积, 则这 个随机变量是联合独立的, 被称为统计独立.
2. 复随机变量的概率密度函数
处理复数就是要额外处理它的虚部, 首先一个复随机变量定义为 , 其中 和 分别为实值随机变量.
那么复随机向量可以表示为
复随机向量的累积分布函数定义为
无非就是对实部和虚部分别处理.
概率密度函数定义为
那么累积分布函数是概率密度函数关于所有实部和虚部的 重积分.
特别地:
二、随机向量的统计描述
分布函数和概率函数常常不可知, 但是随机向量可以很容易在一阶和二阶统计量上使用.
1. 均值向量
随机向量的最重要统计运算为数学期望, 考察 随机向量 . 令随机变量 的均值 , 则随机向量的数学期望称为均值向量, 记作 定义为
式子中的数学期望为
可以看出均值向量的元素是随机向量各个元素的均值.
2. 相关矩阵与协方差矩阵
知乎上面有篇文章对这部分有解释, 链接:https://zhuanlan.zhihu.com/p/447221519.
均值向量是随机向量的一阶矩, 描述随机向量的元素围绕其均值的散布情况. 但是随机向量二阶矩为矩阵, 描述随机向量分布的散布情况.
自相关矩阵定义为样本向量与自身的外积的数学期望, 其实就是自协方差矩阵不减去均值向量. 随机向量的自相关矩阵定义为
式中, 表示随机变量 的自相关函数, 定义为
而 表示随机变量 和 之间的互相关函数, 定义为
可以得出自相关矩阵是共轭对称的, 即为 矩阵.
随机变量 的自协方差矩阵定义为
主对角线上的元素
表示随机变量 的方差 , 其他非对角线元素
表示随机变量 和 之间的协方差. 自协方差矩阵也是 矩阵.
自相关矩阵和自协方差矩阵之间存在下列关系
推广自相关矩阵和自协方差矩阵, 则有随机向量 和 的互相关矩阵
和互协方差矩阵
3. 两个随机向量统计不相关与正交
一句话, 当采样点 取一系列值会产生多个随机信号. 随机信号减去均值得到随机变化部分. 这一部分共性相乘会增强, 非共性相乘会在期望平均运算后抵消. 而互协方差函数就能完成这一步, 所以互协方差函数越大, 产生的两个随机信号的相关程度越强; 反之, 相关程度越弱.
两个随机变量 和 之间的相关系数定义为
是随机变量 和 之间的互协方差, 而 分布是 和 的方差. 由相对系数的定义公式使用 不等式可得
相关系数 给出两个随机变量 和 之间的相似程度. 越靠近 1 则相似度越大, 越靠近 0 则相似度越小.
当 等于 0 时说明两个随机变量 和 统计不相关.
得出定义:
若两个随机变量 和 的互协方差矩阵等于零矩阵, 即 . 则称两个随机变量 和 统计不相关.
若它们的互相关等于零, 即
则将这两个随机变量 和 称为正交.
若两个随机向量 和 的互相关矩阵等于零矩阵, 即 , 则称这两个随机向量正交.
4. 随机向量的线性变换
令 为一复常数矩阵, 则
是复正态随机向量 的线性变换. 线性变换 仍然为正态随机向量, 记作
其均值向量为
自相关矩阵为
自协方差矩阵为
随机向量 与线性变换 的互相关矩阵为
于是
同理可得随机向量 与其线性变换 之间的互协方差矩阵
三、正态随机向量
若随机向量 中各个分量为联合正态分布的随机变量则称 为正态随机向量.
一个均值向量为 和协方差矩阵为 的实正态随机向量记作 , 其概率密度为
其中 表示矩阵 的行列式, 指数项 是 的正定二次型函数, 也可以写作
其中 表示逆矩阵 的 元素, 是随机变量 的均值.
实正态随机向量的特征函数为
式中,
对复正态随机向量, 令 , 其每个元素服从复正态分布, 即 , 则 称为复正态随机向量, 记作 , 其中, . 若 , 并且实随机向量 统计独立, 则复随机正态向量 的概率密度函数为
式子中, , 复正态随机变量的特征函数由下式给出
正态随机向量具有非常重要的几个性质
-
概率密度函数由均值向量和协方差矩阵完全描述.
-
若正态随机向量的各个分量相互统计不相关, 则它们也是统计独立的.
-
均值向量 和协方差矩阵 的正态随机向量 的线性变换 仍然是正态随机向量, 其概率密度函数为
实正态随机向量概率密度函数
复正态随机向量概率密度函数
文章出处登录后可见!