【概率方法】重要性采样

从一个极简分布出发

假设我们有一个关于随机变量 【概率方法】重要性采样 的函数【概率方法】重要性采样,满足如下分布

【概率方法】重要性采样0.90.1
【概率方法】重要性采样0.10.9

如果我们要对 【概率方法】重要性采样 的期望 【概率方法】重要性采样 进行估计,并且我们有一些从 【概率方法】重要性采样 中采样的样本,那么朴素的想法是,直接关于 【概率方法】重要性采样 采样,把采样到的值加起来求平均
【概率方法】重要性采样
但是问题在于,如果采样的样本个数比较少,很可能采样的全都是 0.1,那么和理论值 0.9*0.1+0.1*0.9=0.18 就相差很大。也就是这样的估计方法方差过大。

这个问题的本质原因在于【概率方法】重要性采样【概率方法】重要性采样形状的不匹配:【概率方法】重要性采样贡献比较大的值的位置,【概率方法】重要性采样采样的概率很小,一旦采样个数过少,【概率方法】重要性采样不足以产生足够的对【概率方法】重要性采样的贡献,因此产生很大的方差

有什么解决办法呢?

重要性采样

如果我们可以换另一个已知的简单的采样分布【概率方法】重要性采样使得它和【概率方法】重要性采样匹配,那么方差就能够变小。(这也是此方法命名为重要性采样的原因)

我们可以给积分里面上下乘以一个 q(X),就可以变换成关于 【概率方法】重要性采样 求另一个表达式的期望

【概率方法】重要性采样

由于 【概率方法】重要性采样 的值我们都是可以计算的,假设 【概率方法】重要性采样 也可以正常采样,那么这个期望是可以求的。

真的有用?

我们不妨取 【概率方法】重要性采样【概率方法】重要性采样 完美匹配,即 【概率方法】重要性采样
然后我们关于 【概率方法】重要性采样 采样,求 【概率方法】重要性采样 的期望

【概率方法】重要性采样0.50.5
【概率方法】重要性采样0.180.18

好了,你随便从 【概率方法】重要性采样 采,能和理论值不一样算我输

重要性采样真的是有用的。不过这只是一个极端的例子,实际上要取这样的一个 【概率方法】重要性采样 也并不是很容易,还是要到具体领域问题里面具体分析。

文章出处登录后可见!

已经登录?立即刷新

共计人评分,平均

到目前为止还没有投票!成为第一位评论此文章。

(0)
xiaoxingxing的头像xiaoxingxing管理团队
上一篇 2023年12月26日
下一篇 2023年12月26日

相关推荐

此站出售,如需请站内私信或者邮箱!